Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 시스템 정책, 사용자 요청, 도구 출력, 검색된 컨텍스트 등 다양한 출처와 권한 수준을 가진 여러 지시문 (instructions) 하에서 작동하게 되었습니다. 기존 연구들은 주로 악의적인 프롬프트 인젝션 (adversarial attacks) 과 같은 보안 취약점에 초점을 맞추어 왔으나, 실제 응용 프로그램에서 발생하는 선의적이지만 빈번한 지시문 충돌 (benign instruction conflicts) 을 해결하는 데는 한계가 있었습니다.

• 충돌의 예시: 시스템 지시문은 "반드시 JSON 형식으로 출력하라"고 요구하는 반면, 사용자는 "일반 텍스트로 응답하라"고 요청하는 경우.
• 핵심 과제: 모델은 보안 위반을 피하는 것을 넘어, 권한이 다른 지시문들이 부분적이거나 암묵적으로 충돌할 때 작업 유용성 (task utility) 과 행동 일관성 (behavioral consistency) 을 유지하며 올바른 지시문을 우선순위에 따라 선택해야 합니다.

2. 제안 방법: 신경 - 기호 계층적 정렬 (Neuro-Symbolic Hierarchical Alignment, NSHA)

저자들은 LLM 의 계층적 지시문 추종 능력을 향상시키기 위해 신경 - 기호 (Neuro-Symbolic) 접근법인 NSHA 를 제안했습니다. 이 방법은 추론 시 (Inference-time) 와 학습 시 (Training-time) 두 단계로 구성됩니다.

A. 추론 시: 솔버 유도 추론 (Solver-Guided Reasoning)

외부 솔버를 활용하여 지시문 충돌을 논리적으로 해결하는 파이프라인을 구축합니다.

1. 지시문 원자화 (Atomization): 복잡한 입력 컨텍스트를 시스템, 사용자, 도구 등 출처별 권한 레벨 (0: 시스템, 1: 사용자, 2: 도구/문서) 이 부여된 개별적인 원자적 지시문 (atomic instructions) 집합으로 분해합니다.
2. 신경 충돌 감지 (Neural Conflict Scanning): 사전 훈련된 NLI(Natural Language Inference) 모델을 사용하여 원자적 지시문 쌍 간의 의미적 모순 (Contradiction) 을 탐지하고 충돌 행렬을 생성합니다.
3. 계층적 최적화 (Hierarchical Optimization):
   • 충돌 행렬과 권한 순서를 기반으로 MaxSMT (Maximum Satisfiability Modulo Theories) 솔버 (Z3 등) 를 사용합니다.
   • 목표: 논리적 일관성을 유지하면서, 높은 권한의 지시문을 우선시하는 최대 일관성 지시문 집합 (Maximally Consistent Subset) 을 도출합니다.
   • 권한 순서는 하드 제약이 아닌, 최적화 목적함수 (Lexicographic weight) 를 통해 강제됩니다.
4. 솔버 유도 생성: 솔버가 선정한 유효한 지시문 집합만을 사용하여 LLM 이 응답을 생성하도록 프롬프트를 정제합니다.

B. 학습 시: 계층적 정렬 학습 (Hierarchical Alignment Training)

추론 시 외부 솔버에 의존하는 오버헤드를 제거하고 모델 내부에 계층적 원리를 내재화하기 위해 학습 단계를 도입합니다.

1. 데이터 구성: Alpaca 코퍼스를 기반으로, 서로 다른 권한 레벨 간의 지시문이 충돌하거나 일치하는 상황을 생성합니다. 솔버를 통해 어떤 지시문이 유효하고 어떤 것이 배제되어야 하는지 자동으로 라벨링하여 선호도 데이터셋 (Preference Dataset) 을 구축합니다.
2. 계층 일관성 정렬 손실 (HCAL):
   • 선호도 손실 (L_pref): 계층을 준수한 응답 (Accepted) 을 위반 응답 (Rejected) 보다 높게 평가하도록 DPO(Direct Preference Optimization) 스타일의 손실을 적용합니다.
   • 의미적 손실 (L_SL): 계층을 위반하는 후보에 할당된 확률 질량을 명시적으로 패널티하여, 모델이 계층적 제약을 만족하는 결과에 확률을 집중하도록 유도합니다.
   • KL 발산 (L_KL): 참조 모델에 대한 정규화를 통해 일반 능력을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 실제 시나리오 중심의 접근: 악의적 공격뿐만 아니라 일상적인 응용 프로그램에서 발생하는 '선의의 충돌'을 해결하는 데 초점을 맞췄습니다.
2. 신경 - 기호 통합 프레임워크: 신경망의 유연성과 기호 논리 (SMT 솔버) 의 엄격한 제약을 결합하여, 지시문 우선순위를 논리적으로 검증 가능하게 만듭니다.
3. 내재화 전략: 추론 시 외부 솔버를 사용하지 않고도 학습을 통해 모델이 계층적 추론 능력을 습득하도록 하는 효율적인 학습 방법론을 제시했습니다.
4. 광범위한 평가: 규칙 준수, 작업 수행, 도구 사용, 안전성 등 다양한 도메인과 단일/다중 턱 상호작용을 포괄하는 평가 기준을 마련했습니다.

4. 실험 결과 (Experimental Results)

Qwen3-4B 및 Llama-3.1-8B 모델을 기반으로 한 실험 결과, NSHA 는 다음과 같은 성과를 보였습니다.

• 규칙 준수 (Rule Following): 충돌 상황에서 기존 모델의 성능이 급격히 떨어지는 반면, NSHA-DPO 변형은 충돌 시 정확도를 크게 향상시켰습니다 (예: Qwen 모델에서 충돌 시 평균 점수 67.7 → 72.6).
• 작업 수행 (Task Execution): 지시문 충돌로 인해 작업 유용성이 붕괴되는 현상 (예: 언어 감지 작업에서 95.8 → 4.5) 을 NSHA-DPO 와 NSHA-SFT 가 효과적으로 완화하여 성능을 회복시켰습니다.
• 도구 사용 (Tool Use): 신경 - 기호 추론 (NS) 과 학습 기반 정렬 (NSHA) 이 모두 충돌 하에서 도구 호출의 견고성을 향상시켰습니다. 특히 Llama 모델에서 NSHA-HCAL 이 우수한 성능을 보였습니다.
• 안전성 (Safety): 프롬프트 인젝션 및 해킹 시도가 포함된 충돌 상황에서, NSHA-DPO 는 높은 참조 성능을 유지하면서 공격에 대한 견고성을 크게 개선했습니다.
• 다중 턱 (Multi-turn) 안정성: 단일 충돌이 아닌 지속적인 충돌 상황에서 모델이 계층적 우선순위를 유지하는 능력이 검증되었으며, NSHA-DPO 가 가장 일관된 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 복잡한 다중 지시 환경에서 시스템 정책, 사용자 요구, 도구 출력 간의 균형을 논리적으로 유지할 수 있는 새로운 패러다임을 제시합니다.

• 실용성: 악의적 공격뿐만 아니라 실제 비즈니스 환경에서 발생하는 자연스러운 충돌을 해결하여 LLM 기반 에이전트의 신뢰성과 안전성을 높입니다.
• 검증 가능성: 신경 - 기호 접근법을 통해 모델의 의사결정 과정을 논리적으로 검증 가능하게 하여, 투명하고 제어 가능한 AI 시스템 구축에 기여합니다.
• 미래 지향성: 장기적인 에이전트 상호작용에서 시스템 정책과 사용자 목표가 지속적으로 충돌할 수 있는 상황에서, 일관된 행동을 보장하는 핵심 기술로 평가됩니다.

결론적으로, NSHA 는 LLM 이 권한이 다른 지시문들을 논리적 일관성과 계층적 우선순위에 따라 정확하게 처리할 수 있도록 하여, 보다 안전하고 유용한 지능형 에이전트 개발의 토대를 마련했습니다.