기술 요약: 제어 가능한 언어 모델을 위한 지시 계층 구조 추론 (Reasoning Up the Instruction Ladder)

문제 정의

실제 의사결정 맥락에서 작동하는 대규모 언어 모델(LLM)은 단일 프롬프트 내에서 여러 출처(예: 시스템 설계자, 최종 사용자, 외부 도구)로부터 오는 상충하는 지시사항을 조정해야 하는 시나리오에 빈번하게 직면합니다. 현재의 모델들은 종-종 "따라야 할 지시"와 "처리해야 할 사용자 데이터"를 구분하는 데 어려움을 겪으며, 이는 프롬프트 인젝션 및 탈옥(jailbreak)과 같은 취약점으로 이어집니다. 지시 계층 구조(Instruction Hierarchy, IH) 문제라고 불리는 이 문제는 LLM이 모든 입력 부분을 동등하게 취급하여, 고순위 지침(예: 안전 정책 또는 시스템 규칙)이 저순위 요청(예: 사용자 명령)보다 우선순위를 갖도록 강제하는 구조적 순서를 준수하지 못하기 때문에 발생합니다.

IH에 대한 기존 접근 방식은 명시적인 추론 없이 지시 우선순위 설정을 정적인 입력-응답 매핑 문제로 취급하는 경우가 많습니다. 일부 방법은 역할 분리를 위해 합성 데이터셋이나 별도의 임베딩을 사용하기도 하지만, 분포 외(OOD) 시나리오나 복잡하고 구성적인 충돌 상황에 일반화하는 데 자주 실패합니다. 또한, 안전 중심의 추론 연구는 안전 카테고리에만 좁게 초점을 맞추는 경향이 있어, 통제 가능성을 위해 필수적인 일반적이거나 무해한 충돌을 처리할 수 있는 유연성이 부족합니다.

방법론

저자들은 **지시 계층 구조를 위한 추론(Reasoning for Instruction Hierarchy)**이라는 프레임워크를 제안하며, 이를 통해 지시 우선순위 설정을 메타-추론(meta-reasoning) 과제로 재정의합니다. 모델이 우선순위를 암묵적으로 학습하는 대신, 응답을 생성하기 전에 시스템 지시와 사용자 지시 사이의 관계를 명시적으로 "생각"하도록 훈련하는 것입니다.

1. VerIH 데이터셋

이러한 능력을 구현하기 위해, 저자들은 RLVR-IFEval 데이터셋에서 파생된 7,192개의 샘플로 구성된 VerIH 훈련 데이터셋을 구축했습니다.

• 구성: 샘플의 절반은 정렬됨(Aligned) 상태(시스템과 사용자 프롬프트가 일치함)이며, 나머지 절반은 충돌함(Conflicting) 상태(사용자 프롬프트가 원래의 의도는 유지하면서 시스템 제약 조건을 위반하도록 LLM에 의해 재작성됨)입니다.
• 검증 가능성: 각 샘플에는 응답 형식, 수량, 키워드 사용에 대한 검증 가능한 제약 조건이 포함되어 있어, 단순한 함수를 통한 결정론적 평가가 가능합니다.
• 노이즈 내성: 데이터셋 생성 과정에서 완벽하지 않은 LLM 재작성으로 인한 노이즈를 허용합니다(필터링 비용이 높기 때문). 그럼에도 불구하고 이 데이터셋은 훈련에 효과적입니다.

2. 훈련 파이프라인 (RLVR)

저자들은 일반적인 추론 능력을 지시 우선순위 설정 능력으로 전이시키기 위해 **검증 가능한 보상을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)**을 채택했습니다.

• SysHint: 훈련 중에 "시스템 프롬프트와 사용자 프롬프트 사이의 관계에 대해 단계별로 생각하십시오. 충돌이 발생하면 시스템 프점으로 우선순위를 가집니다"라고 지시하는 특정 시스템 프롬프트가 추가됩니다.
• 출력 구조: 모델은 $R = (\text{CoT}, \text{Answer})$를 생성합니다. 여기서 <thought> 태그 내의 사고 사슬(Chain-of-Thought, CoT)은 최종 답변을 제공하기 전에 지시 계층 구조에 대해 명시적으로 추론합니다.
• 보상 메커니즘: 보상 함수 $F_{\text{reward}}$는 검증 가능한 제약 조건에 따라 출력을 평가합니다. 이 점수는 RLVR 알고리즘(특히 GRPO)을 위한 감독 신호 역할을 합니다.

3. 추론

추론 단계에서도 모델은 동일한 추론 프레임워크를 사용합니다. 높은 우선순위를 가진 시스템 지시사항(예: 안전 가드레일 또는 특정 정책)은 모델을 재학습시키지 않고도 행동을 유도하기 위해 시스템 프롬프트에 동적으로 추가될 수 있습니다.

주요 기여

1. IH를 추론 과제로 재정의: 본 논문은 지시 계층 구조 해결이 단순한 패턴 매칭이 아니라, 명시적인 충돌 탐지와 우선순위 결정을 요구하는 추론 작업임을 입증했습니다.
2. VerIH 데이터셋: 지시 계층 추론을 훈련하기 위해 설계된, 정렬된 경우와 충돌하는 경우의 쌍을 포함하며 검증 가능한 답변을 갖춘 합성 데이터셋을 도입했습니다.
3. 안전성으로의 일반화: 비안전 특화형 충돌 해결(VerIH) 훈련이 안전 중심 시나리오로 일반화됨을 보여줍니다. 안전을 지시 충돌의 특수한 사례로 취급함으로써, 이 방법은 안전 특화 훈련 데이터 없이도 탈옥 및 프롬프트 인젝션에 대한 견고성을 개선합니다.
4. 효율성 및 확장성: 다양한 모델 제품군(Qwen3, Phi-4)과 크기(4B ~ 35B, MoE 아키텍처 포함)에 걸쳐 소규모 데이터셋(~7K 샘플)을 이용한 경량 RLVR을 통해 상당한 개선을 달성했습니다.

실험 결과

저자들은 IFEval, IFBench(지시 이행), IHEval(지시 계층), MMLU, MATH-500(일반 추론), 그리고 Harmbench, WildJailbreak, TensorTrust(안전성)를 포함한 여러 벤치마크에서 방법을 평가했습니다.

• 지시 계층 성능: VerIH 훈련은 모든 모델 제품군에서 일관된 향상을 가져왔습니다. 충돌 설정에서, 이 방법은 지시 계층 벤치마크(예: IHEval-conflict)에서 약 20%의 절대적 향상을 달성했습니다. 예를 들어, Qwen3-8B는 IHEval-conflict에서 46.48%에서 63.48%로 향상되었습니다.
• 일반 추론: 일반적인 추론 능력을 저하시키는 경우가 많은 지도 미세 조정(SFT) 베이스라인과 달리, RLVR 접근 방식은 MMLU 및 MATH-500에서의 성능을 유지하거나 약간 향상시켰습니다.
• 안전성 및 견고성: 분포 외 안전성 평가에서, 이 방법은 탈옥 및 프롬프트 인젝션 벤치마크에서 공격 성공률(ASR)을 최대 20% 절대치까지 감소시켰습니다. 예를 들어, WildJailbreak:harmful에서 Qwen3-8B는 강력한 베이스라인 대비 ASR이 64.05%에서 41.25%로 감소했습니다.
• 절제 연구(Ablation Studies): 추론 구성 요소(CoT)와 충돌 샘플의 포함이 모두 필요함을 확인했습니다. 정렬된 프롬프트로만 훈련했을 때는 충돌을 효과적으로 해결하지 못했으며, 훈련 중 추론을 비활성화하면 피상적인 준수만을 보였습니다.

의의 및 주장

본 논문은 지시 계층 구조에 대한 명시적 추론이 AI의 신뢰성과 통제 가능성을 높이는 실질적인 메커니즘을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다.

• 동적 제어: 새로운 원칙이나 분포 외(OOD) 지시 사항에 적응하기 위해 재학습이 필요한 기존 방식과 달리, 이 방법은 추론 시점에 고순위 시스템 프롬프트를 업데이트하는 것만으로 예측 가능하고 통제 가능한 행동 변화를 허용합니다.
• 창발적 안전성: 결과는 안전이 정적인 내부 규칙 세트가 아니라, 적대적 프롬프트와 사전 정의된 지침 사이의 충돌을 해결하는 모델의 능력으로부터 나타나는 창발적 속성이라는 관점을 뒷받침합니다.
• 확장성: 이 접근 방식은 다양한 모델 크기와 아키텍처에서 효과적이며, 이는 지시 계층 구조를 추론하는 능력이 타겟팅된 경량 훈련을 통해 추론 기능이 있는 LLM에 전이될 수 있는 전이 가능한 기술임을 시사합니다.

저자들은 이 프레임워크가 암묵적인 원칙 학습을 넘어, 복잡하고 다중 출처의 지시 환경을 처리할 수 있는 더욱 견고하고 통제 가능하며 적응력 있는 언어 모델을 향한 경로를 제시한다고 결론짓습니다.