Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 점차 시스템 메시지 (개발자/관리자 지시) 와 사용자 메시지 간의 위계적 구조를 따르도록 설계되고 있습니다. 예를 들어, OpenAI 의 모델 명세 (Model Spec) 에 따르면 사용자 지시와 개발자 (시스템) 지시가 충돌할 경우 시스템 지시가 우선시되어야 한다고 명시되어 있습니다. 이는 모델의 안전성 (Safety) 과 에이전트 시스템의 신뢰성을 위해 필수적입니다.

그러나 실제 배포 환경에서 이러한 위계적 제어 메커니즘이 얼마나 효과적으로 작동하는지에 대한 체계적인 이해가 부족합니다. 본 논문은 시스템/사용자 프롬프트 분리 (System/User prompt separation) 가 실제로 의도된 명령 위계를 일관되게 강제하지 못하며, 모델이 간단한 형식적 충돌에서도 일관되지 않은 행동을 보인다는 문제를 제기합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 명령 위계 처리 능력을 평가하기 위해 **구속 조건 우선순위 (Constraint Prioritization)**에 기반한 체계적인 평가 프레임워크를 제안했습니다.

• 데이터셋 구성:

  • 기본 작업 (Base Tasks): 이메일 작성, 블로그 글 작성 등 100 가지 다양한 작업을 선정했습니다.
  • 충돌하는 구속 조건 (Conflicting Constraints): 상호 배타적이고 프로그래밍적으로 검증 가능한 6 가지 유형의 조건 쌍을 사용했습니다 (예: 언어 (영어 vs 프랑스어), 대소문자, 단어 수, 문장 수, 키워드 포함 여부, 키워드 빈도).
  • 실험 설정: 각 기본 작업에 두 가지 충돌 조건 중 하나를 '우선 (Primary)', 다른 하나를 '2 차 (Secondary)'로 지정하여 총 1,200 개의 테스트 포인트를 생성했습니다.
  • 프롬프트 구성: 단순 지시 (Simple) 와 풍부한 맥락 (Rich Context) 두 가지 버전으로 실험을 수행했습니다.
  • 시스템/사용자 분리 방식:
    1. Pure Separation: 우선 조건을 시스템 메시지에, 나머지 작업을 사용자 메시지에 배치.
    2. Task Repeated Separation: 두 메시지에 모두 작업 설명을 반복.
    3. Emphasized Separation: 시스템 메시지에 "반드시 이 조건을 따르라"는 명시적 강조 추가.

• 평가 지표 (Metrics):

  • 1 차 순응률 (R1): 우선 조건만 만족하는 응답 비율.
  • 명시적 충돌 인정률 (ECAR): 모델이 충돌을 인지하고 언급하는 비율.
  • 우선 준수 비율 (PAR, Priority Adherence Ratio): 조건을 성공적으로 만족했을 때 우선 조건을 선택한 비율 ($R1 / (R1+R2)$).
  • 구속 편향 (CB, Constraint Bias): 우선순위 지정과 무관하게 모델이 특정 조건을 선호하는 내재적 성향.

• 평가 대상 모델: Qwen-7B, Llama-8B/70B, Claude 3.5 Sonnet, GPT-4o-mini, GPT-4o 등 6 개의 최신 SOTA 모델.

3. 주요 결과 (Key Results)

A. 명령 위계 시스템의 실패

• 일관성 부재: 모든 모델이 충돌이 없는 단일 조건에서는 높은 준수율 (74.890.8%) 을 보였으나, 충돌 조건이 주어지면 우선 준수율 (R1) 이 급격히 하락했습니다 (평균 9.645.8%).
• 분리 방식의 무력화: 시스템/사용자 메시지 분리 방식 (Pure, Task, Emph.) 이 무엇이든 상관없이, 의도된 위계 구조가 일관되게 유지되지 않았습니다. 명시적 강조 (Emph.) 를 추가하더라도 GPT-4o 가 단순 지시에서 63.8% 의 최상위 성능을 보였을 뿐, 여전히 신뢰할 수 있는 제어 수준은 아니었습니다.
• 모델 크기의 한계: 더 큰 모델 (Llama-70B, GPT-4o) 이 반드시 더 나은 위계 준수를 보이는 것은 아니었습니다. 오히려 GPT-4o-mini 가 GPT-4o 보다 나은 성능을 보이기도 했습니다.

B. 행동 패턴 분석

• 충돌 인정의 부재: 모델들은 충돌을 명시적으로 인정하는 경우가 매우 드뭅니다 (ECAR: 0.1% ~ 20.3%). Llama 계열은 충돌을 인정하는 경향이 있었으나, GPT 와 Claude 는 인정하더라도 우선 조건을 따르는 경향이 더 뚜렷했습니다.
• 내재적 구속 편향 (Inherent Bias): 모델들은 우선순위 지정과 무관하게 특정 조건 유형을 강력하게 선호했습니다.
  • 공유된 편향: 모든 모델이 대문자보다 소문자, 짧은 문장보다 긴 문장, 키워드 포함보다 배제를 선호하는 경향을 보였습니다. 이는 학습 데이터의 분포나 아키텍처의 근본적 성향으로 추정됩니다.
  • 모델별 편향: 단어 길이 선호도 등에서 모델 간 차이가 뚜렷하게 나타났습니다.

C. 사회적 위계의 영향 (Latent Hierarchical Priors)

가장 놀라운 발견은 시스템/사용자 역할보다 '사회적 위계 (사회적 프레임)'가 모델 행동에 더 강력한 영향을 미친다는 점입니다.

• 실험: CEO vs 인턴 (조직적 권위), Nature 논문 vs 개인 블로그 (전문성), 다수 의견 vs 소수 의견 (사회적 합의) 등의 프레임으로 조건을 제시했습니다.
• 결과: 명시적인 시스템/사용자 분리보다 사회적 위계 프레임 (특히 사회적 합의/Consensus) 을 사용할 때 우선 준수율 (PAR) 이 현저히 높았습니다.
  • 예: GPT-4o-mini 는 시스템/사용자 분리 시 47.5% 였으나, 사회적 합의 프레임 시 77.8% 로 상승했습니다. Qwen-7B 는 14.4% 에서 65.8% 로 급증했습니다.
• 의미: 이는 모델이 사전 학습 (Pre-training) 과정에서 사회적 구조와 권위 관계를 내재적 행동 사전 지식 (Laternal Behavioral Priors) 으로 학습했으며, 이것이 사후 학습 (Post-training) 을 통해 주입된 시스템/사용자 가이드라인보다 더 강력한 제어력을 발휘함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 평가 프레임워크: LLM 의 명령 위계 처리 능력을 정량화하기 위해 구속 조건 우선순위 기반의 새로운 평가 프레임워크와 데이터셋을 제안했습니다.
2. 새로운 메트릭 도입: 충돌 인정률 (ECAR), 우선 준수 비율 (PAR), 구속 편향 (CB) 등 모델의 세부 행동을 분석할 수 있는 전문 지표를 개발했습니다.
3. 근본적 한계 규명: 현재 널리 사용되는 시스템/사용자 프롬프트 분리 방식이 LLM 의 안전성과 제어에 있어 '환상 (Illusion)'일 수 있음을 실증적으로 증명했습니다.
4. 잠재적 위계 사전 지식 발견: 사전 학습 데이터에서 유래한 사회적 위계 (권위, 전문가, 합의) 가 명시적인 안전 가이드라인보다 모델 행동에 더 큰 영향을 미친다는 새로운 통찰을 제공했습니다.

5. 의의 및 시사점 (Significance)

• 안전성 및 신뢰성 위기: 현재 LLM 기반 에이전트 시스템이나 안전 장치 (Guardrails) 가 시스템 메시지의 우선권을 신뢰할 수 없음을 의미합니다. 이는 악성 프롬프트 인젝션 (Prompt Injection) 공격에 취약할 수 있음을 시사합니다.
• 학습 패러다임의 재고: 단순한 지시 튜닝 (Instruction Tuning) 만으로는 모델 내부의 위계 구조를 재구성하기 어렵습니다. 모델이 사전 학습을 통해 습득한 사회적 편향을 어떻게 관리하거나, 새로운 아키텍처를 통해 위계적 제어를 강화할 것인지에 대한 연구가 필요함을 강조합니다.
• 정렬 (Alignment) 연구의 방향 전환: 모델이 사회적 위계를 통해 안전 가이드라인을 우회할 수 있다는 점은, 정렬 연구에서 '잠재적 위계 사전 지식 (Latent Hierarchical Priors)'을 식별하고 감시 (Audit) 하거나 약화 (Attenuate) 하는 것이 중요함을 제기합니다.

결론적으로, 이 논문은 LLM 이 외부에서 부여된 위계적 지시 (시스템/사용자) 를 따르는 데 실패하고 있으며, 오히려 학습 데이터에 내재된 사회적 구조에 더 민감하게 반응한다는 '통제 환상 (Control Illusion)'을 드러내었습니다.