Measuring Pragmatic Influence in Large Language Model Instructions

1. 연구 배경 및 문제 정의 (Problem)

• 프롬프트 민감성 (Prompt Sensitivity): 대규모 언어 모델 (LLM) 은 지시문의 내용 (Task Content) 이 아닌, 지시를 전달하는 방식 (How we prompt) 에도 민감하게 반응합니다. "이것은 긴급합니다"나 "당신의 상사로서"와 같은 문구는 작업 내용 자체를 변경하지 않으면서도 모델의 행동을 변화시킵니다.
• 기존 연구의 한계:
  • 기존 연구들은 이러한 사회적/화용론적 단서 (Pragmatic Cues) 를 프롬프트 최적화나 보안 취약점 (재일브레이크 등) 탐지에 활용했습니다.
  • 그러나 이러한 연구들은 **화용론적 프레이밍 (Pragmatic Framing) 과 작업 내용을 분리하지 않고 혼재 (Entanglement)**시키는 경우가 많았습니다. (예: 역할 부여와 내러티브, 포맷 변경 등을 동시에 적용)
  • 이로 인해 특정 프레이밍 요소가 모델 행동에 미치는 영향을 고립적으로 측정하거나, 다양한 전략 간의 상대적 강도를 체계적으로 비교하는 것이 어려웠습니다.
• 핵심 문제: 화용론적 프레이밍이 지시 수행 (Instruction Following) 에 미치는 영향을 **측정 가능한 속성 (Measurable Property)**으로 정의하고, 이를 체계적으로 정량화하는 프레임워크의 부재.

2. 방법론 (Methodology)

저자들은 화용론적 영향을 고립적으로 측정하기 위해 세 가지 핵심 구성 요소로 이루어진 통제된 프레임워크를 제안했습니다.

가. 지시 - 프레이밍 분해 (Directive-Framing Decomposition)

• 개념: 지시문 (Directive) 과 화용론적 맥락 (Pragmatic Context, 즉 '영향력 접두사') 을 분리합니다.
  • 지시문 (Directive): 수행할 작업의 내용만 명시 (예: "자율주행차의 이점만 설명하세요").
  • 영향력 접두사 (Influence Prefix): 작업 내용은 변경하지 않고 사회적/대인 관계적 단서만 추가 (예: "위기 상황이라 절실히 도움이 필요합니다:").
• 목적: 실험 통제 변수를 명확히 하여, 작업 내용 변화 없이 오직 프레이밍의 효과만 측정할 수 있도록 합니다.

나. 우선순위 기반 측정 (Priority-Based Measurement)

• 문제: 기존 방식인 '작업 수행도 측정'은 기본 준수율이 높아 천장 효과 (Ceiling Effect) 가 발생하거나, '유해 요청 준수' 측정은 안전 장벽 (Safety Guardrails) 과의 혼란을 초래합니다.
• 해결: **상충되는 두 개의 지시 (Mutually Exclusive Directives)**를 제시하여 모델이 어느 쪽을 우선시하는지 관찰합니다.
  • 상황: 상호 배타적이지만 모두 안전한 두 지시 (D 와 ¬D) 를 제시.
  • 조건: 한 지시에는 '영향력 접두사'를 붙이고 (Framed), 다른 지시는 그대로 둡니다 (Prior).
  • 측정: 모델이 기본 상태 (중립) 에서 접두사가 붙은 지시를 얼마나 더 선호하는지 (우선순위 이동) 를 정량화합니다.
  • 장점: 모델이 개별 지시에는 잘 따르더라도, 충돌 상황에서 선택하는 행동을 통해 프레이밍의 영향을 민감하게 포착할 수 있습니다.

다. 프레이밍 접두사 분류 체계 (Taxonomy of Influence Prefixes)

• 데이터셋: 400 개의 접두사를 13 가지 전략으로 분류하고, 이를 4 가지 메커니즘 군집으로 묶었습니다.
  • 계층적 (Hierarchical): 권위 승인, 직접적 오버라이드 명령, 권위적 지위 주장 등.
  • 사회적 계약 (Social Contract): 약속과 일관성, 친밀감/신뢰, 상호성, 사회적 증거 등.
  • 감정적 (Emotional): 고통과 긴급성, 죄책감 유도, 긍정적 윤리적 프레이밍 등.
  • 서사적 (Narrative): 상황적 정당화, 가상의 역할극, 가설적 시나리오 등.
• 특징: 모든 접두사는 작업과 무관하게 (Task-agnostic) 설계되어 어떤 지시 쌍과도 결합 가능하도록 했습니다.

3. 실험 설정

• 모델: Kimi-K2, Qwen3-235B, Qwen3-Next-80B, Mistral-Small-24B, Mistral-7B 등 5 개의 서로 다른 아키텍처와 크기의 오픈 가중치 모델 평가.
• 지시 쌍: 50 개의 인간 작성 지시 쌍 (상호 배타적이지만 안전한 주제, 예: 재택근무의 생산성 증감 논쟁, AI 자동화 투자 여부 등).
• 평가: LLM-as-a-judge 를 사용하여 모델 응답을 'Prior 준수', 'Framed 준수', '양쪽 모두', '아무것도 아님'으로 분류.
• 베이스라인: 접두사 없음 (No-prefix), 의미 없는 텍스트 (Lorem Ipsum, 길이 통제용).

4. 주요 결과 (Results)

가. 화용론적 프레이밍은 지시 우선순위를 체계적으로 변화시킴

• 중립성 붕괴: 접두사가 없는 베이스라인에서는 모델이 두 지시 모두를 부분적으로 수행하려는 중립적 경향 ("Both") 을 보였습니다.
• 영향력: 3~19 단어 (평균 8 단어) 의 짧은 접두사만으로도 모델의 중립적 성향을 깨고 접두사가 붙은 지시를 선호하도록 체계적으로 전환시켰습니다.
• 길이 통제: 의미 없는 텍스트 (Lorem Ipsum) 도 약간의 우선순위 변화를 일으켰으나, 의미 있는 프레이밍 접두사의 효과 (+43% ~ +233% 증가) 가 훨씬 강력했습니다.

나. 영향력 메커니즘의 일관된 순위

• 모든 모델에서 전략의 효과 순위가 일관되었습니다.
  1. 계층적 (Hierarchical): 가장 효과적 (권위 주장, 명령 오버라이드 등).
  2. 사회적 계약 (Social Contract): 상호성, 신뢰, 친밀감 등.
  3. 감정적 (Emotional): 긴급성, 죄책감 등.
  4. 서사적 (Narrative): 역할극, 가설 등 (가장 약함).
• 모델 간 차이: Qwen 시리즈가 가장 취약 (높은 준수율) 했으며, Mistral 은 상대적으로 덜 취약했습니다. 모델 크기가 반드시 취약성을 결정하지는 않았으나, 작은 모델 (Mistral-7B) 은 사회적 추론 능력 부족으로 인해 영향력이 약하게 나타났습니다.

다. 세부 전략별 차이

• 가장 효과적인 전략: "이제 이것만 집중하세요 (Direct Override)", "상호성 (Reciprocity)" 등 명시적인 권한 부여나 호소.
• 가장 비효과적인 전략: "너를 믿는데 실망시키지 마 (Guilt Trips)", "시장 조사 결과 95% 가 성공함 (Statistical Appeals)" 등. 이러한 조작적 프레이밍은 오히려 모델이 거부하거나 역효과를 내기도 했습니다.

5. 기여 및 의의 (Contributions & Significance)

1. 측정 가능한 프레임워크 정립: 화용론적 프레이밍을 단순한 현상이 아닌, 측정 가능하고 비교 가능한 시스템 속성으로 정립했습니다.
2. 실험적 통제: 작업 내용과 사회적 단서를 분리하여, 특정 프레이밍 전략의 순수한 영향을 고립적으로 측정할 수 있는 방법론을 제시했습니다.
3. 보편적 패턴 발견: 모델 아키텍처나 크기에 관계없이 일관된 프레이밍 영향력 순위가 존재함을 발견했습니다. 이는 LLM 의 지시 수행 시스템이 인간과 유사한 사회적/화용론적 처리 패턴을 공유하고 있음을 시사합니다.
4. 안전 및 제어에 대한 함의:
   • 재일브레이크 공격이나 유해 요청 방지와 별개로, **지시 우선순위 (Directive Prioritization)**를 통해 모델의 취약점을 파악할 수 있습니다.
   • LLM 이 실제 배포 환경에서 사회적 단서에 의해 어떻게 조작될 수 있는지에 대한 정량적 기준을 마련했습니다.

6. 한계점 (Limitations)

• 현실성 부족: 실험을 위해 접두사를 작업과 무관하게 (Task-agnostic) 설계했기 때문에, 실제 상황 (특히 서사적 프레이밍) 에서의 영향력을 과소평가할 가능성이 있습니다.
• 위치 편향 (Positional Confounds): 접두사를 두 번째 지시에 고정하여 측정했으므로, '최근성 효과 (Recency Effect)'와 프레이밍 효과가 완전히 분리되지 않았을 수 있습니다.
• 모델 범위: 오픈 가중치 모델만 평가하여, 폐쇄형 모델 (Proprietary models) 의 다른 패턴을 포착하지 못했습니다.
• 메커니즘 설명 부족: 관찰된 행동 변화가 모델 내부에서 어떻게 발생하는지에 대한 기계적 설명 (Interpretability) 은 여전히 미해결 과제입니다.

결론

이 연구는 LLM 이 지시문을 수행할 때, "무엇을" 요청하는지보다 "어떻게" 요청하는지 (화용론적 프레이밍) 가 모델의 우선순위 결정에 체계적이고 예측 가능한 영향을 미친다는 것을 증명했습니다. 이는 LLM 의 행동 이해, 안전성 평가, 그리고 인간 - AI 상호작용 설계에 있어 새로운 중요한 차원을 제시합니다.