기술 요약: 선택적 문맥 선호 최적화를 통한 신뢰 시점 학습

문제 정의

대규모 언어 모델(LLM)은 추론을 조건화하기 위해 외부 신호(예: 검색된 문서, 사용자 힌트 또는 정답 키)에 점점 더 많이 의존하고 있습니다. 그러나 단 하나의 잘못된 신호가 모델이 정답을 도출할 수 있는 내부 지식을 갖추고 있음에도 불구하고, 올바른 답을 포기하게 만들 수 있습니다.

현재의 평가 패러다임은 흔히 모델이 외부 문맥을 무시하도록 훈련하는 '저항성(resistance)'을 강건함(robustness)으로 취급합니다. 저자들은 이것이 잘못된 목표라고 주장합니다. 모든 문맥을 무분별하게 무시하는 모델은 적대적 설정에서는 강건해 보일 수 있지만, 문맥이 올바르거나 모델이 관련 정보와 무관한 정보를 구분해야 하는 유용한 시나리오에서는 실패하기 때문입니다. 핵심 문제는 단순히 나쁜 신호에 저항하는 것이 아니라, **선택적 신뢰(selective trust)**를 학습하는 것입니다. 즉, 오도하는 신호는 거부하면서도 깨끗한 추론은 보존하고, 올в적인 문맥으로부터는 이득을 얻으며, 무관한 문맥에는 흔들리지 않는 능력을 갖추는 것입니다.

기존 벤치마크는 일반적으로 단일 문맥 조건 하에서 모델을 평가하므로, 성능 저하가 작업의 난이도 때문인지 아니면 특정 신호에 대한 취약성 때문인지를 구분하지 못합니다. 또한, 일반적인 완화 전략(예: 오도하는 예시만을 대상으로 훈련)은 종종 깨끗하거나 올맥이 올바른 문맥인 작업에서의 성능을 저하시키는 트레이드오프(trade-off)를 발생시킵니다.

방법론

1. MIST 벤치마크 (Misleading Signal Testbed)

선택적 신뢰를 측정하기 위해 저자들은 인간이 주석을 달아 제작한 1,000개의 추론 항목으로 구성된 MIST를 도입했습니다. 각 항목은 질문, 정답 공간, 골드 정답(gold answer), 그럴듯한 오답을 고정한 채로, 추가된 문맥만을 변화시켜 네 가지 매칭된 조건 하에 생성됩니다:

• Clean (깨끗한 상태): 추가된 문맥 없음.
• Misleading (오도하는 상태): 문맥이 그럴듯하지만 틀린 답을 암시함.
• Correct-Context (올바른 문맥): 문맥이 골드 정답을 뒷받침함.
• Irrelevant-Context (무관한 문맥): 문맥이 관련은 있으나 정답을 담고 있는 정보는 없음.

평가 지표:

• 조건별 정확도 (Condition Accuracies): 네 가지 조건 각각에 대한 성능.
• SC2W (Signal-Induced Correct-to-Wrong): 모델이 clean 조건에서 정답을 맞힌 항목들을 대상으로 하는 쌍(paired) 지표입니다. 이는 오도하는 신호가 도입되었을 때 정답에서 오답으로 뒤집히는 비율을 측정합니다. 이를 통해 모델의 본질적인 한계와 신호로 인한 실패를 분리하여 측정합니다.

2. SCOPE (Selective Context Preference Optimization)

저자들은 비적대적 조건에서의 성능을 희생하지 않으면서 선택적 신뢰를 최적화하기 위해 설계된 훈련 프레임워크인 SCOPE를 제안합니다.

• 데이터 구축: base 모델이 clean 프롬프트에서는 정답이지만 misleading 프롬프트에서는 오답인 각 항목에 대해, 역사실적 선호 쌍(counterfactual preference pair)을 구축합니다:
  • Chosen ($r^+$): 모델의 정답 (clean 조건 또는 진단용 fallback으로부터 추출).
  • Rejected ($r^-$): 오도하는 신호를 따른 후의 모델의 오답.
• 균형 잡힌 목적 함수 (Balanced Objective): 단순히 misleading 쌍만을 훈련하여 전반적인 불신을 가르치는 표준 DPO와 달리, SCOPE는 네 가지 균형 잡힌 선호 세트에 대해 단일 목적 함수를 최적화합니다:
  1. Misleading ($D_{mis}$): 진실을 오도하는 신호보다 선호함.
  2. Clean ($D_{clean}$): 신호가 없을 때 추론을 보존함.
  3. Correct-Context ($D_{cor}$): 문맥이 도움이 될 때 정답성을 유지함.
  4. Irrelevant-Context ($D_{irr}$): 오도하는 내용은 아니지만 방해되는 텍스트에 대해 강건함을 유지함.
• 최적화: 이 방법은 표준 full-completion DPO 손실을 사용합니다. 참신함은 전적으로 매칭되고 균형 잡힌 구성에 있습니다. 네 가지 조건에 대한 가중치는 고정되어 있으며 (네 세트 각각 25%씩 배분, 정답 및 무관한 문맥은 비적대적 구성 요소로 결합), 이를 통해 모델이 문맥을 완전히 거부하는 것이 아니라 그 유용성에 따라 가중치를 두는 법을 배우도록 보장합니다.

주요 결과

보편적 취약성

GPT-5.5, Claude Opus, Gemini와 같은 프런티어 독점 모델과 Qwen, Llama, DeepSeek과 같은 오픈 웨이트 모델을 포함한 23개 모델에 걸쳐, 오도하는 신호에 대한 취약성은 보편적으로 나타납니다.

• 깨끗한 문맥을 그럴듯한 오도 문맥으로 교체하면 평가된 모든 모델에서 상당한 정확도 저하가 발생합니다.
• GPT-5.5(96.0%)와 같이 높은 clean 정확도를 가진 모델조차도 0이 아닌 SC2W(10.5%)를 기록하며, 이는 오도될 경우 여전히 정답을 뒤집는다는 것을 나타냅니다.

SCOPE의 효과

Qwen3-4B 및 Llama-3.2-3B에 대한 실험 결과, SCOPE는 대안적인 완화 전략보다 우수한 성능을 보였습니다:

• SC2W 감소: SCOPE는 base 모델과 비교했을 때 SC2W를 약 절반 수준으로 줄였습니다 (예: Qwen3-4B의 경우 35.0%에서 16.3%로 감소).
• 대조군 보존: 오직 misleading 쌍만을 훈련하는 "Standard-DPO"나 "Prompt-Defense"와 달리, SCOPE는 clean, correct-context, irrelevant-context 조건에서의 정확도를 보존하거나 향상시킵니다. 예를 들어, Standard-DPO는 misleading 정확도는 개선했지만 Llama-3.2-3B의 correct-context 정확도를 붕괴시켰습니다.
• 제로샷 전이 (Zero-Shot Transfer): MIST 벤치마크로 SCOPE 훈련을 받은 모델은 추가 튜닝 없이 외부 벤치마크(GSM-IC, GSM-Plus, sycophancy 테스트)로 효과적으로 전이됩니다. SCOPE는 경쟁 방법들이 저항성을 위해 정확도를 희생하는 것과 달리, 정확도를 유지하거나 향상시키면서도 bias-following rate를 base 모델과 유사한 수준으로 유지합니다.

절제 연구 및 메커니즘 (Ablation and Mechanism)

• 매칭의 필요성: 매칭된 쌍을 제거하거나 무작위 쌍을 사용할 경우 성능이 크게 저하되며, 이는 역사실적 구조가 결정적임을 확인시켜 줍니다.
• 대조군의 필요성: 훈련에서 clean, correct-context 또는 irrelevant-context 쌍을 제거하면 균형이 깨집니다. 모델이 더 강건해질 수는 있으나, 도움이 되는 문맥을 활용하지 못하거나 깨끗한 추론 능력이 저하될 수 있습니다.
• 인간 감사 (Human Audit): 참조 보조 인간 감사를 통해, 결정론적인 자동 점수(SC2W 및 조건별 정확도)가 인간의 의미론적 정답 판단과 강력하게 일치함(대부분의 지표에서 Spearman $\rho \geq 0.97$)을 확인했습니다.

의의 및 주장

본 논문은 오도하는 문맥에 대한 강건함이 유용성을 희생한다면 잘못된 목표라고 주장합니다. 모든 신호를 불신하는 모델은, 신뢰할 만한 신호를 판별할 수 있는 평가가 포함되지 않는 한, 신호를 올바르게 판단하는 모델과 구별되지 않습니다.

• 목표의 재설정: 저자들은 평가 및 훈련 패러다임을 '저항'에서 **'선택적 신뢰'**로 전환할 것을 제안합니다.
• 측정 가능성: MIST와 SC2W는 동일한 추론 작업 내에서 유용한 문맥, 오도하는 문맥, 무관한 문맥을 구분하는 모델의 능력을 직접적이고 통제된 방식으로 측정하는 첫 번째 도구를 제공합니다.
• 방법론적 기여: SCOPE는 표준 DPO 프레임워크 내에서 네 가지 문맥 유형 모두에 걸쳐 선호 쌍을 균형 있게 배치함으로써 선택적 신뢰를 학습할 수 있음을 입증하며, 복잡한 새로운 손실 함수나 아키텍처를 필요로 하지 않습니다.
• 한계점: 저자들은 MIST가 통제된 텍스트 기반 진단 도구이며 실제 배포 환경의 빈도를 측정하는 것은 아니라고 명시했습니다. 공개 벤치마크로부터의 오염을 완전히 배제할 수는 없으나, SC2W 지표가 clean-correct 행동을 기준으로 조건화함으로써 이를 완화합니다. 또한, 이 방법은 두 가지 모델 제품군에서 테스트되었으므로 더 넓은 아키텍처에 대한 검증이 남아 있습니다.

결론적으로, 이 연구는 신뢰할 수 있는 추론 모델이 단순히 외부 정보를 무시하는 능력이 아니라, 언제 신뢰할지를 배우는 능력에 의해 판단되어야 함을 확립합니다.