기술 요약: LLM 판단에 대한 누적 메시지 효과 (AMEL)

문제 제기

대형 언어 모델 (LLM) 은 코드 리뷰, 콘텐츠 조정, 채점과 같은 작업에 대한 자동화된 심사자로서 점점 더 널리 배포되고 있습니다. 실제 운영 환경에서는 효율성 때문에 단일 대화 세션 내에서 여러 항목을 평가하는 경우가 많아, 이전 판단의 기록이 생성됩니다. 본 논문은 이러한 이전 대화 기록의 극성 (polarity) 이 후속 판단에 편향을 일으키는지 여부를 조사합니다. 저자들은 이 현상을 **LLM 판단에 대한 누적 메시지 효과 (Accumulated Message Effects on LLM Judgments, AMEL)**로 정의합니다.

본 연구는 AMEL 을 관련 개념들과 구별합니다:

• 아첨 (Sycophancy): 사용자가 자신의 의견에 동의하도록 모델을 유도하는 아첨과 달리, AMEL 은 외부 사용자의 의견 없이 모델이 자신의 이전 응답 패턴에 순응할 때 발생합니다.
• 다수 레이블 편향 (Majority Label Bias): 포맷된 예시들이 예측을 왜곡하는 퓨샷 (few-shot) 분류 편향과 달리, AMEL 은 다양한 주제에 대한 완전한 질문 - 답변 교환에서 비롯됩니다.
• 앵커링 (Anchoring): 명시적인 수치적 참조점이 없는 앵커링과 달리, 이 편향은 대화의 전체적인 어조에서 발생합니다.

방법론

본 연구는 OpenAI, Anthropic, Google 및 로컬 오픈소스 모델 등 4 개 제공업체의 11 개 모델에 걸쳐 수행된 75,898 회 API 호출을 포함하는 피험자 간 실험 설계를 사용합니다.

실험 설계

• 조건: 동일한 테스트 항목이 네 가지 조건 하에 제시되었습니다:
  1. 기준선 (Baseline): 항목이 시스템 프롬프트만 따릅니다 (기록 없음).
  2. 부정적 포화 (No-Saturated): 항목이 90% 의 평가가 "아니오" (부정적) 였던 $N$개의 이전 턴을 따릅니다.
  3. 긍정적 포화 (Yes-Saturated): 항목이 90% 의 평가가 "예" (긍정적) 였던 $N$개의 이전 턴을 따릅니다.
  4. 중립 (Neutral): 항목이 50/50 비율로 나뉜 $N$개의 이전 턴을 따릅니다.
• 컨텍스트 길이 ($N$): 누적 효과를 테스트하기 위해 $\{5, 10, 20, 50\}$턴으로 다양하게 설정되었습니다.
• 도메인: 세 가지 이진 평가 도메인이 테스트되었습니다:
  1. 코드 리뷰: "이 코드는 프로덕션 준비가 되었습니까?"
  2. 콘텐츠 조정: "이 댓글은 적절한가요?"
  3. 영양 평가: "이것은 건강한 선택입니까?"
• 테스트 항목: 각 도메인에는 명확한 긍정, 모호한, 명확한 부정으로 분류된 21 개의 항목이 포함되었습니다.
• 편향 점수 (Bias Score, BS): $P(r^*|\text{treatment}) - P(r^*|\text{baseline})$로 정의되며, 여기서 $r^*$는 극성 조건에 대한 목표 응답입니다. 음수 점수는 "아니오"쪽으로의 이동을 나타내며, 이는 관찰된 지배적인 부정적 편향을 의미합니다.

테스트된 모델

본 연구는 GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro, 그리고 로컬 모델 (Llama 3.2, Qwen3/3.5) 을 포함한 다양한 규모와 아키텍처를 다루었습니다. 모든 API 모델은 $T=1.0$의 온도를 사용했습니다.

주요 발견

1. AMEL 의 존재와 크기

11 개 모델 전체에서 대화 기록은 응답을 기록의 지배적인 극성 쪽으로 현저히 이동시켰으며, 전체 효과 크기는 $d = -0.17$ ($p < 10^{-46}$) 이었습니다. 이는 기록이 주로 긍정적이든 부정적이든 중립적이든 관계없이 "아니오"쪽으로 체계적인 이동을 나타냅니다. 11 개 모델 중 9 개는 보너페로니 (Bonferroni) 교정 후 유의미한 편향을 보였습니다.

2. 취약성과 불확실성

이 효과는 균일하지 않으며, 모델이 기준선에서 진정으로 불확실한 항목에 집중되어 있습니다.

• 고엔트로피 항목: 모델의 기준선 확률 $P(\text{yes})$가 비결정적인 항목은 기준선이 결정적인 항목 ($d = -0.15$) 보다 약 2 배 더 많은 편향 ($d = -0.34$) 을 흡수합니다.
• 실제적 함의: AMEL 에 가장 취약한 항목은 편향 없는 평가가 가장 중요한 경계선 사례들입니다.

3. 부정적 비대칭성

부정적 기록은 긍정적 기록보다 훨씬 더 강력한 편향을 유발합니다.

• 크기: 부정적 컨텍스트는 긍정적 컨텍스트보다 항목당 이동이 1.62 배 더 강력합니다 ($t = 13.46, p < 10^{-39}$).
• 중립 기록: 균형 잡힌 (50/50) 기록조차도 음수 이동을 생성하는데, 이는 평가 컨텍스트의 존재 자체가 콘텐츠 극성과 무관하게 더 비판적인 모드를 촉발함을 시사합니다.

4. 포화 및 컨텍스트 길이

편향은 컨텍스트 길이에 비례하여 선형적으로 증가하지 않습니다.

• 즉시 포화: 편향된 기록 5 턴은 50 턴과 동일한 이동을 생성합니다 ($Spearman |r| < 0.01, p > 0.94$).
• 메커니즘: 모델은 지배적인 패턴을 빠르게 감지하여 평형 상태에 도달하며, 추가 예시는 편향을 강화하지 않습니다.

5. 모델 확장 및 분산

• 확장: 제공업체 패밀리 내에서 더 큰 모델은 일반적으로 편향이 적습니다 (예: Anthropic Haiku $d=-0.22$ 대 Opus $d=-0.17$), 하지만 어느 것도 면역이 없습니다.
• 예외:
  • Gemini: Google 모델에서는 경향이 반전되어, Gemini 2.5 Pro 가 Flash 보다 더 많은 편향을 보였는데, 이는 아마도 "사고 (thinking)" 토큰이 패턴 인식을 증폭시켰기 때문일 것입니다.
  • Qwen: Qwen3 4B 는 기록에서 벗어나는 유의미한 반대편향을 보였는데, 이는 아마도 반복을 처벌하는 인스트럭션 튜닝 때문일 것입니다.

6. 메커니즘 및 특성화

세 가지 후속 실험은 가능한 메커니즘을 좁혔습니다:

• 연속적 이동: Logprobs 분석은 AMEL 이 임계값 아티팩트가 아닌 토큰 확률 분포의 연속적인 이동임을 확인했습니다.
• 토큰 대 의미적 원인: 부정적 비대칭성은 토큰 수준과 의미적 구성 요소를 모두 가집니다. GPT-4.1 Nano 에서는 "아니오" 토큰 자체가 끈적이는 (sticky) 것으로 나타나고, Llama 3.2 3B 에서는 "거부" (rejection) 라는 개념 (의미적) 이 비대칭성을 주도합니다.
• 위치 무관성: 50 턴 기록 내 편향된 턴의 위치 (시작, 끝, 또는 분산) 는 중요하지 않습니다. 어떤 다섯 개의 편향된 턴이라도 전체 효과를 생성하기에 충분합니다.

중요성 및 권장 사항

본 논문은 AMEL 이 멀티턴 LLM 평가 파이프라인의 근본적인 취약점을 나타낸다고 주장합니다. 저자들은 확대만으로는 문제를 해결할 수 없다고 결론지으며, 최첨단 모델조차도 여전히 취약하다고 강조합니다.

실제 권장 사항:

1. 새로운 컨텍스트: 주요 완화 조치는 이전 기록이 없는 새로운 대화에서 각 항목을 평가하여 편향 경로를 완전히 제거하는 것입니다.
2. 균형 잡힌 배치: 배치가 불가피한 경우, 자기 강화적인 극성 이동을 방지하기 위해 항목을 무작위화하고 균형 있게 배치해야 합니다 (예상되는 "예"와 "아니오" 결과를 교차 배치).
3. 불확실한 항목 보호: 모델의 기준선 불확실성이 높은 항목에 대해 새로운 컨텍스트를 우선시하십시오.
4. 런타임 보정: 새로운 컨텍스트가 불가능한 시스템의 경우, 응답 - 기록 편향 감지기 (예: B-score) 나 logprobs 기반 보정을 사용하여 이동을 감지하고 부분적으로 보정할 수 있습니다.

본 연구는 전체적인 효과 크기는 적당하지만, 모호한 항목에 집중되어 있다는 점이 고위험 도메인에서 자동화된 평가의 신뢰성에 심각한 위험을 초래한다고 강조합니다.