기술 요약: OptimismBench

문제 정의

대규모 언어 모델(LLM)은 그들의 확률 판단이 다운스트림 선택에 직접적인 영향을 미치는 의사결정 보조 도구로 점점 더 많이 배치되고 있습니다. 그러나 기존의 평가 프레임워크는 특정 유형의 체계적 오류인 **방향성 편향(directional bias)**을 감지하는 데 실패합니다. 표준 보정 지표(예: 기대 보정 오차, ECE)는 부호가 없는 오차를 집계하기 때문에, 모델이 일률적으로 낙관적인지(긍정적 결과를 과대평가) 또는 일률적으로 비관적인지(부정적 결과를 과소평가)에 관계없이 동일한 보정 점수를 낼 수 있습니다. 또한, 자연스러운 예측 작업에는 정답 확률(ground-truth probabilities)이 없는 경우가 많아, 모델이 단순히 부정확한 것인지 아니면 체계적인 '기울기(tilt)'를 가지고 있는지 구분하기 어렵습니다.

본 논문은 LLM이 인간의 낙관주의 편향(Weinstein, 1980; Sharot, 2011)과 유사한 가치 의존적 왜곡(valence-dependent distortion)을 보일 수 있다고 가정합니다. 즉, 모델이 긍정적인 결과는 체계적으로 과대평가하고 부정적인 결과는 과소평가하거나, 혹은 그 반대의 현상을 보일 수 있다는 것입니다. 기존의 확률 일관성 연구(예: Zhu and Griffiths, 2025)는 오차의 방향을 분해하지 않고 부호가 없는 위반 사례만을 보고했기 때문에, 이러한 편향은 직접적으로 측정되지 않았습니다.

방법론: OptimismBench

이러한 공백을 메우기 위해 저자들은 **역쌍(inverted pairs)**을 사용하여 방향성 편향을 탐지하도록 설계된 벤치마크인 OptimismBench를 소개합니다.

핵심 메커니즘: 역쌍(Inverted Pairs)

모든 시나리오에 대해 모델은 두 가지 상보적인 확률을 추정하도록 요청받습니다:

1. $P(\text{success})$ (긍정적 프레이밍)
2. $P(\text{failure})$ (부정적 프레이밍)

완벽하게 일관된 모델은 추정치의 합이 100이 되어야 합니다. 벤치마크는 방향적 비대칭성을 정량화하기 위해 Skew(왜도) 지표를 정의합니다:
$$\text{Skew}_i = s^+_i - (100 - s^-_i)$$
여기서 $s^+_i$와 $s^-_i$는 시나리오 $i$의 긍정 및 부정 버전에 대한 모델의 정수 응답(0–100)입니다.

• 양(+)의 Skew: 낙관적 편향(실패 대비 성공을 과대평가)을 나타냅니다.
• 음(-)의 Skew: 비관적 편향(성공 대비 실패를 과대평가)을 나타냅니다.
• Zero Skew: 내부적 일관성을 나타냅니다.

이 지표는 가치 성분($\delta^+$ 및 $\delta^-$)으로 분해되어, "복합적 과대 주장(compound overclaim, 두 결과 모두 부풀리는 것)"과 고전적인 방향적 낙관주의/비관주의를 구분합니다.

실험 설계

• 데이터셋: 6개 영역(일상, 학술, 프로젝트, 비즈니스, 정책, 건강)에 걸친 60개의 통제된 역쌍 시나리오로 구성됩니다. 시나리오는 문화적으로 중립적이며, 확률적 판단을 강제하기 위해 명시된 기저율(base rates)을 포함하지 않습니다.
• 규모: 출시된 데이터셋은 10개 언어에 걸쳐 3,870개의 항목을 포함합니다.
• 평가 모델: 8개 제공업체(OpenAI, Anthropic, Google, Alibaba, DeepSeek, Mistral, Meta, Zhipu)의 소형부터 프런티어 티어까지 16개 모델을 평가합니다.
• 트랙:
  • 트랙 A (보정 제어): 모델이 알려진 확률을 보고할 수 있는지 확인하기 위해 명시적 기저율이 포함된 시나리오를 사용합니다(Skew $\approx$ 0 예상).
  • 트랙 B (주요 트랙): 기저율이 명시되지 않은 자연스러운 시나리오를 다룹니다.
  • 트랙 C & D: 추천(Recommendation) 및 돌출성(Salience) 트랙을 통해 서로 다른 유인 프레임(elicitation frames)에서도 편향이 지속되는지 테스트합니다.
• 중재(Interventions): 서사 조작(긍정적/부정적 맥락 추가), 관점 변화(1인칭/2인칭/3인칭), 온도 변화, 명시적인 자기 디바이어싱(self-debiasing) 경고를 포함한 요인 설계 중재를 적용합니다.

주요 결과

1. 보편적 방향성 편향

평가된 16개 모델 모두 유의미한 방향성 편향($p < 0.002$)을 보였습니다.

• 낙관주의: 14개 모델이 낙관적이었으며, Skew 값은 +4.2에서 +16.6 사이였습니다.
• 비관주의: Anthropic의 프런티어 티어 모델들(Opus 4.6: -5.1, Sonnet 4.6: -7.7)만이 비관적 편향을 보였습니다.
• 제공업체 무관성: 이 편향은 상업용 API, 중국 제공업체, 유럽 모델 전반에 걸쳐 나타나며, 이는 특정 제공업체의 학습 데이터에 국한된 문제가 아님을 나타냅니다.

2. 사후 학습(정렬)의 역할

편향의 방향은 아키텍처나 사전 학습보다는 **사후 학습(정렬, alignment)**에 의해 결정됩니다.

• 제어된 프로브: 4개 제품군(Qwen, Llama, Gemma, Mistral)에 대해 매칭된 base-versus-chat 쌍을 비교한 결과, 제품군별 특이적 변화가 드러났습니다:
  • Qwen: 정렬이 편향을 낙관성이 낮아지는 방향으로 이동시킵니다(5개 쌍 모두에서 음의 변화).
  • Llama: 정렬이 낙관성을 증폭시킵니다(4개 쌍 모두에서 양의 변화).
  • Gemma/Mistral: 이러한 경향과 일치하는 단일 쌍 파일럿 결과를 보여줍니다.
• Anthropic의 기울기: Anthric 내에서는 경량 모델인 Haiku 4.5는 낙관적(+6.1)인 반면, 더 큰 모델인 Opus와 Sonnet은 비관적입니다. 이러한 비단조성(non-monotonicity)은 "모델이 커질수록 편향이 줄어든다"는 단순한 가설을 부정하며, 정렬 레시피가 티어마다 다를 수 있음을 시사합니다.

3. 견고성 및 안정성

• 프롬프트 및 온도: 편향의 방향은 프롬프트 변형, 온도 변화(0.7 vs 1.0), 관점 변화 전반에 걸쳐 유지되었습니다(이는 아첨(sycophancy)이 주요 원인이 아님을 입증합니다).
• 자기 디바이스링(Self-Debiasing): 낙관주의 편향에 대한 명시적 경고는 그 크기를 약간 감소시키지만 방향을 제거하지는 못하며, 이는 편향이 모델의 학습된 표현의 깊은 속성임을 시사합니다.
• 서사 민감도: 긍정적/부정적 맥락을 추가하면 추정치가 약 20%포인트 변화하지만, 근저에 깔린 편향의 방향(낙관 vs 비관)은 변하지 않습니다.

4. 교차 언어 및 도메인 변동성

• 모델 정체성 우세: 모델 간 변동성이 언어 간 변동성보다 4.7배 더 큽니다. 어떤 언어로 말하느냐보다 어떤 모델을 사용하는지가 훨씬 더 중요합니다.
• 도메인 조절: 편향의 크기는 도메인마다 다르지만(예: 건강 습관에서 가장 큰 폭의 차이), 편향의 방향은 도메인 전반에 걸쳐 안정적입니다.

5. 확률 일관성

• 결합 vs 용량-반응(Dose-Response): 모델은 단순 결합 공리($P(A) \ge P(A \cap B)$)에 대해서는 높은 일관성을 보이지만, 용량-반응 단조성(증거 사다리에 따른 일관된 업데이트)에 대해서는 높은 위반율(27~47%)을 보입니다. 정렬은 단일 단계의 일관성은 개선하지만, 다단계 단조 추론을 해결하지는 못합니다.

의의 및 주장

본 논문은 방향성 확률 편향이 현재 LLM의 보편적이고 측정 가능하며 안정적인 속성이며, 이는 보정 오차와는 구별된다고 주장합니다.

1. 정렬의 부작용: 본 연구는 가치 의dependent 확률 왜곡을 정렬의 이전에 측정되지 않은 부작용으로 식별했습니다. 이 편향의 방향(낙관 vs 비관)은 제품군별 사후 학습 스택에 의해 설정됩니다.
2. 감사 가능성: OptimismBench는 정답 확률 없이도 모델의 방향성 편향을 감사할 수 있는 부호가 있는 지표(Skew)를 제공합니다.
3. 태스크 프레이밍 의존성: 결정적으로, 편향은 단일한 잠재적 기울기가 아닙니다. 확률 프레이밍(트랙 B)은 일관된 방향성 편향을 생성하지만, **추천 프레이밍(트랙 C)**은 부호를 반전시킬 수 있으며(주의를 유도), **돌출성 프레이밍(트랙 D)**은 일률적인 낙관주의를 유도합니다. 이는 이러한 모델을 상속받는 다운스트림 파이프라인이 사용된 프레이밍의 특정 기울기를 물려받게 됨을 의미합니다.
4. 실무적 시사점: 예측 및 자문 시스템의 경우, 모델의 정체성과 특정 정렬 이력이 언어나 특정 도메인보다 편향의 주요 결정 요인입니다. 실무자는 모델을 단순히 범용적인 편향으로 가정하기보다 태스크 유형별로 프로파일링해야 합니다.

저자들은 정렬이 모델을 더 유용하게 만들지만, 동시에 확률 판단을 한쪽으로 기울게 하며, 이 기울기는 다운스트림 애플리케이션에 기본적으로 상속된다고 결론짓습니다. 벤치마크와 데이터셋은 모델별 방향성 편향 감사를 가능하게 하기 위해 공개되었습니다.