LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 성능 평가에서 현재 널리 사용되는 **기대 보정 오차 (Expected Calibration Error, ECE)**와 같은 지표는 모델의 두 가지 근본적으로 다른 능력을 혼동하고 있습니다.

1. 민감도 (Sensitivity): 정답과 오답을 구분하는 능력 (판별력).
2. 편향 (Bias): 답변에 대한 확신을 표현하는 경향성 (신중함 vs 과신).

현재의 평가 관행은 모델이 얼마나 정확하게 답변하는지 (판별력) 와 그 확신이 실제 정확도와 일치하는지 (보정) 를 분리하지 못합니다. 예를 들어, 모델이 일관되게 틀리더라도 자신이 틀린다고 확신한다면 ECE 는 낮아질 수 있습니다.

이 연구는 **신호 탐지 이론 (Signal Detection Theory, SDT)**을 LLM 평가에 적용하여 민감도 ($d'$ 또는 $d_a$) 와 기준점 (Criterion, $c$) 을 분리하고, 특히 LLM 의 생성 온도 (Temperature) 가 인간의 심리학 실험에서 '보상 구조 (Payoff)' 조작과 유사하게 기준점만 이동시키는가, 아니면 민감도에도 영향을 미치는가를 검증하는 것을 목표로 합니다.

2. 방법론 (Methodology)

이 연구는 사전 등록 (Pre-registered) 된 실험으로, 3 개의 LLM 을 관찰자로 간주하고 사실 기반 질문 수행을 통해 신호 탐지자로 분석했습니다.

• 대상 모델:
  • Llama-3-8B-Instruct (지시 튜닝됨)
  • Mistral-7B-Instruct-v0.3 (지시 튜닝됨)
  • Llama-3-8B-Base (지시 튜닝 안 됨)
• 데이터셋: TriviaQA (5,000 문항, 5 개 도메인) 및 Natural Questions (3,000 문항). 총 168,000 회의 신뢰도 평가 (Confidence-rating) 트라이얼과 6,000 회의 4 지선다 강제 선택 (Forced-choice) 트라이얼 수행.
• 증거 변수 (Evidence Variable): 생성된 답변의 **정규화된 로그 확률 (Normalized Log-Probability, NLP)**을 사용. 이는 인간의 감각 증거에 대응하는 변수로, 답변 길이에 따라 정규화됨.
• 독립 변수: 온도 (Temperature, $T \in \{0.1, 0.3, 0.5, 0.7, 1.0, 1.5, 2.0\}$).
• 분석 프레임워크:
  • 불등분산 SDT 모델 (Unequal-Variance SDT, UVSD): 신호 (정답) 와 잡음 (오답) 분포의 분산이 다르다고 가정.
  • ROC 분석: 신뢰도 등급을 기반으로 다중 점 ROC 곡선 구성, AUC(곡선 아래 면적) 계산.
  • z-ROC 분석: z-ROC 기울기를 통해 분산 비율 ($s = \sigma_{noise}/\sigma_{signal}$) 추정.
  • 강제 해독 (Force-decode): 모델이 생성한 오답 대신 정답 토큰 시퀀스를 강제로 디코딩하여 민감도 기준선 확보.

3. 주요 기여 및 가설 검증 (Key Contributions & Hypotheses)

이 연구는 기존 LLM 평가에 SDT 의 완전한 매개변수 프레임워크를 적용하여 다음과 같은 세 가지 핵심 기여를 했습니다.

1. 온도는 순수한 기준점 조작이 아님 (H1 기각):

   • 가설: 온도는 보상 조작과 유사하게 기준점 ($c$) 만 이동시키고 민감도 ($AUC$) 는 일정하게 유지할 것.
   • 결과: 기각. 온도가 상승함에 따라 기준점 ($c$) 이 이동함과 동시에 민감도 ($AUC$) 도 증가했습니다. 이는 온도가 생성된 답변 자체 (증거 변수) 를 변경하기 때문입니다. 즉, 온도는 '신호'를 바꾸므로 인간의 심리학 실험에서의 '보상 조작'과 완전히 동일하지 않습니다.

2. 불등분산 증거 분포의 존재 (H4 지지):

   • 가설: z-ROC 기울기가 1.0 미만일 것 (정답 분산 > 오답 분산).
   • 결과: 지지. 모든 모델에서 z-ROC 기울기가 0.52~0.84 사이로 1.0 미만이었으며, 이는 정답에 대한 증거가 오답보다 더 큰 분산을 가짐을 의미합니다.
   • 특이점: 지시 튜닝 (Instruction-tuned) 모델이 베이스 모델보다 더 극단적인 불등분산 (기울기 0.52~0.63) 을 보였습니다. 이는 인간 기억 연구 ($s \approx 0.80$) 보다 더 큰 비대칭성을 나타냅니다.

3. 보정 지표의 한계와 SDT 분해의 가치 (H2 지지):

   • 가설: 유사한 ECE 를 가진 모델이라도 SDT 공간 ($d_a, c$) 에서 다른 위치에 있을 것.
   • 결과: 지지. ECE 만으로는 구별할 수 없는 모델들 (예: Mistral 은 민감도는 높지만 기준점이 더 관대함, Llama-3-Instruct 은 민감도는 낮지만 기준점이 다름) 을 SDT 를 통해 명확히 구분할 수 있었습니다. 이는 각 모델에 대한 개입 전략 (재학습 vs 보정) 이 달라야 함을 시사합니다.

4. 주요 결과 (Results)

• 온도와 민감도의 역설: 온도가 높아질수록 AUC(민감도) 는 증가했으나, 실제 정확도 (Accuracy) 는 감소했습니다. 이는 온도가 모델의 지식 수준을 높인 것이 아니라, 정답과 오답에 대한 NLP 분포의 분리를 더 뚜렷하게 만들었기 때문입니다.
• 지시 튜닝의 효과: 지시 튜닝은 모델의 판별 능력 ($d_a$) 을 크게 변화시키지 않고, 주로 응답 정책 (기준점 $c$) 을 조정하는 것으로 나타났습니다.
• 도메인별 민감도 차이: 과학 및 기술 도메인에서 모든 모델의 민감도가 가장 낮았습니다. 이는 해당 도메인이 보정 (Recalibration) 이 아닌 훈련 데이터 개선이 필요함을 의미합니다.
• 유창성 - 정확도 분리 (Fluency-Accuracy Dissociation): 모델이 생성한 오답은 정답보다 유창하여 높은 확률 (NLP) 을 받는 경향이 있었습니다. 이로 인해 NLP 기반 민감도 추정은 실제 '진실 신호'를 과소평가할 수 있으나, 상대적 비교 (모델 간, 조건 간) 는 유효함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 평가에 **심리물리학 (Psychophysics)**의 정교한 도구를 도입하여 다음과 같은 의의를 가집니다:

1. 진단적 정보 제공: 기존 ECE 나 Brier 점수로는 알 수 없는 '판별력 부족'과 '보정 실패'를 명확히 구분합니다. 이는 모델 개선 전략 (아키텍처/데이터 수정 vs 보정) 을 수립하는 데 필수적입니다.
2. 온도 조절의 한계 규명: 온도를 조정하는 것이 단순한 기준점 이동이 아니라 모델의 내부 증거 분포 자체를 변화시킨다는 것을 보여주어, 온도를 보정 도구로만 사용하는 접근법의 위험성을 경고합니다.
3. 불등분산 구조 발견: LLM 이 정답과 오답을 표현하는 방식이 인간 기억 시스템과 유사하지만 더 극단적인 불등분산 구조를 가짐을 규명했습니다.
4. 실용적 적용: 선택적 예측 (Selective Prediction) 및 고위험 도메인에서의 모델 배포 시, 민감도와 기준점을 독립적으로 최적화할 수 있는 이론적 기반을 제공합니다.

결론적으로, 이 연구는 LLM 을 단순한 텍스트 생성기가 아닌 신호 탐지기로 재개념화하며, SDT 프레임워크를 통해 모델의 내부 작동 원리와 성능 한계를 더 정밀하게 이해할 수 있음을 입증했습니다.