기술 요약: 대규모 언어 모델의 불확실성에서의 인간 정렬, 교정 및 활성화 패턴

문제 정의

대규모 언어 모델(LLM)의 불확실성 정량화(Uncertainty Quantification, UQ)는 주로 환각 현상을 완화하기 위해 모델의 신뢰도 점수가 작업 효능을 정확하게 반영하도록 하는 **교정(calibration)**에 집중해 왔습니다. 그러나 핵심적이고 아직 충분히 탐구되지 않은 질문이 남아 있습니다: LLM의 불확한 행동은 인간의 불확실성과 얼마나 유사한가?

이러한 "인간 정렬(human alignment)"을 이해하는 것은 인간-AI 협업에 있어 매우 중요합니다. 만약 LLM이 인간과 유사한 불확실성 패턴을 보인다면, 사용자들은 인간 대 인간의 상호작용에서 얻은 직관적인 기대를 인간 대 AI 상호작용으로 더 안전하게 전이할 수 있습니다. 반대로, 상당한 차이점이 존재한다면 인간과 AI가 서로의 약점을 보완할 수 있게 해줄 것입니다. 본 연구는 명시적인 모델 행동(로짓, logits)과 내부 활성화 패턴 모두에서 인간 유사 불확실성 신호(정렬)의 존재와 강도를 조사합니다. 또한, 정렬과 교정이 동시에 발생하는지 여부도 함께 검토합니다.

방법론

모델 및 데이터셋

본 연구는 네 가지 모델 제품군(LLaMA, Mistral, Gemma, Falcon) 및 1B에서 13B 파라미터 크기에 이르는 30개의 오픈 웨이트 텍스트 전용 LLM을 평가했습니다. 베이스(base) 모델과 지시 미세 조정(instruct-finetuned) 모델 버전을 모두 테스트했습니다.
다음 네 가지 데이터셋이 활용되었습니다:

1. MMLU: 기대 교정 오차(ECE)를 위한 베이스라인으로 사용된 표준 다중 선택 질의응답(MCQA) 데이터셋이지만, 인간의 불확실성 데이터는 결여되어 있습니다.
2. ProtoQA: 인간의 응답 분포를 제공하는 크라우드 소싱 기반 선호도 질문(8,724개 항목).
3. CamChoice: 인간의 응답 분포를 포함하는 독해 MCQA(504개 항목).
4. Coane: 고령층을 대상으로 한 일반 지식 질문 데이터셋(421개 항목). 결정적으로 이 데이터셋은 다음을 제공합니다:
   • 인간의 응답 분포 (그룹 불확실성/엔트로피용).
   • 평균 응답 시간 (인지 과학적 해석에 기반한 개별 불확실성용).
   • MCQA 및 자유 형식 질의응답(OEQA) 변형 모두 포함.

불확실성 측정 지표

저자들은 로짓과 활성화로부터 계산된 광범위한 추론 시점 UQ 지표를 사용했습니다:

• MCQA 지표: 전체 분포 메트릭(top-1 확률, 총 엔트로피), 클로즈(cloze) 기반 메트릭, top-k/p 엔트로피, 그리고 뉴클리어스(nucleus) 크기.
• 자유 응답(Free Response, FR) 지표: 시퀀스 퍼플렉시티(PPL) 및 생성된 토큰들에 대한 엔트로피/크기 지표의 평균.
• 괄호형 FR(BFR) 및 첫 토큰 FR(1TFR): 과도한 생성(over-generation)을 분리하기 위해 닫는 중괄호 전의 세그먼트 또는 첫 번째 생성된 토큰에 국한된 지표.

실험 설계

• 정렬(Alignment): 모델 불확실성 신호와 인간 불확실성(응답 엔트로피 또는 응답 시간에서 유도됨) 사이의 스피어만 상관계수를 통해 측정되었습니다.
• 교정(Calibration): ECE 추정 시 편향을 최소화하는 동적 빈닝(binning) 방법인 ECESweep을 사용하여 측정되었습니다.
• 활성화 프로빙(Activation Probing): 레이어별 마지막 토큰 활성화에 대해 인간 불확실성을 예측하도록 선형 회귀 모델을 학습시켰습니다. 이를 통해 저자들은 내부 정렬 신호가 출력 로짓과 비교하여 내부적으로 어디에서 어떻게 나타나는지 매핑할 수 있었습니다.

주요 기여 및 결과

1. 약한 수준에서 중간 수준의 양의 상관관계(Weak-to-Moderate Positive Alignment)

연구 결과, LLM의 불확실성은 일반적으로 인간의 불확실성과 약하거나 중간 정도의 양의 상관관계를 보였습니다. 이 관계는 특정 작업과 모델 아키텍처에 의해 매개됩니다.

• 그룹 vs 개별: 모델 불확실성을 개별 수준의 불확실성(응답 시간)보다 그룹 수준의 인간 불확실성(응답 분포 엔트로피)과 비교할 때 정렬이 더 강력하게 감지됩니다.
• 작업 의존성: CamChoice 데이터셋에서는 정렬 신호가 산발적이었으며, OEQA 작업에서는 거의 존재하지 않았습니다(Falcon 3 10B 모델은 응답 시간과는 상관관계를 보였으나 BFR/1TFR 맥락에서는 그렇지 않았음).

2. 지시 미세 조정에 의한 퇴화

주요 발견 중 하나는 지시 미세 조정이 불확실성 정렬과 교정 모두를 심각하게 저하시킨다는 점입니다.

• 거의 모든 지표와 데이터셋에 걸쳐, 베이스 모델이 지시 미 미세 조정된 모델보다 인간 불확실성에 대해 더 강한 정렬을 보여주었습니다.
• 마찬가지로, 교정(ECE) 역시 지시 모델에서 일반적으로 더 나빴으며, 제한된 옵션 맥락에서 미세 조정이 교정을 개선하는 예외적인 경우도 있었으나 다른 맥락에서는 저하되는 양상을 보였습니다.

3. 내부 활성화 vs 외적 행동

본 연구는 내부 상태와 출력 행동 사이의 결정적인 불일치를 밝혀냈습니다:

• 더 강력한 내부 신호: 인간과 정렬된 불확실성은 출력 로짓보다 내부 활성화에서 더 강력하게 감지됩니다.
• 정량적 격차: 예를 들어, Gemma 2 9B 모델은 내부 프로브에서 인간 엔트로피와 최대 $r \approx 0.6$의 상관관계를 보인 반면, 로짓 기반 지표는 $r = 0.32$에 불과했습니다.
• 레이어 역학: 그룹 수준의 불확실성(엔트로피) 정렬은 네트워크의 깊이가 깊어질수록 증가하는 경향이 있는 반면, 개별 수준(응답 시간) 정렬은 레이어 전반에 걸쳐 비교적 평탄하게 유지됩니다.

4. 교정의 우월성

정렬의 어려움에도 불구하고, LLM은 대부분의 UQ 지표에서 인간 피험자보다 더 잘 교정되는 경 경향이 있습니다. Coane 데이터셋에서 인간의 교정 오차는 0.21에서 0.45 사이였던 반면, 많은 모델이 0.1 미만의 ECE 값을 달しまいました.

의의 및 주장

본 논문은 단순히 교정에만 집중하는 것을 넘어, 다양한 모델과 작업에 걸쳐 불확실성 정렬을 광범위하게 조사한 첫 사례라고 주장합니다.

• 행동적 통찰: 이 연구는 모델의 외적 행동(로짓)이 인간과 유사한 불확실성을 완전히 반영하지 못할 수 있지만, 내부 표현에는 인간과 정렬된 불확실성의 더 강력한 신호가 담겨 있음을 시사합니다. 이는 인간과 유사한 불확실성 메커니즘이 모델 내부에 존재하지만, 지시 튜닝의 제약으로 인해 최종 출력에는 항상 표현되지 않을 수 있음을 의미합니다.
• 튜닝의 영향: 연구 결과는 트레이드오프를 강조합니다: 지시 미세 조정이 많은 영역에서 작업 성능을 향상시키지만, 인간과 유사한 불확한 행동 및 교정의 자연스러운 출현을 방해하는 것으로 보입니다.
• 향후 방향: 저자들은 이러한 정렬 신호를 잠재 벡터(latent vectors)에서 식별함으로써, 대규모 재학습 없이도 정렬 행동을 직접 조작하거나 강화할 수 있을 것이라고 조심스럽게 제안합니다. 다만, 현재 결과가 짧은 형태의 사실적 회상에 국한되어 있어 복잡한 추론이나 계획 작업으로 일반화될 수 있는지에 대해서는 한계를 인정하고 있습니다.

요약하자면, 본 논문은 LLM이 인간과 정렬된 불확실성을 갖는 잠재적 능력을 보유하고 있으나, 이 능력은 표준적인 지시 미세 조정에 의해 억제되는 경우가 많으며, 최종 예측보다 내부 활성화에서 더 잘 드러난다는 점을 입증합니다.