Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

기술 요약: 대규모 언어 모델의 추론 시 불확실성에 대한 인간 정렬 및 보정

문제 정의
최근 연구는 대규모 언어 모델(LLM)이 생성하는 유효한 답변의 가능성을 불확실성 추정치가 정확하게 예측하도록 보정(calibration)하는 데 집중해 왔습니다. 그러나 기존 연구에는 모델의 불확실성이 인간의 불확실성과 일치하는지를 평가하는 작업이 거의 없다는 결정적인 격차가 존재합니다. 어떤 척도가 모델의 정확도에는 잘 보정되어 있을지라도, 그 값이 인간의 직관과 일치하지 않는다면 사용자가 해석하기 어려워질 수 있습니다. 또한, 대부분의 불확실성 정량화(UQ) 방법은 보조적인 생성 과정(예: 몬테카를로 드롭아웃)을 필요로 하므로, 실시간 모델 제어나 사용자 피드백에 적합하지 않습니다. 본 논문은 추론 시(inference-time) 계산 가능하면서도, 보정(모델의 정답 예측)과 정렬(인간 집단 수준의 불확실성과의 상관관계)을 동시에 만족하는 UQ 척도의 필요성을 다룹니다.

방법론
저자들은 여러 LLM(LLaMa-3.2 1B/3B, LLaMa-3.1 8B, Mistral 7B 0.1/0.3, 모두 베이스 및 인스트럭션 튜닝 버전 포함)에 대해 다양한 추론 시 불확실성 척도를 평가합니다. 본 연구는 두 가지 인간 설문 데이터셋을 활용합니다:

1. Pew 데이터셋: Pew Research 설문 조사에서 추출한 38개 질문 (베이스라인으로 사용).
2. Roper 데이터셋: Roper Center for Public Opinion Research(2017–2023)에서 샘플링한 2,998개 질문.

인간 불확실성의 정의: 인간의 불확실성은 설문 응답자 그룹 간의 이견(disagreement) 수준으로 근사됩니다. 이는 각 질문에 대한 정규화된 응답 비율의 엔트로피로 계산됩니다.

평가된 불확실성 척도:
본 연구는 보조적인 샘플링 없이 단일 생성 패스(single generation pass) 동안 계산 가능한 척도에 집중합니다:

• Top-1 확률: 가장 가능성이 높은 토큰의 확률.
• 엔트로피 기반 척도:
  • 전체 엔트로피(Total Entropy): 전체 어휘 분포에 대한 샤논 엔트로피.
  • Top-k 엔트로피: 상위 $k$개 토큰($k \in \{5, 10, 25, 50, 100\}$)에 대해 계산된 엔트로피로, 상대적 비율을 유지하도록 정규화됨.
  • 선택 엔로피(Choice Entropy): 제공된 답변 선택지들의 정규화된 확률에 대해 계산된 엔트로피.
  • Top-p 엔트로피: 핵 샘플링(nucleus sampling)을 통해 선택된 토큰들에 대한 엔트로피(핵 크기 $p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Top-p 크기: 핵 집합(nucleus set)에 포함된 토큰의 수.

평가 지표:

1. 정렬(Alignment):
   • 명시적 일치(Overt Agreement): 모델의 최상위 선택지가 인간 그룹의 최상위 선택지와 일치하는 빈도.
   • 선호 순위(Preference Ordering): 모델과 인간의 선호 순위 간의 정규화된 켄달 타우($\text{Kendall } \tau$) 거리로 측정.
   • 불확실성 상관관계: 모델의 불확실성 점수와 질문별 인간 그룹의 불확실성(응답 엔트로피) 사이의 피어슨 상관계수.
2. 보정(Calibration):
   • 정확도 상관관계: MMLU 벤치마크 상의 이진 정답 여부와 불확실성 척도 간의 스피어먼 상관계수.
   • 분포적 보정(JSD Shift): 젠슨-샤논 거리(JSD)의 변화를 측정하는 새로운 지표. 저자들은 잘 보정된 척도라면 고확실성 질문에서 저확실성 질문으로 이동할 때 모델의 답변 분포와 정답 분포 사이의 거리가 유의미하게 증가할 것이라고 가설을 세웠습니다.

주요 결과

• 정렬 vs. 선호도: 모델은 인간의 최상위 답변에 대해서는 (무작위 확률보다 높은) 중간 정도의 일치를 보였으나, 전반적인 선호 순위에서는 유의미한 정렬을 보이지 않았습니다 (켄달 타우 거리가 사실상 무작위 수준임).
• 불확실성 정렬: 선호 순위의 정렬 부재에도 불구하고, 여러 척도가 인간 그룹의 불확실성과 강한 상관관계를 보였습니다.
  • 최고 성능 척도: Choice entropy, Total entropy, 모든 Top-k entropies, 그리고 Top-p entropy ($p \ge 0.9$)는 모든 모델에서 일관되게 유의미한 상관관계($|r| \ge 0.3$)를 나타냈습니다.
  • Top-p 크기: $p \le 0.9$인 경우 약하지만 유의미한 상관관계를 보였으며, 이는 일부 기존의 가설과 상충됩니다.
  • Top-1 확률: 일관되고 유의미한 상관관계를 보여주지 못했습니다.
• 보정: 인간 불확실성과 잘 정렬된 척도들은 MMLU에서 중등도 이상의 보정 증거를 보였습니다.
  • Choice Entropy가 가장 견고한 척도로 나타났으며, 거의 모든 모델과 주제에 걸쳐 정답 여부와 음의 상관관계(낮은 불확실성 = 높은 정확도)를 보였습니다.
  • JSD Shift: 순열 검정(Permutation tests) 결과, 대부분의 척도에서 고확실성 상태와 저확실성 상태 사이의 분포적 거리 변화가 통계적으로 유의미함을 확인하였으며, 이는 해당 척도들이 확신 상태와 불확실 상태를 효과적으로 구분함을 나타냅니다.

주요 기여

1. Top-p와 베이지안 연결: 저자들은 LLM 디코딩에서의 top-p 선택이 기능적으로 베이지안 최고 밀도 신용 집합(Bayesian highest density credible set)과 동일하다는 점을 지적하며, 이는 기존 UQ 문헌에서 간과되었던 연결 고리입니다.
2. 정렬과 선호도의 분리: 엔트로피 기반의 추론 시 척도가 모델과 인간이 특정 답변 선호나 순위에 대해 서로 다르더라도 인간의 불확실성과 정렬될 수 있음을 관찰했습니다.
3. 새로운 보정 지표: 정답 분포에 미치는 영향을 직접 평가하기 위해 젠슨-샤논 거리 지표의 변화를 기반으로 한 그라운드 트루스 분포적 보정 지표를 개발했습니다.
4. 경험적 증거: 정렬된 추론 시 척도가 정답 상관관계와 분포 분석 모두에서 보정된다는 증거를 제시했습니다.

의의 및 주장
본 논문은 인간의 불확실성 행동과 정렬됨으로써 더 효과적이고 직관적으로 해석 가능한 추론 시 UQ 척도들을 식별했다고 주장합니다. 이는 모델이 인간의 답변 선택 로직을 완벽하게 모방하지 못하더라도, 사용자가 이해할 수 있는 실시간 신뢰 신호를 제공할 수 있음을 시사한다는 점에서 중요합니다.

저자들은 이러한 척도들이 강력한 초기 정렬 및 보정 증거를 보여주지만 완벽하지는 않다고 겸허히 결론지었습니다. 또한 다음과 같은 후속 연구의 필요성을 강조합니다:

• 정렬을 희생하지 않으면서도 높은 보정 성능을 갖는 척도 찾기.
• 본 연구 결과를 개방형 생성(open-ended generation) 맥락으로 확장하기 (개방형 응답을 다지선다형 평가로 변환하는 프레임워크 제안).
• 집단 수준이 아닌 개인 수준의 불확실성 정렬 조사하기.
• 실제 인간-LLM 협력 애플리케이션에 이러한 척도를 적용하여 사용자 신뢰와 과업 효능을 개선하는지 테스트하기.

본 연구는 다지선다형 맥락과 80억 파라미터 이하의 모델로 제한되며, 더 큰 규모의 모델이나 개방형 시나리오에서는 결과가 달라질 수 있음을 명시하고 있습니다.