기술 요약: 인기 있지만 틀린: 지식 인기도를 통한 LLM의 과잉 확신 이해 및 완화

문제 정의

대규모 언어 모델(LLM)은 종종 오답에 높은 생성 확률을 할당하는 과잉 확신(overconfidence) 현상을 보입니다. 기존 연구들이 LLM이 종종 미교정(miscalibrated)되어 있다는 점을 입증해 왔으나, 이러한 과잉 확신을 유발하는 구체적인 요인은 충분히 이해되지 않았습니다. 선행 연구들은 주로 모델이 언제 성공하는지를 설명하기 위해 "정답 측면"의 인기도(즉, 훈련 데이터에 정답이 얼마나 자주 등장하는가)에 집중해 왔습니다. 그러나 이 접근 방식은 왜 모델이 틀린 답을 확신을 가지고 생성하는지는 설명하지 못합니다. 본 논문은 정답의 정확성과 할당된 확신 사이의 불일치가 모델이 학습한 지식의 빈도 구조, 즉 단순히 정답의 정확성뿐만 아니라 생성된 답변 자체의 인기도에서 기인한다고 주장합니다.

방법론

태스크 및 데이터

본 연구는 Wikidata의 트리플렛(주체, 관계, 객체)에서 파생된 **엔티티 중심 사실적 질의응답(QA)**에 초점을 맞춥니다. 모델은 주체와 관계가 주어졌을 때 객체를 생성하도록 쿼리됩니다.

• 데이터셋: 지식 인기도와 모델 정확도가 다양한 세 가지 데이터셋(Movies-감독, Songs-연주자, Basketball-선수 출생지)을 사용합니다(Yuksekgonul et al., 2023).
• 모델: Llama 3-8B, Qwen2-7B, Qwen2.5-7B/14B/32B와 같은 오픈 소스 모델과 ChatGPT/GPT-3.5-Turbo와 같은 블랙박스 모델을 포함한 6개의 LLM을 대상으로 실험을 진행했습니다.

지식 인기도 지표

훈련 데이터에 접근할 수 없으므로, 저자들은 외부 통계치를 지식 빈도의 대리 지표로 사용합니다:

1. 엔티티 인기도 ($Pop$): 특정 엔티티로 연결되는 위키피디아 사이트링크의 수로 측정됩니다.
2. 공출현 횟수 ($RPop$): 질문 엔티티와 답변 엔티티가 위키피디아 문서에서 함께 등장하는 횟수로 측정됩니다.
3. 정의된 신호:
   • $Pop_Q$: 질문 엔티티의 인기도.
   • $Pop_{GT}$: 정답(ground-truth)의 인기도.
   • $RPop_{GT}$: 질문과 정답 간의 공출현.
   • $Pop_{Ge}$: 생성된 답변의 인기도.
   • $RPop_{Ge}$: 질문과 생성된 답변 간의 공출현.

분석 및 교정 접근 방식

1. 상관관계 분석: 저자들은 부분 스피어만 상관계수를 사용하여 정답 및 오답 예측에 대해 인기도 신호와 모델 확신(생성 토큰 확률의 기하 평균으로 정의됨) 사이의 관계를 분석합니다.
2. 교정 전략: 과잉 확신을 완화하기 위해 저자들은 **인기도 인식 확신 추정기(popularity-aware confidence estimator)**를 제안합니다.
   • 모델: 경량 멀티 레이어 퍼셉트론(MLP)이 모델의 원시 확신($c$)과 인기도 신호($p$)를 입력받아 정답 여부($y$)를 예측합니다.
   • 신호: 시스템은 개별 신호($Pop_Q, Pop_{Ge}, RPop_{Ge}$)와 결합된 설정을 테스트합니다.
   • 자기 생성 인기도: 외부 코퍼스에 대한 의존도를 줄이기 위해, 저자들은 LLM 스스로 인기도 신호($\hat{Pop}$)를 추정하는 방법도 탐구합니다.

주요 결과

1. 환각은 무작위적이지 않으며 인기가 있다

LLM이 환각을 일으킬 때, 임의의 틀린 답을 생성하는 것이 아니라 다음과 같은 특성을 가진 답을 생성하는 경향이 있습니다:

• 정답보다 더 인기 있는 답변 ($Pop_{Ge} > Pop_{GT}$).
• 정답보다 질문 엔티티와 더 강력하게 연관된 답변 ($RPop_{Ge} > RPop_{GT}$).
• 이러한 패턴은 모델의 사실적 회상 능력이 낮은 도메인(예: 농구 데이터셋)에서 가장 두드러지며, 이는 지식이 희소할 때 모델이 전역적으로 인기 있거나 높은 공출현 빈도를 가진 엔티티를 기본값으로 선택함을 시사합니다.

2. 인기도가 오답의 확신을 유도한다

생성된 답변의 인기도와 그에 할당된 확신 사이에는 답변이 틀렸을 때도 강한 양의 상관관계가 존재합니다.

• 오답 예측: 확신은 질문-답변 공출현($RPop_{Ge}$)과 답변 인기도($Pop_{Ge}$)에 의해 강력하게 유도됩니다.
• 정답 예측: 정답은 일반적으로 매우 인기 있고 강력하게 연관된 지식을 포함하므로 확신이 일관되게 높으며, 이로 인해 상관관계를 탐지하기 어렵습니다.
• 스케일링: 모델 규모를 키우는 것(예: 7B에서 32B로)이 이 상관관계를 제거하지 못하며, 더 큰 모델 역시 인기 있는 오답에 대해 과잉 확신을 유지합니다.

3. 인기도 신호를 통한 완화

지식 인기도 신호를 통합하면 확신 교정이 크게 개선됩니다:

• 과잉 확신 감소: 모든 인기도 신호를 사용할 때, 오답에 대한 평균 확신($Conf_w$)이 바닐라 확률(0.765)에서 0.254로 감소했습니다.
• 교정 품질: 기대 교정 오차(ECE)가 0.356에서 0.050으로 감소했습니다.
• 정렬(Alignment): 정답과 오답을 구분하는 능력(Alignment)이 77.08%에서 83.72%로 향상되었습니다.
• 신호의 효과성: 개별 신호 중에서는 $RPop_{Ge}$(질문-답변 공출현)가 가장 효과적인 단독 예측 변수였습니다.
• 자기 생성 신호: LLM을 사용하여 인기도 신호를 추정하는 것도 교정을 개선했으나, 외부 코퍼스를 사용하는 것보다는 효과가 약간 낮았습니다.

의의 및 주장

본 논문은 "인기 있지만 틀린(popular but wrong)" 현상에 대한 체계적인 이해를 제공하며, 과잉 확신이 단순한 지식 인출의 실패가 아니라 친숙하고 빈도가 높은 엔티티를 향한 체계적인 편향임을 밝혀냈다고 주장합니다.

• 메커니즘: 연구 결과는 LLM이 오답에 높은 확신을 부여하는 이유가 해당 답변이 강력한 인기도 신호(높은 엔티티 빈도 또는 쿼리와의 높은 공출현)를 가지고 있어, 모델이 이를 정답의 징후로 해석하기 때문임을 시사합니다.
• 실용적 유용성: 본 연구는 이러한 인기도 신호가 사후 교정 메커니즘으로서 활용될 수 있음을 보여줍니다. 인기도와 정확성 사이의 관계를 명시적으로 모델링함으로써, 내부 모델 상태에 접근하거나 재학습할 필요 없이 과잉 확신을 실질적으로 줄이고 확신 기반 결정의 신뢰도를 높일 수 있습니다.
• 한계점: 저자들은 자신들의 결과가 인과관계가 아닌 상관관계이며, 본 연구가 폐쇄형(closed-book) 엔티티 중심의 사실적 질의응답에 국한되어 있다는 점을 명시했습니다. 개방형 생성이나 복잡한 추론 작업에 대한 적용 가능성은 여전히 열려 있는 과제입니다.

요약하자면, 본 논문은 지식 인기도가 LLM의 과잉 확신을 결정하는 핵심적이고 이전에 충분히 탐구되지 않은 요인이라고 주장하며, 생성된 답변의 인도를 고려하는 것이 더 잘 교정된 모델을 만드는 실행 가능한 경로임을 강조합니다.