기술 요약: LLM 을 위한 구두화 신뢰도 점수에 관하여

문제 제기

대규모 언어 모델 (LLM) 이 일상생활에 점차 통합됨에 따라 신뢰성 메커니즘에 대한 시급한 필요성이 대두되었습니다. 인간의 투표나 관련성 순위 등을 활용하여 신뢰도를 나타내는 기존 검색 엔진이나 Q&A 포럼과 달리, LLM 응답에는 내재된 신뢰 지표가 종종 부재합니다. 이러한 시스템에 맹목적으로 의존하는 것은 위험을 초래하므로, 강력한 불확실성 정량화 (Uncertainty Quantification, UQ) 방법이 필요합니다.

기존 UQ 접근법은 일반적으로 다음에 의존합니다:

1. 내부 지식: 여러 응답을 샘플링하여 일관성을 측정하거나 내부 토큰 로그라이츠 (logits) 를 활용합니다. 이러한 방법들은 종종 모델 중립적이지 않습니다 (블랙박스 모델에서는 로그라이츠에 접근 불가) 또는 높은 계산 오버헤드 (샘플링) 를 초래합니다.
2. 외부 지식: 프록시 모델이나 지식 베이스를 사용합니다. 이러한 방법들은 종종 다양한 프롬프트와 작업 전반에 걸쳐 일반화되지 못합니다.

본 논문은 LLM 에게 답변과 함께 신뢰도 점수를 명시적으로 출력하도록 프롬프트하는 구두화 신뢰도 점수 (verbalized confidence scores) 방법을 조사합니다. 이 접근법은 프롬프트 중립적이고 모델 중립적이며 오버헤드가 낮지만, 그 신뢰성은 논쟁의 여지가 있습니다. 이전 연구들은 이러한 점수의 보정 (calibration) 에 대해 상반된 결과를 보고했으며, 프롬프트 방식이 결정적 요인일 수 있음을 시사합니다.

방법론

저자들은 데이터셋 특성, 모델 용량, 프롬프트 엔지니어링이 구두화 신뢰도 점수의 신뢰성에 어떻게 영향을 미치는지 파악하기 위해 포괄적인 실증 분석을 수행합니다.

실험 설정

• 데이터셋: 과학, 논리, 사회적 상식 등 다양한 도메인과 난이도 수준을 포괄하는 10 개의 다양한 데이터셋 (예: ARC, MMLU, TruthfulQA, CommonsenseQA). 지상 진실 (ground-truth) 의 정확성을 확인할 수 있도록 폐쇄형 서적, 폐쇄형, 객관식 질문으로 평가가 제한됩니다.
• 모델: 작은 오픈소스 모델 (예: Gemma 2B, Llama 3 8B) 에서 대형 모델 (예: Llama 3 70B, Qwen 110B, GPT-4o) 까지 다양한 11 개의 LLM.
• 프롬프트 방법: 다음에 따라 분류된 17 가지 고유한 프롬프트 변형:
  • 점수 범위: 백분율 (0-100), 소수 (0-1), 이산 문자 (A-E), 또는 텍스트 레이블.
  • 점수 구성: "신뢰도"를 묻는 대 "정답일 확률"을 묻는 방식.
  • 고급 설명: 프롬프트 불확실성, 작업 난이도, 지식 가용성을 고려하도록 모델을 명시적으로 지시.
  • 퓨샷 프롬프팅 (Few-Shot Prompting): 답변 - 신뢰도 쌍의 1 개 또는 5 개 예시 제공.
  • 복잡성: 체인 오브 씽킹 (CoT) 이나 여러 추측 순위 매기기 등을 포함한 변형.

평가 지표

점수의 신뢰성은 다음 세 가지 고수준 기준으로 평가됩니다:

1. 보정 (Calibration): 기대 보정 오차 (ECE) 와 SmoothECE(smECE) 로 측정. 보정된 점수 $C$는 $P(\text{correct} | C=c) = c$를 의미합니다.
2. 정보성 (Informativeness): 예측된 신뢰도 점수의 분산과 고유 값의 수로 측정. 항상 동일한 점수를 출력하는 모델은 정보성이 없습니다.
3. 의미성 (Meaningfulness): 특정 데이터셋의 신뢰도 분포와 전역 분포 간의 Kullback-Leibler (KL) 발산으로 측정. 이는 모델이 작업 난이도에 따라 신뢰도를 조정하는지 평가합니다.

주요 결과

1. 프롬프팅 전략에 대한 의존성

본 연구는 구두화 신뢰도 점수의 신뢰성이 모델 고유의 특성이 아니라 모델에게 어떻게 질문하느냐에 크게 의존함을 확인했습니다.

• 이견 해소: 서로 다른 프롬프트 구성이 극적으로 다른 보정 결과를 산출함을 보여줌으로써 상충되는 문헌 (예: Tian et al. 대 Xiong et al.) 의 이견을 해소했습니다.
• 초소형 vs 대형 모델:
  • 초소형 LLM: 단순한 프롬프트 구성으로부터 가장 큰 혜택을 받습니다. 퓨샷 프롬프팅이나 여러 추측 순위 매기기 같은 복잡한 방법은 신뢰성을 현저히 저하시킵니다. "확률 점수" 구성 (0-1 확률 요청) 이 가장 큰 개선을 제공했습니다.
  • 대형 LLM: 복잡한 프롬프트 방법으로부터 혜택을 받습니다. 확률 구성, 고급 설명 (불확실성 원인 명시), 퓨샷 예시를 결합한 것이 최상의 결과를 낳았습니다.

2. 보정 성능

• 과신 (Overconfidence): 대부분의 모델은 과신을 보이며, 어려운 데이터셋에서 정확도가 떨어질지라도 신뢰도 점수는 높게 유지됩니다.
• 모델 용량: 정확도는 모델 크기가 증가함에 따라 향상되지만, 보정 개선은 주로 과신 감소보다는 증가된 정확도에 의해 주도됩니다.
• 최고 성능: 대형 LLM 의 경우 "콤보" 방법 (확률 구성 + 고급 설명 + 퓨샷 예시) 은 경험적 정확도에서 평균 7% 편차 (ECE $\approx$ 0.07) 를 달성하여 보정 행동에서 질적인 개선을 나타냈습니다.

3. 정보성과 의미성

• 단순한 프롬프트는 종종 낮은 분산 (정보성 부족) 을 초래하여 모델들이 높은 신뢰도 주변에 군집하는 경향이 있습니다.
• 대형 모델을 위한 복잡한 프롬프트는 기초 데이터셋의 난이도를 더 잘 반영하는 다양한 신뢰도 점수 생성을 성공적으로 장려하여 더 높은 의미성을 달성했습니다.

주요 기여

1. 직관적인 불확실성 분해: 저자들은 LLM 불확실성을 입력, 모델, 출력 불확실성으로 분해하여 제안하며, 특히 객관적 정확성과 관련된 출력 불확실성에 초점을 맞춥니다.
2. 정밀한 신뢰성 명세: 본 논문은 단순한 정확도 검사를 넘어 보정, 정보성, 의미성이라는 세 가지 지표의 삼각형 (triad) 을 통해 신뢰성을 정의하고 평가합니다.
3. 실증적 통찰: 데이터셋 난이도, 모델 용량, 특정 프롬프트 엔지니어링 기법이 상호작용하여 구두화 신뢰도의 품질을 결정하는 방식을 세밀하게 분석합니다.
4. 오픈 소스: 추가 연구를 촉진하기 위해 평가 코드와 프롬프트 템플릿을 공개합니다.

중요성과 주장

본 논문은 구두화 신뢰도 점수가 프롬프트 중립적, 모델 중립적, 저오버헤드 요구 사항을 충족하는 유망하고 간단하며 다용도인 불확실성 정량화 방법임을 주장합니다.

그러나 저자들은 현재 기술 상태에 대해 겸손한 입장을 유지합니다:

• 만능 해결책 아님: 이러한 점수의 신뢰성은 현재 "질문 방식에 크게 영향을 받습니다." 신중한 프롬프트 엔지니어링 없이는 실제 배포에 완전히 신뢰할 수 없습니다.
• 미래 잠재력: 저자들은 LLM 이 간단한 프롬프팅을 통해 다양하고 의미 있는 신뢰도 점수를 표현하도록 가르칠 수 있지만, 완전한 보정과 자기 인식을 달성하려면 프롬프트 최적화, LLM 주도 엔지니어링, 또는 파인튜닝의 추가 발전이 필요할 수 있다고 제안합니다.
• 범위 제한: 현재 작업은 객관적 정확성으로 제한됩니다. "정확성"이 모호한 주관적 질문이나 개방형 생성 작업은 다루지 않습니다.

결론적으로, 본 논문은 프롬프트 전략이 특정 모델 크기와 작업 복잡성에 맞게 신중하게 맞춤화된다면, 구두화 신뢰도가 LLM 신뢰성을 위한 실현 가능한 다음 단계임을 확립합니다.