Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 다양한 분야에서 뛰어난 성능을 보이지만, 할루시네이션 (Hallucination) 이라고 불리는 사실과 다른 내용을 생성하는 경향이 있습니다. 특히 의료와 같은 고위험 분야에서는 이러한 오류가 심각한 결과를 초래할 수 있습니다.

• 기존 접근법의 한계: 최근 연구에서는 LLM 의 생성물에 대한 불확실성 추정과 사실성 보장을 위해 합의 예측 (Conformal Prediction, CP) 을 적용했습니다. 그러나 기존 CP 방법은 모든 입력 (프롬프트) 에 대해 단일한 전역 임계값 (Global Threshold) 을 적용합니다.
• 핵심 문제: 입력의 난이도, 모호성, 희귀성에 따라 모델의 불확실성 분포가 달라지는데, 이를 고려하지 않은 전역 임계값은 특정 입력에 대해 과도한 보전 (Over-coverage, 너무 많은 항목을 포함) 이나 부족한 보전 (Under-coverage, 너무 많은 항목을 제외) 을 초래합니다. 이는 조건부 커버리지 (Conditional Coverage) 가 낮아져 특정 도메인이나 프롬프트 유형에서 신뢰할 수 없는 결과를 낳습니다.

2. 방법론 (Methodology)

저자들은 입력에 적응하는 적응형 합의 예측 (Adaptive Conformal Prediction) 프레임워크를 제안합니다. 이 방법은 비동일성 점수 (Nonconformity Score) 를 입력의 특성에 따라 변환하여 조건부 커버리지를 개선하면서도 마진 커버리지 (Marginal Coverage) 보장은 유지합니다.

주요 구성 요소:

1. 비동일성 점수 정의 (Nonconformity Score Definition):

   • 장문 QA (Long-form QA): 생성된 텍스트를 검증 가능한 원자적 주장 (Atomic Claims) 으로 분해합니다. 각 주장에 대한 불확실성 점수 $s(c)$ 와 기준 정답 $y$ 에 대한 사실성 함수 $w(c, y)$ 를 정의합니다. 비동일성 점수 $V(x, y)$ 는 모든 유지된 주장이 사실일 때의 최대 불확실성 임계값으로 정의됩니다.
   • 다중 선택형 QA (Multi-choice QA): 가장 모호하지 않은 분류기 (Least Ambiguous Classifier, LAC) 를 사용하여 정답 클래스의 확률 기반 점수를 비동일성 점수로 사용합니다.

2. 조건부 분위수 회귀 (Conditional Quantile Regression):

   • 프롬프트의 임베딩 (Embedding) 을 입력으로 받아 해당 입력에 대한 비동일성 점수의 조건부 분위수 $\hat{\tau}(x)$ 를 학습합니다.
   • 이를 위해 데이터셋을 세 부분 ($D_{cal1}, D_{cal2}, D_{test}$) 으로 나누어 사용합니다.
     • $D_{cal1}$: 조건부 분위수 추정기 $\hat{\tau}(x)$ 학습.
     • $D_{cal2}$: 변환된 점수 $\tilde{V}(x, y) = V(x, y) / \hat{\tau}(x)$ 를 계산하고, 이를 기반으로 새로운 합의 임계값을 보정 (Calibrate).
     • $D_{test}$: 보정된 임계값을 사용하여 최종 예측 집합 생성.

3. 점수 변환 및 필터링:

   • 학습된 $\hat{\tau}(x)$ 로 비동일성 점수를 정규화 (나눗셈) 합니다. 이는 입력 간 점수 분포의 변동을 줄이고, 서로 다른 난이도의 프롬프트에 대해 일관된 조건부 분위수를 갖도록 합니다.
   • 최종적으로 변환된 점수가 보정된 임계값보다 낮으면 해당 주장이나 답변을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 적응형 합의 예측 프레임워크 제안: LLM 의 환각 감지를 위해 임베딩 기반 조건부 분위수 회귀를 통해 프롬프트 적응형 보정 (Prompt-adaptive correction) 을 학습하는 방법을 제시했습니다.
2. 이론적 보장 유지 및 조건부 커버리지 개선: 분할 합의 예측 (Split Conformal Prediction) 의 유한 표본 마진 커버리지 보장을 유지하면서, 이질적인 프롬프트에 대한 조건부 커버리지를 크게 향상시켰습니다.
3. 광범위한 실험 검증: 다양한 도메인 (장문 QA, 다중 선택형 QA) 과 여러 LLM (Mistral, Llama, Gemma) 에서 기존 베이스라인보다 뛰어난 성능을 입증했습니다. 특히 선택적 예측 (Selective Prediction) 을 통해 신뢰할 수 없는 주장을 필터링하는 능력을 강화했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 모델:

  • 장문 QA: 8 가지 카테고리 (인물, 발명품, 예술작품 등) 의 300 개 샘플씩 생성. Mistral-7B, Llama-3.1-8B, Gemma-3-12B 사용.
  • 다중 선택형 QA: MMLU 데이터셋의 16 개 카테고리 사용.
  • 점수 함수: Claim Conditioned Probability (CCP) 가 가장 우수한 성능을 보임.

• 성능 비교:

  • 조건부 커버리지 (Conditional Coverage): 기존 전역 임계값 방법은 카테고리별 편차가 컸습니다 (예: '발명품'은 과보전, '인물'은 과소보전). 반면, 제안된 적응형 방법은 모든 카테고리에서 목표 커버리지에 근접하는 일관된 성능을 보였습니다 (그림 1, 2 참조).
  • 제거된 항목 비율: 적응형 방법은 불필요하게 많은 항목을 제거하는 것을 줄이면서 커버리지를 유지했습니다 (예: Mistral 7B 에서 Landmarks, Inventions 카테고리에서 제거율 감소).
  • Dolan-Moré 프로파일: 다양한 $\alpha$ 값과 시드에서 적응형 방법이 기존 방법보다 더 낮은 보정 오차 (Calibration Error) 를 보이며, 더 많은 문제에서 최상의 성능에 근접했습니다 (그림 3).

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 사실성을 보장하는 데 있어 입력 의존적 (Input-dependent) 인 불확실성 보정의 중요성을 강조합니다.

• 실용적 가치: 의료, 법률 등 고위험 분야에서 LLM 을 사용할 때, 특정 유형의 질문이나 복잡한 프롬프트에 대해 모델이 얼마나 신뢰할 수 있는지를 더 정확하게 판단할 수 있게 합니다.
• 이론적 확장: 기존 합의 예측 이론을 LLM 의 복잡한 생성 작업 (장문 생성, 다중 선택형 QA) 에 성공적으로 확장하고, 조건부 유효성을 달성하기 위한 구체적인 알고리즘을 제시했습니다.
• 미래 방향: 더 넓은 생성 작업으로의 확장, 입력 표현 (Input Representation) 의 개선, 그리고 이론적 보장의 강화가 향후 과제로 제시되었습니다.

요약하자면, 이 연구는 LLM 이 생성한 내용이 사실적인지 판단할 때 "모든 질문에 동일한 기준을 적용하는 것"이 아니라 "질문의 특성에 맞춰 기준을 동적으로 조정하는 것" 이 더 정확하고 신뢰할 수 있음을 입증한 중요한 작업입니다.