What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

1. 연구 배경 및 문제 정의 (Problem)

• 할루시네이션의 근본 원인: 대규모 언어 모델 (LLM) 은 다양한 질의에 대해 강력한 성능을 보이지만, 여전히 할루시네이션 (사실과 다른 내용 생성) 에 시달립니다. 최근 연구들은 이 문제의 핵심 원인이 사전 학습 (Pre-training) 단계에서 획득한 파라미터 지식과 지도 미세조정 (SFT) 데이터 간의 지식 불일치 (Knowledge Misalignment) 에 있다고 지적합니다.
• 미세조정의 역설: SFT 데이터셋에 모델이 사전 학습 단계에서 접하지 않았거나 잘 모르는 지식이 포함되어 있을 경우, 모델은 해당 사실을 '알고 있는 것처럼' 라벨링된 토큰을 생성하도록 강요받게 됩니다. 이로 인해 모델은 답할 수 없는 질문에도 확신에 차서 잘못된 답변을 생성하게 되며, 이는 할루시네이션으로 이어집니다.
• 기존 방법의 한계:
  • 이분법적 접근: 기존 연구 (R-Tuning 등) 는 지식을 '알고 있음/모름'의 이진법으로만 구분하여 불확실성을 표현하도록 훈련시켰으나, 지식의 정도는 연속적인 스펙트럼 (graded quantity) 이라는 점을 간과했습니다.
  • 토큰 레벨의 거부: SEAL 같은 방법은 특정 거부 토큰에 확률 질량을 할당하지만, 이는 디코딩 단계에서 토큰 레벨의 결정을 강제하여 정확도와 거부 행동 간의 내재적 트레이드오프를 발생시킵니다.

2. 제안 방법론 (Methodology)

저자들은 모델이 각 인스턴스 (질문) 를 얼마나 잘 알고 있는지 세밀하게 (fine-grained) 추정하고, 이를 기반으로 미세조정 신호를 조절하는 지식 가중치 미세조정 (Knowledge-Weighted Fine-Tuning, KWT) 을 제안합니다.

A. 지식 점수 추정 (Knowledge Estimation)

단일 응답이 아닌 다중 샘플링 추론 (Multi-sampled Inference) 을 통해 모델의 지식을 신뢰성 있게 평가합니다.

1. 다중 샘플링: 각 질문당 3-shot 프롬프트를 구성하고, 이를 기반으로 $S$번 (예: 5 번) 독립적으로 응답을 샘플링합니다.
2. 정확도 평가: 생성된 응답들을 정답 (Gold Response) 과 비교하여 정확도를 측정합니다. 비교 지표로는 정밀 일치 (EM), ROUGE, 그리고 LLM-as-a-judge를 사용합니다. (실험 결과 LLM-as-a-judge 가 인간 평가와 가장 높은 일치도를 보임)
3. 지식 점수 (Knowledge Score, KS) 계산: $S$번의 샘플링 결과 중 정답과 일치한 비율을 평균하여 0 에서 1 사이의 연속적인 지식 점수를 산출합니다.
   $$\text{KnowledgeScore}(q) = \frac{1}{S} \sum_{i=1}^{S} f(\hat{r}_i, r^*)$$

B. 지식 가중치 미세조정 (Knowledge-Weighted Fine-Tuning)

추정된 지식 점수를 활용하여 학습 신호를 조절합니다.

1. 가중치 전략 (Weighting Strategies):
   • Familiarity (F) 전략 (기본값): 모델이 이미 잘 알고 있는 샘플 (높은 KS) 에 더 높은 가중치를 부여하여 학습 강도를 높입니다.
   • Reverse-Familiarity (RF) 전략: 잘 모르는 샘플에 더 높은 가중치를 부여합니다.
   • Uniform (U) 전략: 모든 샘플에 동일한 가중치를 부여합니다.
   • 결과: F 전략이 정확도와 불확실성 표현 사이의 최적 균형을 이룹니다.
2. 불확실성 표현 ( 토큰): 지식 점수가 0 인 경우 (모델이 해당 사실을 전혀 모르는 경우), 목표 응답의 끝에 특수 토큰 <IDK> ("I don't know"를 의미) 를 추가하여 명시적인 불확실성 표현을 유도합니다. 이는 전체 응답을 <IDK>로 대체하는 것보다 기존 답변 능력을 유지하면서 불확실성을 표현하는 데 더 효과적입니다.

3. 주요 기여 (Key Contributions)

1. 지식 추정과 할루시네이션 감소: 모델이 각 학습 인스턴스를 얼마나 잘 알고 있는지 세밀하게 추정하는 것이 할루시네이션을 줄이는 데 중요함을 실험적으로 증명했습니다. 다중 샘플링과 다양한 매칭 지표를 활용한 신뢰성 있는 지식 점수 추정을 제안했습니다.
2. 지식 기반 가중치 전략의 중요성: 미세조정 과정에서 지식 점수를 어떻게 활용하느냐 (예: 익숙한 데이터에 더 집중하는 F 전략) 가 불확실성 표현과 전체 성능 향상에 결정적인 역할을 함을 입증했습니다.
3. 새로운 평가 지표 도입: 불확실성 인식 행동을 체계적으로 측정하기 위해 nAUPC (Normalized Area Under the Product Curve) 를 포함한 새로운 평가 지표를 제안했습니다. 이는 정확도 (Certainty-Aware Accuracy) 와 적절한 유보 (Abstention, Uncertainty-Aware Accuracy) 간의 균형을 종합적으로 평가합니다.

4. 실험 결과 (Results)

• 데이터셋: 일반 (HaluEval), 의학 (MedQA), 과학 (SciQ) 도메인 및 도메인 외 (OOD) 데이터셋 (RefuNQ, SelfAware) 에서 평가 수행.
• 성능 비교:
  • 정확도: KWT 는 표준 SFT 와 유사한 정확도를 유지하면서 (약간의 감소만 발생), 불확실성 표현 능력 (nAUPC) 을 크게 향상시켰습니다.
  • 불확실성 표현: KWT 는 불필요한 유보 (A-FPR 감소) 를 줄이고, 실제로 답할 수 없는 질문에 대해 <IDK>를 정확하게 생성하는 능력 (IDK Precision 증가) 을 보여주었습니다. 특히 LLM-as-a-judge 를 기반으로 한 지식 점수 추정 (KWT-LLM) 이 가장 우수한 성능을 보였습니다.
  • OOD 일반화: 학습 도메인과 다른 데이터셋에서도 KWT 는 모델의 지식 범위를 벗어난 질문에 대해 적절한 불확실성을 표현하며 일반화 능력을 입증했습니다.
• 비교 분석:
  • SEAL vs KWT: 토큰 레벨의 거부 방식을 취하는 SEAL 은 정확도가 크게 저하되고 일반화 성능이 낮았습니다. 반면 KWT 는 기본 모델의 예측 분포를 더 잘 보존하며 (KL 발산도 낮음) 안정적으로 학습됩니다.
  • 가중치 전략: 익숙한 데이터에 집중하는 F 전략이 RF 나 U 전략보다 더 나은 균형을 제공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 할루시네이션 문제를 해결하기 위해 모델의 내부 지식 상태와 학습 데이터를 정렬 (Alignment) 하는 접근법의 중요성을 강조합니다.

• 핵심 통찰: 모델이 "무엇을 모르는지"를 학습하는 것은 단순히 부정적인 데이터를 제거하는 것이 아니라, 모델이 이미 알고 있는 지식은 강화하고 모르는 지식에 대해서는 명시적으로 '모른다'고 표현하도록 유도하는 것입니다.
• 실용성: KWT 는 복잡한 구조 변경 없이도 미세조정 단계에서 지식 점수를 가중치로 활용하고 특수 토큰을 추가하는 간단한 방식으로 구현 가능하며, 도메인 내/외 모두에서 효과적입니다.
• 향후 방향: 추론 시 외부 지식이 제공될 경우 모델이 이를 활용하여 <IDK>를 줄이고 정확한 답변을 생성할 수 있음을 확인했으나, 지식 추정 과정의 계산 비용 (다중 샘플링) 을 줄이는 것이 향후 과제로 남았습니다.

요약하자면, 이 연구는 "모델이 얼마나 잘 알고 있는지에 대한 세밀한 인식을 바탕으로 학습 신호를 조절함으로써, 할루시네이션을 줄이고 신뢰할 수 있는 AI 를 만드는 방법" 을 제시했습니다.