1. 연구 배경 및 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 방대한 코퍼스로 학습되었으나, 정적 학습 데이터의 한계로 인해 '할루시네이션 (Hallucination)'과 사실 오류를 빈번히 발생시킵니다. 이를 해결하기 위해 외부 지식을 검색하여 생성에 반영하는 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 이 제안되었습니다.

하지만 RAG 는 새로운 도전을 제기합니다:

• 지식 충돌 (Knowledge Conflicts): 모델의 내부 파라미터 지식 (기억) 과 검색된 외부 정보 간에 모순이 발생할 수 있습니다.
• 불확실성 구분의 부재: 기존 신뢰도 평가 방법들은 단일 스칼라 확률 (Scalar Confidence) 에 의존하여, 인지적 불확실성 (Epistemic Uncertainty, 지식 부족으로 인한 불확실성) 과 알레토릭 불확실성 (Aleatoric Uncertainty, 데이터 자체의 모호성) 을 명확히 구분하지 못합니다.
• 과적합 및 일반화 실패: 기존 방법들은 특정 거절 (Abstention) 패턴을 암기하거나, 불확실한 상황에서도 과도하게 자신 있게 답변하는 경향이 있어, 신뢰할 수 없는 RAG 시스템을 초래합니다.

2. 제안 방법론: ERA (Evidence-based Reliability Alignment)

저자들은 RAG 시스템의 거절 행동을 개선하기 위해 증거 기반 신뢰도 정렬 (ERA) 프레임워크를 제안합니다. 이 방법은 스칼라 확률 대신 명시적인 증거 분포 (Evidence Distributions) 로 신뢰도 추정을 전환하며, 크게 세 가지 핵심 구성 요소로 이루어집니다.

2.1. 문맥 증거 정량화 (Contextual Evidence Quantification)

• 이중 헤드 아키텍처: 모델 내부 지식 (파라미터만 사용) 과 외부 검색 지식 (RAG 경로) 을 각각 독립적으로 처리하는 두 개의 증거 헤드 (Evidential Heads) 를 도입합니다.
• 디리클레 분포 (Dirichlet Distribution): Subjective Logic 에 기반하여, 각 헤드가 출력하는 로짓 (Logit) 을 비음수 증거 (Evidence) 로 변환하고 이를 디리클레 분포의 농도 파라미터로 매핑합니다.
• 불확실성 분리: 이를 통해 모델은 각 지식 소스 (내부/외부) 에 대한 신념 질량 (Belief Mass) 과 전체 불확실성 (Uncertainty Mass) 을 명시적으로 분리하여 추정합니다.

2.2. 지식 충돌 정량화 (Quantifying Knowledge Conflict)

• ** Dempster-Shafer Theory (DST) 적용:** 내부 지식과 외부 증거를 독립적인 신념 질량으로 모델링한 후, Dempster-Shafer 이론을 사용하여 두 소스 간의 기하학적 불일치를 정량화합니다.
• 충돌 점수 (Conflict Score, $\kappa$): 내부 신념이 '답변 가능 (Supported)'하다고 믿는데 외부 증거가 '답변 불가 (Unsupported)'하다고 하거나 그 반대일 때 발생하는 충돌을 계산합니다.
• 의미: 높은 충돌 점수는 한 소스는 강력하게 지지하고 다른 소스는 강력하게 부인하는 상황을 의미하며, 이는 할루시네이션의 주요 전조 신호로 작용합니다.

2.3. 불확실성 인식 거절 메커니즘 (Uncertainty-Aware Abstention Mechanism)

• 충돌 인지 손실 변조 (Conflict-Aware Loss Modulation): 학습 과정에서 충돌 점수 ($\kappa$) 와 검색 불확실성을 기반으로 가중치 ($w_{ds}$) 를 동적으로 조정합니다.
  • 검색 정보가 신뢰할 만하고 (불확실성 낮음) 내부 지식과 충돌이 클 때: 모델이 외부 증거를 따르거나 할루시네이션을 수정하도록 학습 압력을 강화합니다.
  • 검색 정보 자체가 불확실할 때: 학습 압력을 낮춰 노이즈에 민감하게 반응하는 것을 방지합니다.
• 최적화 목표: Direct Preference Optimization (DPO) 과 지도 미세 조정 (SFT) 을 결합하여, 답변 가능 시에는 정확도를 높이고, 불확실하거나 충돌이 심한 경우에는 '모르겠습니다 (Abstain)'라고 거절하는 행동을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 신뢰도 정렬 프레임워크 (ERA) 제안: 스칼라 확률에서 증거 분포 (디리클레) 로의 패러다임 전환을 통해 인지적 불확실성과 알레토릭 불확실성을 명시적으로 분리했습니다.
2. 엄격한 '신념 충돌' 정량화: Dempster-Shafer 이론을 활용하여 내부 파라미터 지식과 외부 검색 증거 간의 기하학적 불일치를 측정하는 새로운 지표를 도입했습니다.
3. 일반화 평가용 벤치마크 구축: 위키백과 이벤트 데이터를 기반으로 한 커스터마이징된 벤치마크 (Wiki Event) 를 제작하여, 모델이 특정 거절 패턴을 암기하는 것이 아닌 다양한 도메인에서 unsupported query 를 견고하게 식별하는지 검증했습니다.
4. 실험적 검증: 기존 베이스라인 (Logprob, Self-Consistency, DTA 등) 을 압도하는 성능을 보여주며, 답변 커버리지와 거절 사이의 최적 균형을 달성하고 잘 보정된 (Well-calibrated) 신뢰도 추정을 제공함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Natural Questions (NQ), TriviaQA, WebQuestions 와 같은 표준 벤치마크 및 일반화 평가를 위한 Wiki Event 데이터셋을 사용했습니다.
• 성능: Qwen3-8B 및 Llama3-8B 백본을 사용하여 평가한 결과, ERA 는 Overall F1 점수에서 모든 베이스라인을 크게 상회했습니다.
  • 답변 품질 (Answer Quality): 답변 가능한 쿼리에 대해 높은 정확도를 유지했습니다.
  • 거절 품질 (Abstention Quality): 답변할 수 없거나 정보가 모순되는 상황에서 과감하게 거절하여 할루시네이션을 효과적으로 줄였습니다.
• 일반화 능력: 분포 외 (Out-of-Distribution) 인 Wiki Event 데이터셋에서 기존 방법 (특히 DTA) 이 특정 거절 패턴을 암기하여 과도하게 거절하는 (Over-abstention) 문제를 보인 반면, ERA 는 분리된 불확실성 추정을 통해 이를 극복하고 답변 F1 을 두 배 이상 향상시키면서도 높은 거절 정확도를 유지했습니다.
• 보정 (Calibration): 기대 보정 오차 (ECE) 가 낮고, 충돌 상황에서도 모델이 불확실성을 더 보수적이고 정확하게 추정함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RAG 시스템의 신뢰성을 높이기 위해 단순한 확률 점수가 아닌 증거의 분포와 그 간의 충돌을 명시적으로 모델링해야 함을 강조합니다. ERA 는 내부 지식과 외부 증거 간의 갈등을 해결하는 메커니즘을 학습함으로써, 모델이 "무엇을 알고 있는지"와 "무엇을 모르는지"를 더 정확하게 판단하게 합니다. 이는 실제 응용 환경에서 할루시네이션을 줄이고, AI 시스템의 투명성과 신뢰성을 확보하는 데 중요한 기여를 하며, 향후 신뢰할 수 있는 AI 시스템 연구의 기초를 마련합니다.