Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation

1. 문제 정의 (Problem)

RAG 는 외부 지식 (검색된 문서) 을 활용하여 대형 언어 모델 (LLM) 의 환각을 줄이는 데 효과적이지만, 여전히 다음과 같은 한계가 존재합니다.

• 환각의 원천 불명확성: RAG 의 오류는 검색된 문서의 부정확성 (잘못된 정보) 에서 비롯될 수도 있고, 모델의 내부 지식 (Parametric Knowledge) 에서 비롯된 사실적 오류일 수도 있습니다.
• 기존 방법론의 한계: 기존 RAG 환각 탐지 연구는 주로 신뢰성 (Faithfulness) 에 집중합니다. 즉, "생성된 내용이 검색된 문맥에 명시적으로 지원되는가?"를 기준으로 삼습니다. 이로 인해 사실적으로 정확하지만 검색된 문맥에 명시적으로 언급되지 않은 (Unfaithful but Factual) 올바른 답변까지 환각으로 오인하는 문제가 발생합니다.
• 핵심 과제: RAG 시스템에서 사실성 (Factuality, 객관적 진실 여부) 과 신뢰성 (Faithfulness, 검색 문맥과의 일치 여부) 을 명확히 구분하고, 이를 기반으로 불확실성을 정량화하는 것이 필요합니다.

2. 제안 방법론: FRANQ (Methodology)

FRANQ 는 생성된 주장 (Claim) 의 사실성을 추정하기 위해 불확실성 정량화 (Uncertainty Quantification, UQ) 기법을 활용하며, 다음과 같은 핵심 아이디어를 기반으로 합니다.

A. 사실성과 신뢰성의 분리 (Decomposition)

FRANQ 는 특정 주장 $c$가 참일 확률 $P(c \text{ is true})$ 를 다음과 같이 분해합니다:
$$P(c \text{ is true}) = P(c \text{ is faithful}) \cdot P(c \text{ is true} | \text{faithful}) + P(c \text{ is unfaithful}) \cdot P(c \text{ is true} | \text{unfaithful})$$

이 식은 세 가지 요소를 독립적으로 추정합니다:

1. 신뢰성 확률 ($P(c \text{ is faithful})$): 생성된 주장이 검색된 문맥 ($r$) 에 의해 추론되는지 여부.
   • 도구: AlignScore (RoBERTa 기반) 를 사용하여 주장과 문맥 간의 사실적 일관성을 연속적인 확률 값으로 추정합니다.
2. 신뢰성 조건 하의 사실성 ($P(c \text{ is true} | \text{faithful})$): 주장이 문맥에 기반할 때, 모델이 해당 정보를 올바르게 적용했는지 확인.
   • Long-form QA: Max Claim Probability (모델이 해당 문맥에서 해당 토큰을 생성할 확률) 사용.
   • Short-form QA: Semantic Entropy (샘플링 기반 불확실성) 사용.
3. 비신뢰성 조건 하의 사실성 ($P(c \text{ is true} | \text{unfaithful})$): 주장이 문맥과 무관하게 모델의 내부 지식에서 유래했을 때의 사실성.
   • Long-form QA: Parametric Knowledge (검색된 문맥을 입력에서 제거하고 모델의 내부 지식만으로 생성 확률 계산).
   • Short-form QA: Sum of Eigenvalues (샘플 다양성 기반).

B. 조건별 보정 (Condition-Calibrated Calibration)

서로 다른 UQ 방법들 (신뢰성 조건 vs 비신뢰성 조건) 은 서로 다른 분포를 가질 수 있으므로, FRANQ 는 등방성 회귀 (Isotonic Regression) 를 사용하여 각 조건에 맞는 데이터 하위 집합 (Faithful subset, Unfaithful subset) 별 보정을 수행합니다. 이는 보정되지 않은 (Raw) 출력보다 더 정확한 확률적 추정을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. FRANQ 방법론 개발: RAG 출력의 사실성을 평가하기 위해 신뢰성 (Faithfulness) 을 먼저 판단하고, 이에 따라 다른 UQ 기법을 적용하는 새로운 프레임워크를 제안했습니다.
2. 새로운 데이터셋 구축:
   • Long-form QA 데이터셋: 76 개의 질문과 4 개의 LLM (Llama, Falcon, Gemma 등) 으로 생성된 답변을 포함하며, 사실성 (Factuality) 과 신뢰성 (Faithfulness) 두 가지 레이블이 모두 부착된 1,700 개 이상의 원자적 주장 (Atomic Claims) 으로 구성되었습니다.
   • 하이브리드 라벨링: 자동 라벨링 (GPT-4o-search) 과 난이도가 높은 경우 (False/Unverifiable) 에 대한 수동 검증을 결합하여 데이터의 신뢰도를 높였습니다.
3. 광범위한 실험 및 검증: Long-form 및 Short-form QA 작업과 다양한 LLM 에서 FRANQ 가 기존 UQ 방법론 (일반적 베이스라인, RAG 특화 방법, XGBoost 등) 보다 사실적 오류 탐지 성능이 우수함을 입증했습니다.

4. 실험 결과 (Results)

• 성능 지표: PR-AUC (정밀도 - 재현율 곡선 아래 면적) 와 PRR (예측 거부 비율) 을 사용하여 평가했습니다.
• Long-form QA: FRANQ (조건별 보정 버전) 는 Llama 3B, Falcon 3B, Llama 8B, Gemma 4B 등 모든 모델에서 가장 높은 PR-AUC 또는 PRR 점수를 기록했습니다. 특히, Parametric Knowledge를 비신뢰성 주장의 사실성 추정에 사용하는 것이 핵심 성능 향상을 이끌었습니다.
• Short-form QA: 4 개의 데이터셋 (TriviaQA, SimpleQA 등) 에서 평균적으로 FRANQ 가 최상의 성능을 보였습니다.
• 강건성 (Robustness):
  • 검색 오류 (Retrieval Corruption): 검색된 문서가 관련성이 없거나 (Shuffled), 사실적 오류가 포함된 (Corrupted) 경우에도 FRANQ 는 기존 방법론보다 훨씬 강건하게 사실적 오류를 탐지했습니다.
  • 데이터 효율성: 소량의 레이블된 데이터 (약 120~300 개) 만으로도 보정된 FRANQ 는 대량의 레이블이 필요한 XGBoost 기반 지도 학습 방법보다 우수한 성능을 보였습니다.
• 계산 효율성: FRANQ 는 추가적인 모델 학습 없이도 매우 가볍게 동작하며, 보정 과정은 수백 바이트 크기의 모델만 생성하여 배포에 적합합니다.

5. 의의 및 결론 (Significance)

• 개념적 명확성: RAG 시스템의 실패 모드를 "검색된 문맥에 근거한 오류"와 "모델 내부 지식의 오류"로 명확히 분리함으로써, 사실적으로 올바른 답변이 문맥에 명시되지 않았다고 해서 환각으로 치부되는 오류를 방지했습니다.
• 실용적 가치: FRANQ 는 외부 검증이나 추가적인 에이전트 없이도 RAG 시스템의 출력 신뢰도를 실시간으로 평가할 수 있는 경량화된 프레임워크를 제공합니다.
• 미래 방향: FRANQ 의 불확실성 신호를 활용하여 생성 단계에서의 제어 (Generation-time control) 나 사후 편집 (Post-editing) 을 통해 더욱 신뢰할 수 있는 RAG 시스템을 구축할 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 RAG 시스템의 신뢰성을 높이기 위해 신뢰성 (Faithfulness) 과 사실성 (Factuality) 을 구분하여 불확실성을 정량화하는 새로운 패러다임을 제시하며, 이를 통해 기존 방법론보다 정교하고 정확한 환각 탐지가 가능함을 입증했습니다.