Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

"Faithfulness-QA: 컨텍스트 충실성 있는 RAG 모델 훈련을 위한 반사실적 개체 치환 데이터셋"에 대한 상세한 기술 요약입니다.

1. 문제 제기

검색 증강 생성 (RAG) 시스템은 대규모 언어 모델 (LLM) 을 외부 증거에 기반하도록 설계되었습니다. 그러나 **부정확성 (unfaithfulness)**이라고 불리는 치명적인 실패 모드가 발생하는데, 이는 모델이 검색된 컨텍스트를 무시하고 대신 내부 파라미터 메모리(사전 훈련 중에 획득한 지식) 에 의존할 때 발생합니다.

• 근본 원인: 표준 다음 토큰 예측 손실 함수는 모든 토큰을 동일하게 취급하여, 컨텍스트에서 유도된 정보와 암기된 사실 사이를 구분하지 못합니다. 컨텍스트 기반을 보상하는 명시적인 훈련 신호가 없으면, 충돌이 발생할 때 모델은 내부 지식을 기본값으로 사용합니다.
• 격차: 기존 솔루션들은 추론 시 충돌 해결 (예: Self-RAG, FaithfulRAG) 에 집중하거나 소규모 평가 벤치마크 (예: 약 4,900 개의 샘플을 가진 FaithEval) 를 제공하는 데 그칩니다. 통제된 지식 충돌을 통해 모델이 내부 메모리보다 검색된 컨텍스트를 우선시하도록 강제하는 대규모 고품질 훈련 데이터가 부족합니다.

2. 방법론: Faithfulness-QA 구축

저자들은 Faithfulness-QA를 제안했습니다. 이는 완전 자동화된 4 단계 파이프라인을 통해 구축된 99,094 개의 샘플 데이터셋입니다. 핵심 메커니즘은 **반사실적 개체 치환 (Counterfactual Entity Substitution)**으로, 컨텍스트와 모델의 예상 파라미터 지식 사이에 인위적인 충돌을 생성합니다.

A. 소스 데이터

이 데이터셋은 두 가지 상호 보완적인 추출형 QA 벤치마크에서 구축되었습니다:

1. SQuAD: 87,599 개의 쌍 (위키백과 단락, 중앙값 길이 701 자).
2. TriviaQA: 87,041 개의 쌍 (더 긴 증거 문서, 중앙값 길이 1,581 자).

B. 4 단계 파이프라인

1. 개체 은행 (Entity Bank) 구축:

   • SpaCy 의 en_core_web_lg NER 모델을 사용하여 소스 컨텍스트에서 명명된 개체를 추출했습니다.
   • PERSON, GPE, ORG, DATE, CARDINAL, NORP, LOC, EVENT 등 8 가지 유형에 걸쳐 76,953 개의 고유 개체로 구성된 은행을 큐레이션했습니다.
   • 개체를 길이 (2~100 자) 기준으로 필터링했습니다.

2. 답변 - 개체 매칭:

   • 각 QA 샘플 $(q, c, a)$에 대해 시스템은 컨텍스트 $c$ 내의 인식된 NER 개체와 답변 $a$를 매칭하려고 시도합니다.
   • 3 단계 전략 캐스케이드를 사용합니다: 정확한 일치, 부분 문자열 일치, 위치 중첩.
   • 명명된 개체와 매칭되지 않는 샘플은 필터링됩니다 (이는 주요 병목 현상입니다).

3. 반사실적 개체 치환 (핵심 단계):

   • 원래 답변 개체 ($e_{orig}$) 와 그 유형 ($t$) 을 식별합니다.
   • 동일한 유형 $t$를 공유하지만 $e_{orig}$와 구별되는 대체 개체 ($e_{new}$) 를 은행에서 샘플링합니다.
   • 길이 호환성을 강제합니다 ($0.3 \le |e_{new}|/|e_{orig}| \le 3.0$).
   • 전역 치환: $e_{orig}$의 모든 대소문자 구분 없는 발생을 컨텍스트에서 $e_{new}$로 교체하여 $c'$를 생성합니다.
   • 새로운 "충실한" 답변은 $e_{new}$가 됩니다.

4. 품질 필터링 및 분할:

   • 6 가지 규칙 기반 검사를 적용합니다 (예: 수정된 컨텍스트에 새로운 개체가 있는지 확인, 원래 개체가 제거되었는지 확인, 컨텍스트 길이가 충분한지 확인, 과도한 치환이 없는지 확인).
   • 통과한 샘플을 Train/Dev/Test (80/10/10) 로 분할하며 고정된 시드 (42) 를 사용합니다.
   • 전체 파이프라인은 결정론적이며, 단일 CPU 에서 약 5.5 시간 동안 실행되며 GPU 가 필요하지 않습니다.

3. 주요 기여

1. Faithfulness-QA 데이터셋: RAG 모델이 파라미터 메모리보다 컨텍스트를 따르도록 훈련하기 위해 특별히 설계된 대규모 (9 만 개 샘플) 리소스입니다. 기존 충실성 평가 벤치마크보다 약 20 배 더 큽니다.
2. 자동화 구축 파이프라인: 감사된 샘플에서 100% 품질 통과율을 달성하며 56.7% 의 치환 성공률을 보이는 완전 자동화된 오픈소스 파이프라인입니다.
3. 타입별 개체 은행: 8 개 범주에 걸친 76,953 개의 개체로 구성된 재사용 가능한 리소스로, 재현 가능하고 확장 가능한 데이터셋 구축을 가능하게 합니다.
4. 종합 분석: 개체 분포, 컨텍스트 길이, 실패 모드에 대한 상세한 통계 분석으로 SQuAD 와 TriviaQA 소스의 상호 보완성을 입증했습니다.

4. 결과 및 통계

• 규모: 총 99,094 개의 샘플 (SQuAD 에서 49,094 개, TriviaQA 에서 50,000 개).
• 성공률: 전체 56.7% (SQuAD 는 56.0%, TriviaQA 는 57.4%).
• 실패 분석: 필터링의 주된 이유 (64.0%) 는 매칭되는 NER 개체가 부재한 경우입니다 (예: 답변이 설명적 구문이나 부울 값인 경우). 이는 타입 일관성 있고 잘 정의된 치환을 보장하기 위한 의도적인 절충입니다.
• 품질 감사: 무작위 200 개 샘플 감사에서 치환 존재 여부, 원래 개체 제거, 컨텍스트 수정, 길이 비율 등 네 가지 차원에서 100% 통과율을 달성했습니다.
• 개체 분포:
  • TriviaQA는 PERSON 개체 (45.7%) 가 지배적입니다.
  • SQuAD는 ORG, DATE, PERSON 전반에 걸쳐 더 균일한 분포를 보입니다.
  • 이 조합은 광범위한 커버리지를 보장하여 타입별 과적합을 완화합니다.

5. 중요성 및 응용

Faithfulness-QA 는 평가에서 훈련으로 초점을 이동시킴으로써 RAG 생태계의 중요한 격차를 해소합니다.

• 충실성 인식 미세 조정 (Faithfulness-Aware Fine-Tuning): 검색된 증거와 충돌할 때 파라미터 메모리를 무시하도록 모델을 훈련할 수 있게 합니다.
• 주의 기반 손실 함수 (Attention-Based Loss Functions): 명시적인 수정 영역은 교차 주의 (cross-attention) 가중치에 대한 감독을 가능하게 하여 모델이 컨텍스트에 주의를 기울이도록 장려합니다.
• 지식 충돌 연구: 외부 증거와 내부 신념 사이의 충돌을 LLM 이 어떻게 해결하는지 연구할 수 있는 통제된 환경을 제공합니다.
• 상호 보완성: FaithEval은 평가를 위한 벤치마크로 기능하는 반면, Faithfulness-QA는 그러한 벤치마크를 통과할 수 있는 모델을 구축하기 위한 훈련 리소스로 기능합니다.

6. 한계 및 향후 작업

• 한계:
  • 코어퍼런스 해결이 없습니다 (치환된 개체를 가리키는 대명사는 업데이트되지 않음).
  • 의미적 일관성을 위해 NLI 모델 대신 규칙 기반 필터링에 의존합니다.
  • 일부 치환은 문법적으로 유효하지만 의미상 비현실적일 수 있습니다 (예: "Amritsar, Illinois").
  • 현재 영어로만 제한됩니다.
• 향후 방향: 코어퍼런스 해결 통합, 개체 매칭을 위한 LLM 활용으로 성공률 향상, NLI 기반 필터링 적용, 오픈소스 LLM(Llama-3, Mistral, Qwen) 을 사용한 하류 훈련 실험 수행.

결론: Faithfulness-QA 는 모델이 사전 훈련된 편견이 아니라 제공된 증거에 진정으로 의존하도록 보장하여 RAG 시스템을 "검색 증강"에서 "검색 충실"로 전환하는 데 필요한 인프라를 제공합니다.