Beyond Black-Box Interventions: Latent Probing for Faithful Retrieval-Augmented Generation

1. 문제 정의 (Problem Definition)

검색 증강 생성 (RAG) 시스템은 외부 지식을 활용하여 대형 언어 모델 (LLM) 의 사실성을 높이는 데 필수적이지만, 다음과 같은 문맥 충실성 (Contextual Faithfulness) 문제를 겪고 있습니다.

• 지식 충돌 (Knowledge Conflict): 검색된 문맥이 모델의 내부 파라미터 지식 (기억) 과 상충될 때, 모델은 외부 증거를 무시하고 내부 지식을 우선시하거나 불일치하는 답변을 생성합니다.
• 문맥 노이즈 (Contextual Noise): 관련성이 낮거나 불필요한 정보가 포함되면 모델의 주의를 분산시켜 성능을 저하시킵니다.
• 기존 방법의 한계: 기존 연구들은 프롬프트 엔지니어링, 디코딩 보정, 선호도 최적화 (DPO 등) 와 같은 외부 개입 (Black-box interventions) 에 의존합니다. 이는 모델의 내부 추론 과정을 이해하지 못한 채 통계적 상관관계만 기반으로 하므로, 특정 충돌 상황에서 왜 실패하는지 진단하거나 새로운 유형의 모순에 대해 예측하기 어렵고, 데이터 의존성이 높으며 취약합니다.

2. 방법론 (Methodology: ProbeRAG)

저자들은 LLM 을 블랙박스로 취급하지 않고, 모델의 잠재 공간 (Latent Space) 내에서의 내부 추론 과정을 분석하여 ProbeRAG라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 세 가지 핵심 단계로 구성됩니다.

2.1. 미세 입도 지식 가지치기 (Fine-Grained Knowledge Pruning)

• 목적: 문맥 노이즈를 제거하여 잠재 공간의 '충돌 특징 (Conflict Feature)'을 명확하게 드러내기 위함.
• 과정:
  1. 검색된 문맥을 외부 LLM (예: GPT-4o) 을 사용하여 독립적인 사실 단위 (Atomic facts) 로 분해합니다.
  2. 각 사실 단위를 쿼리와 비교하여 유사도를 계산하고, 상위 $k$개의 관련성 높은 지식만 선별합니다.
  3. 이를 통해 불필요한 노이즈를 필터링하여 후속 충돌 탐지의 정확도를 높입니다.

2.2. 잠재 충돌 탐지 (Latent Conflict Probing)

• 핵심 발견: 연구자들은 모델의 잠재 공간에서 일치하는 지식 (Aligned) 과 충돌하는 지식 (Conflicting) 의 숨겨진 상태 (Hidden State) 가 선형적으로 분리 가능 (Linearly Separable) 함을 발견했습니다. 또한, 문맥 노이즈는 이러한 표현의 엔트로피를 증가시켜 분리를 어렵게 만듭니다.
• 과정:
  1. 프로브 (Probe) 학습: 지식 편집 데이터셋 (MQuAKE) 을 사용하여, 모델의 숨겨진 상태를 입력받아 해당 지식이 '일치'하는지 '충돌'하는지 이진 분류하는 경량 프로브 모델을 학습합니다.
  2. 충돌 마킹: 추론 단계에서 필터링된 지식을 모델에 입력하고, 프로브를 통해 충돌이 감지된 지식에는 <conflict> 와 </conflict> 같은 특수 토큰으로 명시적으로 마킹합니다.

2.3. 충돌 인지 어텐션 (Conflict-Aware Attention)

• 목적: 모델이 마킹된 충돌 지식을 더 집중적으로 학습하도록 유도하여 내부 지식을 우선시하는 성향을 교정합니다.
• 과정:
  1. 어텐션 가이드 손실 (Attention Guidance Loss): 충돌이 감지된 토큰들에 대해 모델의 어텐션 가중치가 높아지도록 하는 보조 손실 함수 ($L_{Attn}$) 를 정의합니다.
  2. 联合 학습 (Joint Training): 표준 언어 모델링 손실 ($L_{CE}$) 과 어텐션 가이드 손실을 가중치 $\lambda$로 결합하여 모델을 미세 조정 (SFT) 합니다.
     • $L_{SFT} = (1 - \lambda)L_{CE} + \lambda L_{Attn}$
  3. 이를 통해 모델은 충돌 지식을 무시하지 않고, 문맥에 충실하게 답변을 생성하도록 내부 메커니즘이 조정됩니다.

3. 주요 기여 (Key Contributions)

1. 내부 지식 통합 메커니즘 분석: LLM 이 외부 지식과 내부 기억을 통합하는 과정에서 '충돌 특징'이 잠재 공간에 선형적으로 존재하며, 노이즈가 이를 흐리게 만든다는 것을 규명했습니다.
2. ProbeRAG 프레임워크 제안: 외부 개입이 아닌 내부 잠재 공간 탐지 (Probing) 를 기반으로 한 새로운 RAG 프레임워크를 제시했습니다. 이는 지식 가지치기, 충돌 탐지, 충돌 인지 어텐션을 통합합니다.
3. 범용성 및 성능 입증: 다양한 오픈소스 모델 (LLaMA-3.1, Qwen3, Mistral) 과 벤치마크 (ConFiQA, FaithEval, SQuAD) 에서 기존 최첨단 (SOTA) 방법들보다 뛰어난 성능을 보였습니다.

4. 실험 결과 (Results)

• 성능 향상: ProbeRAG 는 모든 테스트된 모델과 데이터셋에서 FaithEval과 ConFiQA (MC, MR, QA) 에서 가장 높은 F1 점수와 Exact Match (EM) 점수를 기록했습니다.
  • 예: LLaMA-3.1-8B-Instruct 기준 FaithEval 에서 F1 74.4%, EM 64.4%를 달성하여 기존 최강 베이스라인 (CANOE) 보다 약 +3% F1, +8% EM 향상.
  • ConFiQA 의 복잡한 충돌 시나리오 (MC, MR) 에서도 기존 방법 대비 3~10% 이상의 성능 향상을 보였습니다.
• 어텐션 시각화: 학습 후 모델이 <conflict> 태그로 마킹된 토큰에 대한 어텐션 가중치를 유의미하게 증가시켰음을 확인했습니다.
• 프로브 정확도와 성능의 상관관계: 충돌 탐지 프로브의 정확도가 높을수록 최종 모델의 생성 품질 (F1 점수) 이 높아지는 양의 상관관계를 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: RAG 의 충실성을 높이는 방식을 '외부 제약 (프롬프트, 디코딩 변경)'에서 '내부 유도 (잠재 공간 분석 및 어텐션 조절)' 로 전환했습니다.
• 원인 기반 해결: 모델이 왜 실패하는지 (내부 지식 vs 외부 증거의 충돌) 를 진단하고, 그 원인을 모델의 내부 표현을 통해 직접 해결함으로써 더 강건하고 일반화 가능한 솔루션을 제공합니다.
• 지식 편집의 대안: 모델의 내부 지식을 영구적으로 삭제하거나 변경 (Knowledge Editing) 하는 위험 없이, 모델이 문맥을 신뢰하도록 '가이드'하는 방식을 통해 지식 충돌 문제를 해결했습니다.

이 논문은 RAG 시스템이 복잡한 지식 충돌 상황에서도 외부 증거에 충실하게 반응할 수 있도록 하는 새로운 방향성을 제시하며, LLM 의 내부 추론 과정을 해석하고 활용하는 연구의 중요성을 강조합니다.