How Retrieved Context Shapes Internal Representations in RAG

1. 연구 배경 및 문제 정의 (Problem)

검색 증강 생성 (RAG, Retrieval-Augmented Generation) 은 외부 문서를 기반으로 대규모 언어 모델 (LLM) 의 생성 능력을 향상시키는 널리 사용되는 접근법입니다. 그러나 실제 검색 환경에서는 관련성 (Relevance) 이나 유용성이 다양한 문서들이 혼합되어 검색되는 경우가 많습니다.

• 기존 연구의 한계: 기존 연구들은 주로 RAG 시스템의 출력 행동 (Output Behavior) (정확도, 환각율 등) 에 초점을 맞추어 다양한 검색 전략의 효과를 분석했습니다.
• 핵심 문제: 검색된 문맥이 LLM 의 내부 표현 (Internal Representations/Hidden States) 을 어떻게 변화시키는지, 그리고 이러한 내부 상태의 변화가 어떻게 최종 생성 행동으로 이어지는지에 대한 메커니즘적 이해는 부족합니다.
• 연구 질문: 다양한 유형 (관련, 산만, 무작위) 의 검색 문서가 RAG 에서 생성을 지배하는 내부 표현에 어떤 영향을 미치는가?

2. 방법론 (Methodology)

저자들은 RAG 를 잠재 표현 (Latent Representation) 의 관점에서 분석하기 위해 통제된 실험 프레임워크를 설계했습니다.

• 데이터 및 모델:
  • 데이터셋: TriviaQA, NQ, PopQA, StrategyQA 등 4 가지 질문 응답 (QA) 데이터셋 사용.
  • 모델: Gemma3-27B, Llama4-17B, Qwen3-Next-80B 등 3 가지 크기의 LLM 사용.
  • 검색 설정: MassiveDS 데이터베이스 (1.4 조 토큰) 와 Contriever 를 사용하여 상위 20 개 문서를 검색 및 재순위화.
• 문서 유형 분류:
  • 관련 (Relevant): 정답을 포함하거나 정답 도출을 직접 지원하는 문서.
  • 산만 (Distracting): 질문과 높은 의미적 유사성을 보이지만 정답을 지원하지 않거나 오해의 소지가 있는 문서.
  • 무작위 (Random): 질문과 의미적 유사성이 낮고 도움이 되지 않는 문서.
• 실험 설정:
  • 단일 문서 설정: 각 쿼리에 대해 관련, 산만, 무작위 문서 중 하나씩만 입력하거나 문서 없이 (Baseline) 실험.
  • 다중 문서 설정: 하나의 관련 문서에 산만 또는 무작위 문서를 혼합하여 입력.
  • 질문 난이도 분류: 모델이 검색 없이 정답을 낼 수 있는지 (Easy) 없는지 (Hard) 에 따라 분류.
• 분석 기법:
  • PCA 시각화: 마지막 프롬프트 토큰의 숨겨진 상태 (Hidden States) 를 2 차원으로 축소하여 문서 유형별 분포를 시각화.
  • 레이어별 분석: Transformer 의 각 레이어를 거치며 표현이 어떻게 진화하는지 추적.
  • 선형 프로브 (Linear Probe): 표현의 분리 가능성 (Separability) 을 정량적으로 측정.

3. 주요 발견 및 결과 (Key Results)

관찰 1: 무작위 문서는 큰 표현 편이 (Drift) 를 유발

• 현상: 직관과 달리, 무작위 문서는 관련 문서나 산만 문서보다 질문만 있는 상태 (Baseline) 에서 훨씬 큰 표현 편이를 일으킵니다.
• 행동 연관성: 이 큰 표현 편이는 모델이 답변을 거부 (Abstain) 하는 행동과 강력하게 연관되어 있습니다. 모델은 무의미한 문맥을 내부적으로 감지하고 거절 모드로 전환합니다.
• Instruction Tuning 의 영향: Base 모델에서는 이러한 현상이 약하지만, Instruction-tuned 모델에서는 무작위 문맥 하에서 답변 거부율이 급격히 증가합니다. 이는 튜닝이 불필요한 문맥에 대한 민감도를 높여 RAG 의 사용성을 저해할 수 있음을 시사합니다.

관찰 2: 관련 문서는 내부 표현을 거의 변경하지 않음

• 현상: 관련 문서는 모델의 파라미터 지식 (Parametric Knowledge) 과 일치하는 경우가 많아, 표현을 크게 변화시키지 않고 기존 지식을 강화 (Confirmation) 하는 신호로 작용합니다.
• 난이도별 차이:
  • 쉬운 질문: 관련 문서는 모델의 신뢰도를 높이지만, 표현 공간에서는 큰 변화를 주지 않습니다.
  • 어려운 질문: 모델의 내부 지식이 부족할 때, 관련 문서가 내부 표현을 충분히 변화시켜 정답을 유도하지 못합니다. 즉, RAG 가 가장 필요한 시점에 외부 증거가 내부 표현에 미치는 영향이 제한적입니다.

관찰 3: 단일 관련 문서는 다중 문서 환경에서도 표현을 안정화

• 현상: 관련 문서 하나만이라도 포함되어 있으면, 산만하거나 무작위 문서가 섞여 있더라도 모델의 내부 표현은 '관련 문서만 있는 상태'와 유사하게 유지됩니다.
• 의미: LLM 은 신뢰할 수 있는 근거가 존재할 때 노이즈를 효과적으로 억제하고 관련 정보에 집중할 수 있음을 보여줍니다.

관찰 4 & 5: 레이어별 처리 과정 (Layer-wise Processing)

• 초기 레이어: 질문과 문맥 간의 거시적 불일치 (무작위 문서 등) 는 초기 레이어에서 빠르게 감지됩니다.
• 후기 레이어: 관련 문서와 산만 문서를 구분하는 것은 깊은 처리 (후기 레이어) 가 필요하며, 완벽하게 분리되지 않습니다.
• 지식 통합: 후기 레이어로 갈수록 모델은 자신의 파라미터 지식을 점점 더 강조하여, 검색된 증거의 영향을 줄이는 경향이 있습니다. 이는 RAG 가 어려운 질문에서 외부 지식을 효과적으로 활용하지 못하는 근본적인 원인 중 하나입니다.

4. 주요 기여 (Key Contributions)

1. 체계적인 분석 프레임워크 제안: RAG 시스템에서 검색된 문맥이 LLM 의 내부 표현을 어떻게 처리하는지 통제된 환경에서 분석할 수 있는 프레임워크를 구축했습니다.
2. 새로운 표현 수준의 패턴 발견:
   • 무작위 문맥에 대한 거절 (Abstention) 메커니즘의 내부적 근거 규명.
   • 관련 문서가 단순한 확인 신호 (Confirmation Signal) 로 작용하여 표현을 크게 바꾸지 않음을 발견.
   • 다중 문서 환경에서 관련 문서가 노이즈를 억제하는 '앵커 (Anchor)' 역할을 함을 증명.
3. 실용적 통찰 및 시스템 설계 방향 제시:
   • 노이즈 허용: 관련 문서가 하나만 있어도 모델이 노이즈를 억제하므로, 과도한 문서 필터링 없이 검색 범위를 넓히는 것이 유효할 수 있음을 시사.
   • 어려운 질문 개선: 후기 레이어에서 파라미터 지식이 지배적이므로, 외부 증거의 신호를 증폭시키는 디코딩 전략이나 아키텍처 변경이 필요함을 제안.

5. 의의 및 결론 (Significance)

이 연구는 RAG 시스템의 작동 원리를 출력 결과가 아닌 내부 표현의 역학을 통해 설명합니다.

• 이론적 의의: RAG 에서 발생하는 '산만 효과 (Distracting Effect)'나 '확인 편향 (Confirmation Bias)'과 같은 현상에 대한 기계적 설명을 제공합니다.
• 실무적 의의:
  • RAG 시스템 설계 시, 모든 노이즈를 제거하기보다 최소 하나의 관련 문서가 포함되도록 검색 범위를 확보하는 전략의 타당성을 입증했습니다.
  • 어려운 질문에서 RAG 성능이 저하되는 원인이 후기 레이어의 내부 지식 우세에 있음을 밝혀, 이를 해결하기 위한 새로운 학습 목표나 아키텍처 개선의 방향성을 제시했습니다.

결론적으로, 이 논문은 RAG 시스템의 신뢰성과 효율성을 높이기 위해 단순한 성능 지표 개선을 넘어, 모델이 내부적으로 정보를 어떻게 통합하고 처리하는지에 대한 깊은 이해가 필수적임을 강조합니다.