💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

이 논문은 추가적인 미세 조정이나 복잡한 모델링 없이 젠슨-샤논 발산(Jensen-Shannon Divergence)을 활용하여 RAG 모델이 생성한 답변의 근거가 되는 문맥을 효율적이고 정확하게 찾아내는 ARC-JSD 방법론을 제안하고, 메커니즘 분석을 통해 모델 내부의 특정 어텐션 헤드와 MLP 레이어의 역할을 규명했습니다.

원저자: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "AI의 근거 찾기"라는 숙제

우리가 AI에게 "이 긴 보고서를 읽고 요약해줘"라고 시키면, AI는 보고서 내용을 바탕으로 답변을 합니다. 그런데 가끔 AI가 엉뚱한 소리를 할 때가 있죠(환각 현상). 그래서 우리는 AI에게 **"네가 방금 한 말, 보고서 몇 페이지 몇 번째 줄 보고 한 거야?"**라고 물어보고 싶어 합니다. 이것을 논문에서는 **'컨텍스트 속성(Context Attribution)'**이라고 부릅니다.

지금까지는 이 질문에 답하기 위해 두 가지 힘든 방법을 썼습니다.

방법 A (노가다형): 사람이 일일이 "이 문장이 근거야"라고 표시해준다. (너무 오래 걸림)
방법 B (공부벌레형): AI를 아주 정밀하게 다시 훈련시키거나, 수학적으로 엄청나게 복잡한 계산을 수백 번 반복한다. (컴퓨터가 너무 힘들어함)

2. 이 논문의 핵심 아이디어: "ARC-JSD" (정보의 흔적 찾기)

연구팀은 **'ARC-JSD'**라는 아주 똑똑한 탐정 기법을 만들었습니다. 이 탐정은 AI를 다시 가르치거나 복잡한 계산을 하지 않고, **'정보의 흔적'**만 보고 근거를 찾아냅니다.

💡 비유: "범인은 흔적을 남긴다!"
어떤 요리사가 만든 '비밀 소스'의 맛을 맞추는 게임을 한다고 해봅시다.

먼저 전체 재료를 다 넣고 소스를 만듭니다. (전체 컨텍스트)
그다음, 재료를 하나씩 빼면서 소스를 다시 만들어봅니다. (문장 제거/Ablation)
만약 '설탕'을 뺐더니 소스 맛이 완전히 변해버렸다면? **"아하! 설탕이 이 맛의 핵심 근거구나!"**라고 바로 알 수 있죠.

이 논문은 이 '맛의 변화량'을 **JSD(Jensen-Shannon Divergence)**라는 수학적 도구로 측정합니다. 재료(문장)를 뺐을 때 AI의 답변 확률 분포가 얼마나 요동치는지를 보고, 가장 크게 요동치게 만든 문장이 바로 '진짜 근거'라고 찾아내는 것입니다.

3. 이 방법이 왜 대단한가요? (3가지 장점)

"엄청나게 빠릅니다" (가성비 끝판왕): 기존 방식들이 수백 번의 계산을 해야 했다면, 이 방식은 훨씬 적은 계산만으로도 정답을 찾아냅니다. 마치 백과사전을 처음부터 끝까지 다 읽는 대신, 중요한 키워드만 훑어서 범인을 잡는 것과 같습니다.
"정확합니다" (정밀한 탐정): 단순히 "이 문장이 비슷해"라고 말하는 게 아니라, 그 문장이 없으면 AI의 생각이 어떻게 바뀌는지 직접 확인하기 때문에 매우 정확합니다.
"AI의 속마음을 들여다봅니다" (뇌 스캔): 연구팀은 이 방법을 통해 AI의 뇌(신경망) 내부를 들여다봤습니다. AI의 뇌 속에서도 **"어떤 신경세포(Attention Head/MLP)가 근거를 찾을 때 가장 열심히 일하는지"**까지 찾아냈습니다.

4. 결론: AI를 더 믿을 수 있게 만듭니다

이 기술을 사용하면 AI가 답변을 할 때 **"이 답변은 이 문장들을 근거로 작성되었습니다"**라고 명확하게 출처를 밝힐 수 있습니다. 또한, AI가 헛소리(환각)를 하려고 할 때, 근거가 없는 부분의 신경세포를 살짝 조절해서 헛소리를 못 하게 막을 수도 있습니다.

한 줄 요약:

"AI가 답변할 때 어떤 문장을 참고했는지, '재료를 하나씩 빼보는 실험'을 통해 아주 빠르고 정확하게 찾아내는 똑똑한 탐정 기술을 개발했다!"

[기술 요약] ARC-JSD: RAG의 문맥 귀속(Context Attribution)을 위한 Jensen-Shannon 발산 기반 연구

1. 문제 정의 (Problem Statement)

검색 증강 생성(RAG) 모델은 외부 지식을 활용해 답변의 정확도를 높이지만, 생성된 답변이 제공된 문맥(Context)의 어느 부분에 근거하고 있는지 정확히 찾아내는 '문맥 귀속(Context Attribution)' 작업은 여전히 어렵습니다.

기존의 문맥 귀속 방법론들은 다음과 같은 한계가 있습니다:

높은 계산 비용: 모델의 미세 조정(Fine-tuning)이나 그래디언트(Gradient) 계산이 필요하여 매우 느림.
대리 모델(Surrogate Model) 의존: 수백 번의 모델 실행을 통해 선형 대리 모델을 학습시켜야 하므로 추론 시 오버헤드가 큼.
인적 주석(Human Annotation) 필요: 정확한 검증을 위해 사람이 직접 레이블링을 해야 하는 경우가 많음.

2. 제안 방법론 (Methodology: ARC-JSD)

본 논문은 추가적인 미세 조정이나 그래디언트 계산 없이, 오직 추론(Inference) 단계에서만 작동하는 ARC-JSD(Attribute Response to Context via Jensen-Shannon Divergence) 방법을 제안합니다.

핵심 메커니즘:

문맥 제거(Ablation) 기반 접근: 특정 문장( $c_i$ )을 문맥에서 제거했을 때, 모델이 생성하는 답변의 확률 분포가 얼마나 변하는지를 측정합니다.
JSD(Jensen-Shannon Divergence) 활용:
- 전체 문맥이 있을 때의 답변 확률 분포 $P$ 와 특정 문장을 제거했을 때의 분포 $Q$ 사이의 JSD를 계산합니다.
- JSD는 대칭적(Symmetric)이고, 유한하며(Finite), 스케일 변화에 강건(Scale-free)하고, 범위가 제한(Bounded)되어 있어 서로 다른 레이어 간의 비교가 용이합니다.
- JSD 값이 높을수록 해당 문장이 답변 생성에 결정적인 역할을 했다는 것을 의미합니다.
메커니즘적 분석 (Mechanistic Analysis):
- Logit Lens 기법을 결합하여, 모델 내부의 어떤 Attention Head와 MLP(Multi-Layer Perceptron) 레이어가 문맥 정보를 답변으로 변환하는 데 기여하는지 정량적으로 찾아냅니다.

3. 주요 기여 (Key Contributions)

효율적인 귀속 방법론 개발: 미세 조정이나 그래디언트 계산 없이도 정확하게 핵심 문맥을 식별하는 ARC-JSD를 제안했습니다.
계산 효율성 극대화: 기존의 대리 모델 기반 방식(ContextCite) 대비 최대 3배 빠른 속도를 달성하면서도 정확도는 더 높였습니다.
모델 내부 작동 원리 규명: RAG 모델의 상위 레이어에 있는 특정 Attention Head와 MLP가 문맥 정보를 처리하고 지식을 통합하는 핵심 요소임을 메커니즘적으로 증명했습니다.
환각(Hallucination) 제어: 식별된 핵심 컴포넌트에 '신뢰도 게이트(Confidence Gate)'를 적용하여, 모델의 환각 발생률을 약 39% 감소시킬 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

벤치마크 성능: TyDi QA, Hotpot QA, MuSiQue 등 다양한 QA 데이터셋에서 Qwen2, Gemma2 등 최신 LLM을 대상으로 실험한 결과, 기존 베이스라인 대비 평균 10.7% 이상의 정확도 향상을 보였습니다.
Pareto-Optimal 달성: 계산량(FLOPs) 대비 정확도 측면에서 기존 방식들보다 월등히 우수한 효율성을 입증했습니다.
메커니즘 검증: JSD 기반으로 찾은 레이어와 'Semantic Gain(의미론적 이득)' 기반으로 찾은 레이어 간의 상관관계(Spearman's $\rho$ )가 매우 높게 나타나, 제안한 지표의 타당성을 검증했습니다.

5. 연구의 의의 (Significance)

이 연구는 RAG 시스템의 **투명성(Transparency)**과 **신뢰성(Reliability)**을 높이는 데 중요한 기여를 합니다.

실용성: 별도의 학습 없이 기존 RAG 파이프라인에 즉시 통합할 수 있는 가볍고 모듈화된 솔루션을 제공합니다.
해석 가능성: 모델이 단순히 텍스트를 복사하는 것이 아니라, 내부 레이어에서 어떻게 정보를 합성하고 재구성(Paraphrasing)하는지를 시각화하고 분석할 수 있는 도구를 제공합니다.
안전성: 환각을 제어할 수 있는 구체적인 메커니즘을 제시함으로써, 의료나 법률과 같이 높은 정확도가 요구되는 도메인에서의 RAG 활용 가능성을 열어주었습니다.