기술 요약: 로컬 설명을 통한 RAG 내 검색기-생성기 정렬의 정량화

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 밀집 검색기(RET)와 대규모 언어 모델(GEN)을 결합하여 외부 문서에 기반한 출력을 생성한다. 이러한 아키텍처는 소스 자료를 제공함으로써 LLM의 불투명성을 줄여주지만, 검색기와 생성기 사이의 상호작용은 여전히 불투명한 상태로 남아 있다. 기존의 RAG 시스템은 정보가 두 구성 요소 사이에서 어떻게 흐르는지에 대한 투명성이 부족한 경우가 많다. 구체적으로, 기존의 설명 가능성 방법론들은 RET 또는 GEN을 각각 독립적으로 분석할 뿐, 이들 사이의 정렬(alignment)을 정량화하는 데 실패한다. 이는 생성기가 실제로 가장 관련성이 높은 검색 문서를 활용하고 있는지 이해하는 것이 필수적인 고위험 도메인에서의 배포에 어려움을 초래한다. 저자들은 생성기가 상위 순위 문서를 무시하거나(Wasted Retrieval), 관련성이 낮다고 판단된 문서에 의존하는(Noise Distraction) 현상인 "미정렬(misalignment)" 문제를 지적한다.

방법론: RAG-E 프레임워크

저자들은 RET와 GEN 구성 요소 간의 상호작용을 감사하기 위해 설계된 엔드 투 엔드 설명 가능성 프레임워크인 RAG-E를 제안한다. 이 프레임워크는 각 구성 요소의 특성에 맞춤화된 별도의 속성 부여(attribution) 방법을 사용한다.

1. 검색기 분석 (Integrated Gradients):

   • 프레임워크는 밀집 검색기에 Integrated Gradients(IG)를 적용한다.
   • 핵심적인 설계 선택 사항은 베이스라인 임베딩이다. 경험적 분석을 통해, 저자들은 비 특수 토큰 임베딩을 모델의 [unk] 토큰으로 대체하는 것이 충실도(AIPC, Area Inside the Perturbation Curves로 측정) 측면에서 [pad]나 [mask]와 같은 표준 베이스라인보다 성능이 훨씬 뛰어나다는 것을 발견했다.
   • RET는 완전 미분 가능하므로, 입력 토큰 수에 따라 확장성 문제가 발생하지 않는 내재적 그래디언트 기반 설명을 제공할 수 있어 IG를 선택하였다.

2. 생성기 분석 (Stabilized Shapley Values):

   • 자기회귀(autoregressive) 생성기를 위해, 프레임워크는 생성된 토큰을 특정 컨텍스트 문서에 속성 부여하기 위해 샤플리 값(Shapley Values, SV)을 사용한다.
   • 정확한 SV의 계산 복잡도($O(2^{|D|})$)와 표준 Kernel-SHAP(KSHAP) 근사치의 불안정성을 해결하기 위해, 저자들은 PMCSHAP(Paired Monte Carlo Stabilized SHAP)을 도입한다.
   • PMCSHAP은 몬테카를로 샘플링과 보완적 샘플링(입력-출력 세트 쌍 구성)을 결합하여, 관리 가능한 계산 비용을 유지하면서도 기존 KSHAP보다 더 정확하고 재현 가능한 샤플리 값 근사를 달성한다.
   • 프레임워크는 섭동된 문서 서브셋($D'$)을 평가할 때 생성기의 출력이 원래 출력과 비교 가능하도록, 원래의 프롬프트와 이전 토큰을 기준으로 생성 시퀀스를 제한하는 **제약된 토큰 생성(Constrained Token Generation)**을 채택한다.

3. 정렬 지표: WARG:

   • RET-GEN 간의 합의를 어떻게 정량화할 것인가라는 연구 질문에 답하기 위해, 저자들은 **가중 속성-관련성 격차(Weighted Attribution-Relevance Gap, WARG)**를 제안한다.
   • WARG는 생성기가 "관련 있다"고 판단한(높은 속성 점수) 문서와 "관련 없다"고 판단한 문서 간의 평균 RET 중요도 점수의 정규화된 차이를 측정한다.
   • 임계값($\tau = 1.5$)을 사용하여 생성 관련 문서를 식별하고, 속성을 정규화하며 이진 가중치를 할당한다.
   • 이 지표는 $[-1, 1]$ 범위로 클리핑되며, 값이 높을수록 정렬도가 높음(생성기가 RET가 높게 순위를 매긴 문서에 집중함)을 나타낸다.

주요 결과

실험은 세 가지 오픈 도메인 데이터셋(PopQA, QAMPARI, TREC CAST)과 두 가지 밀집 검색기(DRAGON, Arctic Embed 2), 세 가지 생성 모델(Llama 3.1, Qwen 2.5, Gemma 3)을 사용하여 수행되었다.

• 체계적 미정렬: 연구 결과 상당한 수준의 미정렬이 발견되었다. 모델과 설정에 따라 생성기는 상위 순위 문서를 무시하는 경우가 빈번하다. 상위 3개 문서의 경우, 일부 구성에서 미정렬(Wasted Retrieval 또는 Noise Distraction)이 쿼리의 70% 이상에서 나타났다.
• 검색 동작: 정량적 분석에 따르면, 밀집 검색기조차 심층적인 의미 이해보다는 명사와 고유 명사 중심의 키워드 매칭에 크게 의존한다.
• 생성 동작: 생성기는 거의 이진(near-binary) 형태의 속성 패턴을 보인다. 관련 있는 문서는 일관되게 높은 점수를 받는 반면, 관련 없는 문서는 0 근처에 밀집된다.
• 지표 우수성: WARG는 RET-GEN 정렬을 포착하는 데 있어 표준 피어슨(Pearson) 및 스피어먼(Spe Spearman) 상관계수보다 우수한 성능을 보인다. 상관계수와 달리, WARG는 생성기 중요도의 이진 구조와 꼬리 분포의 노이즈에 강건하다.
• 성능 상관관계: 높은 WARG 점수는 다운스트림 태스크 성능과 상관관계가 있다. 정답 레이블을 포함하는 생성 답변은 그렇지 않은 답변보다 높은 WARG 점수($>0.5$)를 가질 확률이 두 배 이상 높았다.

의의 및 주장

본 논문은 RAG-E와 WARG가 구성 요소를 개별적으로 다루던 기존 연구의 공백을 메우며, RAG 시스템을 감사하기 위한 실용적인 프레임워크를 제공한다고 주장한다. 이 연구의 의의는 다음과 같다:

1. 투명성: 의료나 법률과 같은 고위험 도메인에서 필수적인, 검색과 생성 간의 상호작용을 명시적이고 측정 가능하게 만든다.
2. 진단 능력: 표준 지표가 놓칠 수 있는 특정 실패 모드(Wasted Retrieval, Noise Distraction)를 식별한다.
3. 최적화 잠재력: 저자들은 WARG가 RAG 성능의 지표 역할을 할 수 있으며, 정렬도가 낮다고 알려진 경우 적은 수의 문서를 검색하도록 하는 등의 시스템 최적화를 유도할 수 있다고 제안한다.
4. 방법론적 기여: 자기회귀 모델에서 샤플리 값 근사를 안정화하는 PMCSHAP의 도입과, 검색 작업에서 Integrated Gradients의 우수한 베이스라인으로서 [unk] 토큰의 검증을 포함한다.

저자들은 높은 WARG가 정답과 상관관계가 있기는 하지만, 그것이 사실적 정확성을 수학적으로 보장하는 것은 아니라는 점을 언급하며 주장에 신중함을 유지한다. 또한 매우 큰 파이프라인에 대한 PMCSHAP의 계산 비용 문제와, 현재 연구가 리랭커(reranker)나 하이브리드 검색 시스템이 없는 표준 RAG 아키텍처에 집중되어 있다는 한계점도 인정하고 있다.