Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG

기술 요약: 대조적 증거 근거 주의 집중 (Contrastive Evidence Rationale Attention, CERA)

문제 정의
검색 증강 생성(RAG) 시스템은 외부 문서로 출력을 제한함으로써 대규모 언어 모델(LLM)의 사실성을 향상시키는 것을 목표로 한다. 그러나 표준적인 밀집 검색기(dense retriever)는 주제적 유사성과 증거적 타당성을 혼동한다는 결정적인 한계가 존재한다. 검색기는 쿼리와 어휘적으로 연관된 구절을 우선시할 수는 있지만, 이는 실제 지지하는 증거를 포함하기보다는 단순히 주제적으로 인접하거나 사실적으로 신뢰할 수 없거나, 모순되거나, 혹은 단지 주제만 유사한 구절일 수 있다. 이러한 "노이즈가 섞인 검색(noisy retrieval)"은 특히 의료와 같은 고위험 영역에서 환각 현상과 편향된 출력을 초래한다. 더욱이, 기존의 검색 시스템은 해석 가능성이 부족하다. 즉, 무엇을 검색했는지는 최적화하지만, 왜 특정 증거가 선택되었는지 또는 그것이 어떻게 결정을 뒷받침하는지에 대해서는 설명하지 못한다. 현재의 해석 가능성 방법론들은 모델의 주의 집중(attention)을 인간의 추론과 정렬시키는 내재적 메커니즘보다는 사후적(post-hoc) 설명에 주로 의존하고 있다.

방법론
저자들은 대조 학습에 "증거적 귀납 편향(evidential inductive bias)"을 주입하도록 설계된 밀집 검색 프레임워크인 **CERA(Contrastive Evidence Rationale Attention)**를 제안한다. CERA는 두 가지 핵심 축을 기반으로 작동한다:

1. 주관성 기반 하드 네거티브 선택 (Subjectivity-Based Hard Negative Selection):
   모든 비관련 문서를 동일하게 부정적인 것으로 취급하는 대신, CERA는 "하드 네거티브(hard negatives)"를 선택하기 위해 주관성 인지 전략을 채택한다. 문서 내에서 골드 증거 스팬(gold evidence span)과 겹치지 않는 청크(chunk)들은 TextBlob을 통해 계산된 주관성 점수에 의해 순위가 매겨진다. 상위 $K$개의 가장 주관적인 청크들이 하드 네거티브로 선택된다. 이를 통해 모델은 단순히 의미적 근접성을 넘어, 단순히 주관적이거나 의견이 담긴 내용과 검증 가능한 객관적 증거를 구성하는 내용 사이를 구분하도록 강제되며, 결과적으로 임베딩 공간을 정교화한다.

2. 해석 가능한 주의 집중 정렬 (Interpretable Attention Alignment):
   CERA는 모델의 내부 주의 집중 메커니즘을 감독하기 위한 보조 손실 함수를 도입한다.

• 근거 감독 (Rationale Supervision): 이 프레임워크는 인간이 주석을 달아 놓은 사실적 근거(증거 스팬)를 정답 신호로 활용한다.
• 품사 가중 마스킹 (POS-Weighted Masking): 근거에 품사(POS) 가중치 체계를 적용하여, 내용을 담고 있는 토큰(명사, 동사, 형용사)에는 높은 가중치를 부여하고 기능어(function words)에는 낮은 가중치를 부여한다.
• 정렬 손실 (Alignment Loss): 모델은 입력 토큰에 대한 [CLS] 토큰의 정규화된 주의 분포와 가중치가 적용된 근거 분포 사이의 쿨백-라이블러(KL) 발산(divergence)을 최소화한다. 이는 주의 집중 메커니즘이 단순히 분포적 유사성에 의존하는 것이 아니라, 지지하는 증거를 구성하는 특정 토큰에 정렬되도록 강제한다.

모델은 트리플릿 기반 대조 손실($L_{triplet}$)과 하이퍼파라미터 $\lambda$로 가중치가 부여된 주의 정렬 손실($L_{alignment}$)을 사용하는 이중 목적 함수를 사용하여 학습된다.

주요 기여

1. CERA 프레임워크: 주관성 기반 하드 네거티브 선택과 해석 가능한 주의 정렬을 결합하여, 밀집 검색에 증거적 귀납 편향을 명시적으로 주입한 최초의 검색 프레임워크이다.
2. 근거 정렬 주의 집중 목적 함수: 품사 가중치가 적용된 인간 주석 근거를 사용하여 CLS-to-token 주의 집중을 감독하는 새로운 학습 목적 함수를 제시한다. 이를 통해 검색기 성능을 희생하지 않으면서도, 단순한 관련 청크를 넘어 증거를 구성하는 특정 토큰을 식별할 수 있게 하여 충실도(faithfulness)를 개선한다.
3. 실증적 검증: Evidence Inference 2.0 데이터셋(임상 시험 보고서)에 대한 종합적인 실험을 통해, CERA가 베이스라인인 Contriever 및 표준 하드 네거티브 선택 방식보다 우수함을 입증하였다.

결과
3,393개의 임상 시험 보고서 코퍼스를 대상으로 평가한 결과, CERA는 검색 효율성과 해석 가능성 측면에서 유의미한 개선을 보였다:

• 검색 성능: CERA는 하드 네거티브 베이스라인 대비 Recall@1에서 +0.0768, Recall@3에서 +1.073, Recall@5에서 +0.1307의 상당한 이득을 달랐으며, 평균 역순위(MRR)는 +0.1009 증가했다.
• 해석 가능성 및 충실도: 주의 정렬 목적 함수는 충실도 지표를 크게 개선했다. 구체적으로, 설명이 모델의 결정 과정을 얼마나 잘 반영하는지를 측정하는 충분성(Sufficiency) 점수가 더 강력한 정렬($\lambda=0.05$) 하에서 0.2073(Contriever)에서 0.0939로 감소하였는데, 이는 모델이 더 압축적이고 적절한 증거에 의존함을 나타낸다.
• 사실성: 검색된 스팬의 사실적 관련성을 평가하기 위해 LLM 앙상블(GPT-5.4, Qwen3-Max, Mistral Large 3)을 사용한 결과, CERA는 모든 순위에서 베이스라인을 일관되게 능가하였으며, Rank 1에서의 Jury Score는 1.1881에서 1.9015로 향상되었다.
• 절제 연구 (Ablation): 본 연구는 주관성 기반 네거티브가 기존의 하드 네거티브보다 더 정보가 풍부한 대조 신호를 제공함을 확인했다. 그러나 정렬 가중치($\lambda$)를 0.05 이상으로 높이면 검색 지표가 약간 저하되었는데, 이는 검색 정밀도와 주의 정렬 강도 사이의 트레이드오프가 존재함을 시사한다.

의의 및 주장
본 논문은 CERA가 순수하게 "주제적 유사성"을 최적화하는 것에서 "증거적 지지"를 최적화하는 것으로의 전환을 나타낸다고 주장한다. 인간이 주석을 단 근거에 주의 분포를 정렬함으로써, 이 프레임워크는 모델 행동에 대한 더 충실한 설명을 촉진하고 검색의 "블랙박스" 문제를 해결한다. 저자들은 이 접근 방식이 지원되지 않은 출력이 심각한 윤리적 및 안전 문제를 초래할 수 있는 고위험 영역에서 특히 중요하다고 단언한다. 본 작업은 연구 프로토타입이며 독립적인 임상 결정 시스템은 아니지만, 검색 시스템이 특정 증거 토큰을 식별하도록 학습될 수 있음을 보여줌으로써 RAG 시스템의 신뢰성과 해석 가능성을 모두 높일 수 있음을 입증한다. 저자들은 전문가 주석 데이터에 대한 의존성과 실험이 생물 의학 분야로 제한되었다는 점을 포함한 한계점을 인정한다.