Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation

기술 요약: 검색 증강 생성(RAG)을 위한 이중 신뢰도 대조 디코딩(Dual-Confidence Contrastive Decoding)

문제 정의
검색 증강 생성(RAG) 시스템은 검색된 증거 번들이 상충하거나, 오래되었거나, 노이즈가 있거나, 혹은 부적절한 정보를 포함하는 멀티 도큐먼트 환경에서 점점 더 많이 운영되고 있습니다. 기존의 대조 디코딩(Contrastive Decoding, CD) 방식은 모델의 내부 파라미터 메모리와 검색된 컨텍스트 사이의 충돌은 효과적으로 해결하지만, *컨텍스트 내부(intra-context)*의 충돌을 해결하는 데는 대부분 실패합니다. 멀티 도큐먼트 RAG에서 모델은 단순히 다음 토큰을 선택하는 것을 넘어, 여러 검색된 문서 중 질문에 답하기에 적절한 증거 소스를 선택해야 하며, 일부 문서는 서로 모순되는 주장을 뒷받침할 수도 있습니다. 표준 CD 접근 방식은 검색된 번들을 하나의 컨텍스트로 취급하므로, 특정 문서가 질문에 답하기에 충분한지 여부를 구분하지 못하며, 특정 문서 조건부 스트림 내에서의 토큰 수준 예측 신뢰도를 고려하지 못합니다.

방법론: 이중 신뢰도 대조 디코딩(DCCD)
저자들은 두 가지 구별된 신뢰도 신호를 통합하여 컨텍스트 내부의 충돌을 해결하도록 설계된 훈련 불필요(training-free) 디코딩 전략인 DCCD를 제안합니다.

1. 문서 수준 신뢰도 ($q_i$): 이 지표는 특정 검색 문서 $d_i$가 질문 $x$에 답하기에 충분한 정보를 포함하고 있는지 추정합니다. 이는 모델에게 이진 예/아니오 질문("이 문서가 질문에 답하기에 충분한 정보를 포함하고 있습니까?")을 던지는 "지원 프로브(support probe)" 프롬프트를 통해 계산됩니다. 점수는 "예"를 나타내는 버벌라이저(verbalizer) 토큰의 확률 질량을 "아니오" 토큰 대비 계산하여 도출됩니다. 이 점수는 디코딩을 시작하기 전, 질문-문서 쌍당 한 번씩 계산됩니다.
2. 토큰 수준 신뢰도 ($c_{i,t}$): 이 지표는 디코딩 단계 $t$에서 특정 문서 $d_i$에 조건화된 모델의 다음 토큰 예측의 선명도(sharpness)를 추정합니다. 디리클레 불확실성(Dirichlet uncertainty) 프레 framework를 따라, 모델은 문서 조건부 스트림의 상위-$k$ 로짓(logits)을 디리클레 농축 파라미터로 매핑합니다. 유도된 범주형 분포의 기대 엔트로피가 계산되고 정규화됩니다. 신뢰도는 $1 - \text{정규화된 엔트로피}$로 정의됩니다. 이 점수는 매 디코딩 단계마다 재계산됩니다.

디코딩 메커니즘
각 디코딩 단계 $t$에서 DCCD는 이러한 신호들을 이중 신뢰도 점수 $s_{i,t} = q_i + c_{i,t}$로 집계합니다. 이후 다음을 선택합니다:

• 포지티브 스트림 ($i^+_t$): 가장 높은 이중 신뢰도 점수를 가진 문서에 대응함.
• 네거티브 스트림 ($i^-_t$): 가장 낮은 이중 신뢰도 점수를 가진 문서에 대응함.

대조 항 $\epsilon_t$는 이 점수들 사이의 마진에 의해 동적으로 조절됩니다 ($\epsilon_t = s_{i^+_t,t} - s_{i^-_t,t}$). 최종 로짓 분포 $z_t$는 풀-컨텍스트 로짓($z^{full}_t$)을 기준으로 삼고, 포지티브 및 네거티브 문서 조건부 로짓 간의 스케일링된 차이를 더하여 계산됩니다:
$$z_t = z^{full}_t + \epsilon_t (z^{i^+_t}_t - z^{i^-_t}_t)$$
이 방식은 가장 신뢰할 수 있는 소스의 증거는 증폭시키고, 상충하거나 근거가 부족한 대안은 억제하며, 모델의 미세 조정(fine-tuning) 없이 수행됩니다.

벤치마크: DRQA
이 설정을 평가하기 위해, 저자들은 기업용 딥 리서치 시나리오에서 파생된 사실적 충돌 벤치마크인 DRQA(Deep Research Question Answering)를 도입합니다. 공공 지식에 의존하는 표준 오픈 도메인 QA 벤치마크와 달리, DRQA는 모델의 내부 메모리에서 복구할 수 없는 합성된 기업 특화 사실(예: 내부 기업 지표, 사용자 페르소나)을 활용합니다. 각 쿼리는 다음과 같은 검색 번들과 쌍을 이룹니다:

• 하나의 정답 문서.
• 오정보(Misinformation) 문서 (그럴듯하지만 사실과 다른 정보).
• 시점(Temporal) 문서 (과거에는 정확했으나 현재는 오래된 정보).
• 노이즈(Noise) 문서 (주제와 관련은 있으나 답변이 불가능한 정보).

이러한 설계는 모델이 파라미터 지식이 아닌, 오직 검색과 충돌 해결 능력에만 의존하도록 강제합니다.

실험 결과
저자들은 DRQA 및 표준 멀티 도큐먼트 QA 벤치마크(Natural Questions, TriviaQA, PopQA, RetrievalQA)에서 instruction-tuned 소형 언어 모델(Qwen3.5-2B/9B, Phi-3-medium)을 사용하여 DCCD를 표준 풀-컨텍스트 디코딩 및 다양한 대조 디코딩 베이스라인(CAD, ADACAD, DVD, COCOA)과 비교 평가했습니다.

• 성능: DCCD는 거의 모든 설정에서 가장 우수한 평균 성능을 달립다. 특히 검색된 증거 간의 내부 충돌을 해결해야 하는 작업인 DRQA에서 성능 향상이 가장 두드러졌습니다.
• 절제 연구(Ablation Studies): 문서 수준 신뢰도를 제거했을 때 가장 큰 성능 저하(예: DRQA @5에서 약 6.34% 하락)가 발생했으며, 이는 토큰 수준의 선명도만으로는 오도하는 문서가 여전히 자신감 있는 로컬 예측을 생성할 수 있는 상황을 해결하기에 불충분함을 나타냅니다. 반대로, 문서 수준 신뢰도만 사용하는 것은 안정적이었으나 방해 요소(distractor)의 수가 증가함에 따라 효과가 떨어졌으며, 이는 토큰 수준 신뢰도의 보완적 가치를 강조합니다.
• 효율성: DCCD는 여러 번의 순방향 패스(하나의 풀-컨텍스트 스트림과 $n$개의 문서 조건부 스트림)로 인해 더 높은 추론 비용이 발생하지만, 이는 검색된 문서 수에 비례하며 문서 수준 프로브를 통해 상쇄(amortized)됩니다.

의의 및 주장
본 논문은 검색된 증거가 내부적으로 상충할 때 **소스 인식형 신뢰도 게이팅 디코딩(source-aware, confidence-gated decoding)**이 얼마나 중요한지를 DCCD를 통해 입증한다고 주장합니다. 소스의 *충분성(sufficiency)*과 특정 소스로부터의 생성 *확신(certainty)*을 명시적으로 구분함으로써, DCCD는 훈련 없이도 컨텍스트 내부의 충돌을 해결하는 강력한 메커니즘을 제공합니다. 저자들은 사실이 비공개적이고, 이질적이며, 충돌하기 쉬운 기업 환경에서 RAG 시스템을 평가하기 위해 DRQA가 필수적인 벤치마크임을 강조합니다. 이는 기존 연구에서 미처 탐구되지 못한 역량입니다. 결과적으로, 효과적인 멀티 도큐먼트 RAG를 위해서는 단순히 증거를 검색하는 것뿐만 아니라, 특정 증거 소스의 신뢰성과 명확성에 기반하여 생성을 동적으로 게이팅하는 과정이 필요함을 시사합니다.