Retrieval as a Decision: Training-Free Adaptive Gating for Efficient RAG

기술 요약: 검색을 의사결정으로: 효율적인 RAG 를 위한 학습 없는 적응형 게이팅

문제 제기
검색 증강 생성 (RAG) 은 파라메트릭 메모리를 비파라메트릭 외부 어휘와 결합하여 대규모 언어 모델 (LLM) 의 사실성을 향상시킵니다. 그러나 모든 쿼리에 대해 검색하는 표준 방식 ('Always-RAG') 은 상당한 비효율성을 초래합니다. 무조건적인 검색은 긴 컨텍스트에서 자기 주의 (self-attention) 의 2 차적 확장으로 인해 토큰 사용량과 지연 시간을 증가시킵니다. 또한, 모델의 파라메트릭 지식이 충분한 쿼리에 대해 검색하면 잡음이 있거나 관련성이 낮은 증거가 도입되어 정확도가 저하될 수 있으며, 이는 긴 컨텍스트에서의 '중간 소실 (lost in the middle)' 현상으로 인해 더욱 악화됩니다. FLARE, Self-RAG, CRAG 와 같은 최근 연구들은 조건부 검색을 탐구하지만, 종종 보조 제어 헤드 학습, 특수 반사 토큰, 또는 다단계 도구 루프에 의존하여 엔지니어링 복잡성과 지연 시간을 증가시킵니다. 본 논문은 무엇을 검색할지 결정하는 것만큼 언제 검색할지 결정하는 것이 중요하다고 주장하지만, 현재 방법들은 이를 효율적으로 결정할 수 있는 간단하고 학습 없는 메커니즘이 부족한 경우가 많습니다.

방법론: 학습 없는 적응형 검색 게이팅 (TARG)
저자들은 TARG 를 제안합니다. 이는 짧은 검색 없는 접두사 (prefix) 로부터 기본 모델의 내부 불확실성 신호만을 기반으로 검색 여부를 결정하는 단일 회차 (single-shot) 학습 없는 정책입니다. 이 방법은 다음과 같이 작동합니다:

1. 접두사 초안 작성: 쿼리 $q$가 주어지면, 모델은 검색된 컨텍스트 없이 기본 프롬프트만을 사용하여 $k$개의 토큰 (기본값 $k=20$) 의 짧은 접두사를 생성합니다.
2. 불확실성 점수화: 시스템은 접두사 로짓 (logits) 에서 경량 불확실성 점수 $U$를 계산합니다. 세 가지 구체적인 신호가 구현됩니다:
   • 엔트로피 게이트: 접두사 전체에 걸친 평균 토큰 엔트로피 ($H_t$) 를 계산합니다. 높은 엔트로피는 높은 불확실성을 나타냅니다.
   • 마진 게이트: 상위 1 위와 상위 2 위 로짓 점수 간의 차이 ($g_t = \ell_{t,(1)} - \ell_{t,(2)}$) 를 계산합니다. 이 차이는 $\phi(z) = \exp(-z/\beta)$와 같은 엄격하게 감소하는 단조 연결 함수를 통해 양의 불확실성 점수로 매핑됩니다. 논문은 이 매핑된 점수의 임계값 설정이 평균 로짓 차이의 임계값 설정과 차수 동등 (order-equivalent) 함을 증명합니다.
   • 분산 게이트: 온도 $T=0.7$에서 $N$개 (기본값 $N=5$) 의 확률적 접두사를 샘플링합니다. 그런 다음 각 단계에서 이러한 샘플 간의 경험적 불일치 (분산) 를 계산하여 $(N-1)/N$으로 제한된 점수로 집계합니다.
3. 의사결정 논리: 시스템은 집계된 점수 $U$가 고정된 임계값 $\tau$를 초과하면 검색을 트리거합니다. 트리거되면 컨텍스트 $C$가 검색되어 프롬프트에 추가되고, 그렇지 않으면 검색 없이 생성이 진행됩니다.
4. 단일 회차 제약: 생성 중간에 재평가하는 동적 접근법과 달리, TARG 는 초기 접두사를 기반으로 단일 결정을 내립니다. 저자들은 짧은 답변 QA 설정에서 동적 재점검은 과도하게 공격적이며, 종종 높은 지연 시간과 미미한 정확도 향상으로 이어지는 'Always-RAG'로 퇴화한다고 주장합니다.

주요 기여

• 지시 튜닝 모델에 대한 경험적 관찰: 논문은 현대의 지시 튜닝 LLM(예: Llama-3.1, Qwen2.5) 에서 접두사 엔트로피가 크게 압축되어 불확실성 신호로서의 구별력을 상실함을 확인했습니다. 결과적으로 엔트로피 기반 게이트는 과도하게 트리거되는 경향이 있습니다.
• 강건한 마진 신호: 저자들은 피크 분포 하에서도 상위 1 위/상위 2 위 로짓 차이 (마진) 가 동적 범위를 유지하며, 강건하고 학습 없는 불확실성 기준이 됨을 입증했습니다. 작은 $N$ 분산은 엄격한 예산 제약 하에서 보수적인 대안으로 식별되었습니다.
• 효율성 - 정확도 프론티어: TARG 는 'Never-RAG'의 정확도와 일치하거나 초과하는 반면, 검색률 (Always-RAG 대비 70~90% 감소) 과 지연 시간 오버헤드를 극적으로 줄이는 유리한 균형을 달성합니다.
• 플러그 앤 플레이 설계: 이 방법은 추가 학습, 보조 헤드, 또는 특수 프롬프팅이 필요하지 않습니다. 쿼리당 수십에서 수백 개의 추가 초안 토큰만으로 기존 RAG 스택에 통합됩니다.

실험 결과
저자들은 Qwen2.5-7B 와 Llama-3.1-8B 백본을 사용하여 NQ-Open, TriviaQA, PopQA(짧은 답변), MuSiQue(다중 홉), ASQA(장문) 등 다섯 가지 벤치마크에서 TARG 를 평가했습니다.

• 기선 대비 성능: 'Always-RAG'와 비교할 때, TARG(마진 게이트 사용) 는 데이터셋과 예산에 따라 검색률을 0.1%~15% 까지 낮추면서도 Exact Match(EM) 및 F1 점수를 지속적으로 개선하거나 일치시켰습니다. 'Never-RAG'와 비교할 때, TARG 는 필요할 때만 선택적으로 검색함으로써 종종 정확도를 향상시켰습니다.
• 지연 시간: 이 방법은 종단 간 지연 시간을 크게 줄였습니다. 예를 들어, NQ-Open 과 Llama-3.1-8B 에서 마진 게이트는 쿼리당 약 0.012 초만 추가하여 Almost-기선 수준의 지연 시간을 달성하면서도 Always-RAG 보다 우수한 성능을 보였습니다.
• 신호 비교: 더 강력한 백본 하에서 마진 및 분산 게이트는 엔트로피 게이트보다 우수한 성능을 발휘했습니다. 엔트로피 게이트는 해당 정확도 향상 없이 검색을 불필요하게 자주 트리거하여 (높은 검색률) 마진/분산 게이트는 최소한의 오버헤드로 높은 정밀도를 유지했습니다.
• 복잡한 프레임워크와의 비교: 엄격한 예산 제약 (최대 1 회 검색 호출) 하에서 반사적 프레임워크 (Self-RAG-lite, CRAG-lite) 및 능동적 검색 (FLARE) 과 비교할 때, TARG 는 반사 토큰 또는 다단계 루프의 오버헤드를 피함으로써 현저히 낮은 지연 시간으로 동등하거나 우수한 정확도를 달성했습니다.

의의 및 주장
이 논문은 TARG 가 학습 비용이나 복잡한 조정 없이 검색에 정밀도를 회복시키는 RAG 시스템을 위한 실용적인 '기본 원시 (basic primitive)'를 제공한다고 주장합니다. 저자들은 두 가지 주요 통찰을 강조합니다:

1. 무조건적 검색은 안전한 기본값이 아님: 무분별한 컨텍스트 주입은 특히 파라메트릭 지식이 충분하거나 검색이 방해 요소를 도입하는 쿼리의 경우 품질과 지연 시간 모두에 해를 끼칩니다.
2. 백본의 날카로움이 신호 선택을 결정함: 모델이 더 지시 튜닝되고 다음 토큰 분포가 날카로워질수록 엔트로피는 나쁜 불확실성 대리가 됩니다. 로짓 차이 (마진) 와 작은 $N$ 분산은 여전히 효과적이므로, 서로 다른 데이터셋과 검색기 전반에 걸쳐 강건한 단순한 1 차원 임계값 보정이 가능합니다.

저자들은 TARG 를 통해 실무자가 예산 - 검색 균형을 명시적으로 제어할 수 있게 되어 지연 시간을 예측 가능하게 하고 효율성을 명확히 할 수 있으며, 검색기 품질 또는 재순위화 전략의 개선과 직교적으로 유지된다고 결론지었습니다.