기술 요약: 내부에서의 검색: 어텐션 기반 모델의 고유 능력

1. 문제 제기

검색 증강 생성 (RAG) 은 대규모 코퍼스 내에서 필요한 정보가 희소할 때 질문을 답변하는 표준 접근법이 되었습니다. 그러나 현재 RAG 아키텍처는 일반적으로 검색과 생성을 별도의 모듈식 시스템으로 취급합니다. 검색기는 (밀도 임베딩이나 어휘적 방법을 주로 사용하여) 후보 증거를 선택한 후, 이를 생성기 (LLM) 에 전달하여 텍스트를 재인코딩해 답변을 생성합니다.

이러한 분리는 두 가지 주요 비효율성을 초래합니다:

1. 표현 불일치: 검색기와 생성기는 서로 다른 표현 공간에서 작동하므로, 검색된 내용과 생성기가 가장 유용하게 여기는 내용 사이에 단절이 발생할 수 있습니다.
2. 계산적 중복성: 표준 RAG 에서는 검색 단계에서 이미 인코딩되었더라도, 선택된 증거 청크가 쿼리 시점에 생성기의 인코더에 의해 재인코딩되어야 합니다.

저자들은 어텐션 기반 인코더 - 디코더 모델이 외부 검색기 모듈 없이 단일 모델 내에서 자체 내부 표현으로부터 검색을 수행하여 검색과 생성 과정을 통합할 수 있는지 질문합니다.

2. 방법론: INTRA

이 논문은 공유 표현 공간을 사용하여 증거 선택과 답변 생성을 모두 처리하는 단일 사전 훈련된 인코더 - 디코더 모델을 도입한 INTRA(Attention 을 통한 고유 검색, INTrinsic Retrieval via Attention) 프레임워크를 소개합니다.

핵심 메커니즘

외부 검색기 대신 INTRA 는 디코더의 크로스 어텐션 메커니즘을 활용하여 사전 인코딩된 증거 청크에 점수를 매깁니다. 이 과정은 다음과 같습니다:

1. 사전 인코딩: 코퍼스가 고정된 (frozen) 인코더에 의해 한 번 인코딩되어 청크 표현 집합 $K = \{k_i\}$를 생성합니다.
2. 검색 토큰: 입력 쿼리 $x$에 $R$개의 학습 가능한 검색 토큰 $\rho$가 추가됩니다.
3. 어텐션을 통한 점수 매기기: 디코더는 증강된 쿼리를 사전 인코딩된 청크와 함께 처리합니다. 디코더 레이어의 크로스 어텐션 쿼리 ($q_\ell$) 를 사용하여 청크에 점수를 매깁니다.
4. MaxSim 점수 매기기: 토큰 수준의 어텐션 점수를 청크 수준의 검색 점수로 변환하기 위해, 저자들은 MaxSim(확장된 ColBERT 스타일의 후기 상호작용) 방식을 사용합니다. 각 쿼리 토큰에 대해 청크 내 임의의 토큰과의 최대 유사도를 취한 후, 학습 가능한 가중치 $\alpha_\ell$을 사용하여 레이어 간에 집계합니다.
5. 선택 및 생성: 이러한 점수에 기반한 상위 $n$개의 청크가 컨텍스트 $K(S_{INTRA})$를 형성하도록 선택되며, 이는 디코더가 답변을 생성하는 데 사용됩니다.

주요 기술적 혁신

• Reverse-QWK(쿼리 - 키 가중치): 표준 Transformer 크로스 어텐션은 키 (인코더 상태) 에 레이어별 선형 프로젝션과 정규화를 적용합니다. 이는 모든 레이어마다 키를 재계산해야 하므로 단일 사전 인코딩 인덱스의 재사용을 방해합니다. INTRA 는 학습된 키 스케일과 프로젝션 행렬을 쿼리 측으로 이동시키는 Reverse-QWK 기술을 도입합니다. 이를 통해 모델은 모든 디코더 레이어에 서비스하는 단일 정규화된 인코더 표현 ($\bar{K}$) 을 저장할 수 있게 되어, 정적 인덱스에 대한 효율적인 검색 점수 매기기가 가능해집니다.
• 풀링 임베딩: 긴 청크에 대한 MaxSim 의 계산 비용을 줄이기 위해, 저자들은 전체 청크 표현을 고정 길이의 평균 풀링 임베딩 ($L_p \ll L_c$) 으로 대체합니다. 이 근사화는 별도의 압축 모델을 요구하지 않으면서 공유 표현 설계를 유지합니다.
• 훈련 목적 함수: 검색 토큰과 집계 가중치는 "오라클"(정답) 증거 청크에 대한 확률 질량을 최대화하도록 소프트 크로스 엔트로피 목적 함수로 훈련되며, 백본 인코더 - 디코더는 고정된 상태로 유지됩니다.

3. 주요 기여

1. 통합 프레임워크: 공유 표현 공간을 사용하여 단일 사전 훈련된 인코더 - 디코더 모델 내에서 증거 선택과 답변 생성을 결합한 INTRA 의 공식화.
2. 최소한의 아키텍처 레시피: 고유 검색을 드러내기 위해 필요한 구성 요소의 식별: 네이티브 청크 표현의 재사용, coarse 검색을 위한 인코더 측 후기 상호작용 사용, 외부 모듈 없이 디코더 측 검색 쿼리를 통한 증거 정제.
3. 실증적 성능: 다중 홉 질문 답변 벤치마크에서 강력한 엔지니어링된 검색 파이프라인 (밀도 검색기와 재순위화기를 포함) 보다 우수한 성능을 보이는 통합 설계의 입증. 더 높은 증거 회수율과 엔드 - 투 - 엔드 답변 품질을 달성했습니다.
4. 계산적 효율성: 설계의 효율성 특성화, 특히 정적 증거가 한 번 인코딩되어 재사용되는 "재사용 가능한 컨텍스트" 영역. 이는 생성 프리필 (prefill) 단계 동안의 재인코딩 비용을 제거합니다.

4. 실험 결과

저자들은 INTRA 를 HotPotQA, 2WikiMultihopQA, MuSiQue, **Natural Questions (NQ)**라는 4 개의 위키 기반 QA 벤치마크에서 평가했습니다. 사용된 모델은 T5Gemma2 4B-4B 체크포인트였습니다.

• 검색 품질: INTRA 는 다중 홉 벤치마크 (HotPotQA, 2Wiki, MuSiQue) 에서 완전 증거 회수율(모든 지원 사실이 검색된 예제의 비율) 에서 최고 성적을 거두었습니다. 희소 방법 (TF-IDF, BM25), 밀도 단일 벡터 모델 (BGE, Qwen-Embedding), 그리고 하이브리드 RAG 파이프라인보다 우수한 성능을 보였습니다.
• 엔드 - 투 - 엔드 QA: 동일한 T5Gemma2 디코더를 생성에 사용할 때, INTRA 는 다중 홉 작업에서 Exact Match (EM) 및 F1 점수에서 모든 베이스라인을 능가했습니다. 특히 INTRA 는 대규모 검색 코퍼스에서 사전 훈련된 베이스라인 검색기와 달리, 생성만을 위해 사전 훈련된 고정 디코더를 사용하여 이를 달성했습니다.
• 효율성: **첫 번째 토큰 도달 시간 (TTFT)**을 측정하는 벤치마크는 검색된 청크 수 ($k$) 가 증가함에 따라 INTRA 가 표준 RAG 보다 훨씬 빠르게 유지됨을 보여주었습니다. 이는 INTRA 가 사전 인코딩된 상태를 재사용하여 생성 프리필 단계 동안 검색된 텍스트를 재인코딩하는 2 차 비용 (quadratic cost) 을 피하기 때문입니다.
• 절대 실험 (Ablation Studies): 초기 컨텍스트를 제거하거나 검색 토큰 수를 줄이면 성능이 크게 저하되어, 초기화 및 학습된 검색 점수 매기기 메커니즘의 필요성을 확인했습니다.

5. 중요성 및 주장

이 논문은 대규모 언어 모델에서 검색을 바라보는 개념적 전환을 제기합니다. 저자들은 어텐션 기반 모델이 이미 외부 모듈로 추가되는 것이 아니라 이끌어낼 수 있는 고유한 검색 메커니즘을 보유하고 있다고 주장합니다.

• 통합 표현: 검색과 생성을 통합함으로써 INTRA 는 검색기와 생성기 간의 표현 불일치를 제거합니다.
• 고유 능력: 결과는 적절하게 학습 가능한 토큰과 후기 상호작용 점수 매기기를 통해 노출될 때, 어텐션 메커니즘에 내재된 "쿼리 조건부 매칭"이 효과적인 검색에 충분함을 시사합니다.
• 효율성: 이 프레임워크는 쿼리 간 증거 인코딩 비용을 분산 (amortize) 함으로써 정적 지식 베이스에 대한 실용적인 계산적 이점을 제공합니다.

한계점

저자들은 실험이 고정된 컨텍스트 풀에 초점을 맞추고 있으며, INTRA 가 오픈 웹이나 동적 검색 환경에서의 RAG 를 대체한다고 주장하지 않는다고 명시적으로 언급합니다. 이 방법은 인코더 - 디코더 크로스 어텐션에 의존하며 디코더 전용 모델에는 직접 적용되지 않습니다. 또한, 이 접근 방식이 짧은 답변 QA 에 효과적이지만, 더 넓은 도메인이나 동적 코퍼스로의 일반화는 향후 과제로 남아 있습니다.