기술 요약: LatentRAG

문제 정의

전통적인 검색 증강 생성 (RAG) 시스템은 종종 단일 단계 검색 과정에 의존하는데, 이는 반복적 추론이 필요한 복잡한 질문 처리에 어려움을 겪습니다. **에이전트 RAG(Agentic RAG)**는 대형 언어 모델 (LLM) 을 검색 에이전트로 활용하여 중간 사고와 하위 쿼리를 반복적으로 생성함으로써 정보를 검색하는 방식으로 이 문제를 해결하지만, 이 접근법은 상당한 지연 시간을 초래합니다.

기존 에이전트 RAG 방법 (예: Search-R1, AutoRefine) 의 주요 병목 현상은 자연어 사고와 하위 쿼리의 자기회귀적, 토큰 단위 생성에 있습니다. 논문의 분석이 보여주듯, 이러한 생성 단계는 전체 추론 지연 시간의 약 90% 를 차지하여 에이전트 RAG 를 단순한 단일 단계 RAG 보다 15~20 배 느리게 만듭니다. 또한, 긴 텍스트 시퀀스의 명시적 생성은 효율적인 병렬화를 방해하며, 출력 토큰의 이산적 (discrete) 특성으로 인해 LLM 과 검색 모델의 엔드 투 엔드 결합 최적화를 저해합니다.

방법론: LatentRAG

저자들은 LatentRAG를 제안합니다. 이는 추론과 검색을 모두 이산적인 언어 공간에서 **연속적인 잠재 공간 (continuous latent space)**으로 전환하는 프레임워크입니다. 사고와 하위 쿼리를 위한 명시적 자연어 토큰을 생성하는 대신, 모델은 "잠재 토큰 (latent tokens)"—즉, 특수 플레이스홀더 토큰의 마지막 레이어 은닉 상태—을 기반으로 작동합니다.

핵심 구성 요소

1. 잠재 생성 (Latent Generation):

   • LLM 은 특수 토큰 (예: 사고용 <think1>...<thinkm>, 하위 쿼리용 <query1>...<queryn>) 으로 프롬프트됩니다.
   • 프리필 (prefill) 단계에서 이러한 특수 토큰은 병렬로 처리됩니다. 모델은 이러한 토큰의 마지막 은닉 상태를 추출하여 잠재 사고 ($H^\tau_t$) 와 잠재 하위 쿼리 ($H^s_t$) 토큰으로 활용합니다.
   • 이를 통해 모델은 자기회귀적 텍스트 생성의 순차적 오버헤드 없이 내부 계산을 할당할 수 있습니다.

2. 잠재 검색 (Latent Retrieval):

   • 잠재 토큰은 LLM 의 출력 공간에 존재하므로, 경량 **프로젝터 모듈 (projector module, $Proj_{ret}$)**이 검색 모델의 입력 공간과의 간극을 연결합니다.
   • 투영된 잠재 하위 쿼리는 학습 가능한 밀집 검색 모델에 입력되어 임베딩을 생성합니다.
   • 학습 목표: 모든 중간 단계에 대한 정답 문서 주석이 필요 없이 잠재 하위 쿼리 임베딩을 자연어 하위 쿼리의 검색 행동과 정렬시키기 위해, 저자들은 **KL-발산 손실 (KL-divergence loss)**을 도입합니다. 이 손실은 잠재 하위 쿼리가 유도하는 문서 유사도 분포와 기준 (동결된) 자연어 하위 쿼리가 유도하는 분포 간의 발산을 최소화합니다. 이를 통해 LLM 과 검색 모델의 완전한 미분 가능한 엔드 투 엔드 결합 최적화가 가능해집니다.

3. 병렬 잠재 디코딩 (선택적):

   • 잠재 추론의 "블랙박스" 성격을 해결하고 투명성을 보장하기 위해 병렬 디코딩 메커니즘이 통합됩니다.
   • 프로젝터 모듈은 잠재 토큰을 LLM 입력 공간으로 다시 매핑하여 모델이 해당 자연어 사고와 하위 쿼리를 디코딩할 수 있게 합니다.
   • 핵심적으로, 잠재 토큰은 단일 순전파 (forward pass) 에서 생성되므로, 다른 단계에 걸친 사고와 하위 쿼리의 후속 디코딩은 병렬로 수행될 수 있어, 순차적 자기회귀 생성에 비해 디코딩 지연 시간을 크게 단축합니다.

주요 기여

1. LatentRAG 프레임워크: 사고와 하위 쿼리의 명시적 토큰 단위 생성과 관련된 지연 시간 오버헤드를 제거하고, 잠재 공간 내에서 완전히 추론과 검색을 수행하는 새로운 에이전트 RAG 시스템.
2. 잠재 공간 정렬: KL-발산 기반의 학습 목표를 통해 LLM 의 잠재 하위 쿼리 표현을 사전 훈련된 밀집 검색 모델과 정렬합니다. 이는 엔드 투 엔드 결합 최적화를 용이하게 하며, 중간 단계의 데이터 부족에도 불구하고 잠재 토큰이 효과적인 검색 쿼리로 기능하도록 합니다.
3. 병렬 디코딩 메커니즘: 투명성을 위해 잠재 토큰을 자연어로 변환하는 방법. 이 메커니즘은 여러 추론 단계에 걸친 병렬 디코딩을 지원하여 효율성과 해석 가능성 사이의 균형을 제공하면서도 명시적 방법 대비 상당한 속도 우위를 유지합니다.

실험 결과

저자들은 다양한 검색 모델과 LLM 규모를 사용하여 7 개의 벤치마크 데이터셋 (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) 에서 LatentRAG 를 평가했습니다.

• 성능: LatentRAG 는 최첨단 명시적 에이전트 RAG 방법 (예: Search-R1, AutoRefine) 과 비교 가능한 성능을 달성하며, 상대적 성능 차이는 일반적으로 5% 이내입니다.
• 효율성: 이 방법은 명시적 에이전트 RAG 기준 대비 추론 지연 시간을 약 90% 감소시킵니다.
  • 평균적으로 LatentRAG 는 지연 시간을 약 5,000ms(Search-R1 기준) 에서 약 600ms 로 줄입니다.
  • 이는 에이전트 RAG 의 지연 시간을 전통적인 단일 단계 RAG 수준 (예: 약 400~500ms) 으로 낮춥니다.
• 확장성: 효율성 향상은 다양한 모델 크기 (3B14B LLM 및 0.6B8B 검색 모델) 에서 유지됩니다. LLM 크기를 늘리면 명시적 방법은 더 긴 디코딩 시퀀스로 인해 지연 시간이 크게 증가하는 반면, LatentRAG 는 효율성을 유지합니다.
• 절대 실험 (Ablation Studies): KL-발산 검색 목표가 코사인 손실이나 InfoNCE 손실보다 우월함이 입증되었습니다. 사전 훈련된 검색 모델이나 잠재 디코딩 손실을 제거하면 성능이 저하되어, 검색 모델의 귀납적 편향과 디코딩이 제공하는 정규화의 필요성이 확인되었습니다.

중요성과 주장

이 논문은 LatentRAG 가 다단계 에이전트 RAG 의 높은 성능과 단일 단계 RAG 의 효율성 사이의 간극을 성공적으로 연결했다고 주장합니다. 추론과 검색을 잠재 공간으로 이동시킴으로써, 이 프레임워크는 자기회귀적 텍스트 생성의 계산 비효율성을 피하면서도 복잡한 질문을 분해할 수 있는 능력을 유지합니다.

저자들은 잠재 추론이 생성 전용 작업에서 탐구되어 왔으나, 에이전트 RAG 에 적용될 경우 데이터 부족과 투명성과 관련된 고유한 도전 과제가 introduced 된다고 강조합니다. LatentRAG 는 결합 최적화 전략과 선택적 병렬 디코딩 메커니즘을 제안하여 이러한 문제를 해결합니다. 이 연구는 인간 중심의 텍스트 기반 검색 엔진에서 에이전트 중심의 임베딩 기반 검색 엔진으로의 전환을 시사하며, 대형 언어 모델 시대의 정보 탐색 에이전트를 위한 더 효율적인 패러다임을 제시합니다. 저자들은 현재 접근 방식이 기존 에이전트의 궤적을 이용한 지도 미세 조정 (SFT) 에 의존하고 있으며, 향후 연구는 검색 정책을 더 최적화하기 위해 강화 학습을 탐구할 수 있다고 겸손하게 언급합니다.