Technische Samenvatting: LatentRAG

Probleemstelling

Traditionele Retrieval-Augmented Generation (RAG)-systemen vertrouwen vaak op een eenstapszoekproces, wat moeite heeft met complexe vragen die iteratief redeneren vereisen. Hoewel Agentic RAG dit aanpakt door Large Language Models (LLM's) in te zetten als zoekagenten die iteratief tussentijdse gedachten en subvragen genereren om informatie op te halen, introduceert deze aanpak aanzienlijke latentie.

De primaire bottleneck in bestaande Agentic RAG-methoden (zoals Search-R1, AutoRefine) is de autoregressieve, token-voor-token generatie van natuurlijke taalgedachten en subvragen. Zoals aangetoond in de analyse van het paper, vormen deze generatiefasen ongeveer 90% van de totale inferentielatentie, waardoor Agentic RAG 15–20 keer trager is dan naïeve eenstaps-RAG. Bovendien verhindert de expliciete generatie van lange tekstsequenties efficiënte parallelisatie en belemmert het de end-to-end gezamenlijke optimalisatie van de LLM en het zoekmodel vanwege de discrete aard van de outputtokens.

Methodologie: LatentRAG

De auteurs stellen LatentRAG voor, een raamwerk dat zowel redeneren als zoeken verschuift van de discrete taalruimte naar de continue latente ruimte. In plaats van expliciete natuurlijke taaltokens voor gedachten en subvragen te genereren, werkt het model met "latente tokens"—de verborgen toestanden van de laatste laag van speciale placeholder-tokens.

Kerncomponenten

1. Latente Generatie:

   • De LLM wordt geprompt met speciale tokens (bijv. <think1>...<thinkm> voor gedachten en <query1>...<queryn> voor subvragen).
   • Tijdens de prefill-fase worden deze speciale tokens parallel verwerkt. Het model extrahert de laatste verborgen toestanden van deze tokens om te fungeren als latente gedachte ($H^\tau_t$) en latente subvraag ($H^s_t$) tokens.
   • Dit stelt het model in staat om interne berekeningen toe te wijzen zonder de sequentiële overhead van autoregressieve tekstgeneratie.

2. Latente Zoekopdracht:

   • Omdat latente tokens zich in de outputruimte van de LLM bevinden, overbrugt een lichtgewicht projectormodule ($Proj_{ret}$) de kloof naar de inputruimte van het zoekmodel.
   • De geprojecteerde latente subvraag wordt ingevoerd in een trainbaar dicht zoekmodel om embeddings te genereren.
   • Trainingsdoel: Om de embeddings van de latente subvraag af te stemmen op het zoekgedrag van natuurlijke taalsubvragen zonder grondwaarheid-documentannotaties voor elke tussenstap te vereisen, introduceren de auteurs een KL-divergentieverlies. Dit verlies minimaliseert de divergentie tussen de documentgelijkheidsverdeling die wordt veroorzaakt door de latente subvraag en die welke wordt veroorzaakt door een referentie (bevroren) natuurlijke taalsubvraag. Dit maakt volledig differentieerbare, end-to-end gezamenlijke optimalisatie van de LLM en het zoekmodel mogelijk.

3. Parallelle Latente Decoding (Optioneel):

   • Om de "black box"-karakteristiek van latente redenering aan te pakken en transparantie te waarborgen, is een parallelle decodingmechanisme opgenomen.
   • Projectormodules mappingen latente tokens terug naar de inputruimte van de LLM, waardoor het model de bijbehorende natuurlijke taalgedachten en subvragen kan decoderen.
   • Cruciaal is dat, omdat de latente tokens in één forward pass worden gegenereerd, de daaropvolgende decoding van gedachten en subvragen over verschillende stappen parallel kan worden uitgevoerd, wat de decodinglatentie aanzienlijk verlaagt in vergelijking met sequentiële autoregressieve generatie.

Belangrijkste Bijdragen

1. LatentRAG-raamwerk: Een nieuw agentic RAG-systeem dat redeneren en zoeken volledig binnen de latente ruimte uitvoert, waardoor de latentieoverhead die gepaard gaat met expliciete token-voor-token generatie van gedachten en subvragen wordt geëlimineerd.
2. Afstemming in de Latente Ruimte: Een trainingsdoel gebaseerd op KL-divergentie dat de latente subvraagrepresentaties van de LLM afstemt op een vooraf getraind dicht zoekmodel. Dit faciliteert end-to-end gezamenlijke optimalisatie en stelt latente tokens in staat om effectieve zoekopdrachten te zijn ondanks data-schaarste in tussenstappen.
3. Parallel Decodingmechanisme: Een methode om latente tokens terug te vertalen naar natuurlijke taal voor transparantie. Dit mechanisme ondersteunt parallelle decoding over meerdere redeneerstappen, biedt een afweging tussen efficiëntie en interpreteerbaarheid en behoudt tegelijkertijd een aanzienlijk snelheidsvoordeel ten opzichte van expliciete methoden.

Experimentele Resultaten

De auteurs hebben LatentRAG geëvalueerd op zeven benchmarkdatasets (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) met behulp van verschillende zoekmodellen en LLM-schalen.

• Prestaties: LatentRAG bereikt prestaties die vergelijkbaar zijn met state-of-the-art expliciete Agentic RAG-methoden (zoals Search-R1, AutoRefine), met relatieve prestatieverschillen die doorgaans binnen 5% liggen.
• Efficiëntie: De methode vermindert de inferentielatentie met ongeveer 90% in vergelijking met expliciete Agentic RAG-baselines.
  • Gemiddeld verlaagt LatentRAG de latentie van ~5.000ms (Search-R1) naar ~600ms.
  • Dit brengt de latentie van Agentic RAG terug naar niveaus die vergelijkbaar zijn met traditionele eenstaps-RAG (bijv. ~400–500ms).
• Schalbaarheid: De efficiëntiewinsten gelden voor verschillende modelgroottes (3B tot 14B LLM's en 0,6B tot 8B zoekmodellen). Het vergroten van de LLM-grootte verhoogt de latentie voor expliciete methoden aanzienlijk vanwege langere decodingsequenties, terwijl LatentRAG efficiëntie behoudt.
• Ablatiestudies: Het KL-divergentie-zoekdoel bleek superieur te zijn aan cosine-verlies of InfoNCE-verlies. Het verwijderen van het vooraf getrainde zoekmodel of het latente decodingverlies resulteerde in prestatiedegradatie, wat de noodzaak bevestigt van de inductieve bias van het zoekmodel en de regulering die wordt geboden door decoding.

Betekenis en Beweringen

Het paper beweert dat LatentRAG de kloof succesvol overbrugt tussen de hoge prestaties van multi-staps Agentic RAG en de efficiëntie van eenstaps-RAG. Door redeneren en zoeken naar de latente ruimte te verplaatsen, vermijdt het raamwerk de computatie-inefficiënties van autoregressieve tekstgeneratie, terwijl het het vermogen behoudt om complexe vragen te ontleden.

De auteurs benadrukken dat hoewel latente redenering is onderzocht voor alleen-generatietaken, de toepassing ervan op Agentic RAG unieke uitdagingen introduceert met betrekking tot data-schaarste en transparantie. LatentRAG adresseert deze door een gezamenlijke optimalisatiestrategie en een optioneel parallel decodingmechanisme voor te stellen. Het werk suggereert een verschuiving van mensgerichte tekstuele zoekmachines naar agent-gerichte embedding-gebaseerde zoekmachines, wat een efficiënter paradigma biedt voor informatievragende agenten in het tijdperk van grote taalmodellen. De auteurs merken bescheiden op dat hun huidige aanpak vertrouwt op supervised fine-tuning (SFT) met behulp van trajecten van bestaande agenten, en dat toekomstig werk versterkt leren kan verkennen om zoekbeleid verder te optimaliseren.