Riepilogo Tecnico: LatentRAG

Enunciato del Problema

I sistemi tradizionali di Retrieval-Augmented Generation (RAG) spesso si basano su un processo di recupero a singolo passaggio, che fatica a gestire domande complesse che richiedono un ragionamento iterativo. Sebbene l'Agentic RAG affronti questo problema impiegando Large Language Models (LLM) come agenti di ricerca che generano iterativamente pensieri intermedi e sottodomande per recuperare informazioni, questo approccio introduce una latenza significativa.

Il collo di bottiglia principale nei metodi Agentic RAG esistenti (ad esempio Search-R1, AutoRefine) è la generazione autoregressiva, token per token, di pensieri e sottodomande in linguaggio naturale. Come dimostrato nell'analisi del documento, queste fasi di generazione rappresentano circa il 90% della latenza totale di inferenza, rendendo l'Agentic RAG da 15 a 20 volte più lento rispetto al RAG a singolo passaggio naive. Inoltre, la generazione esplicita di lunghe sequenze di testo impedisce una parallelizzazione efficiente e ostacola l'ottimizzazione congiunta end-to-end dell'LLM e del modello di recupero a causa della natura discreta dei token di output.

Metodologia: LatentRAG

Gli autori propongono LatentRAG, un framework che sposta sia il ragionamento che il recupero dallo spazio del linguaggio discreto allo spazio latente continuo. Invece di generare token espliciti in linguaggio naturale per pensieri e sottodomande, il modello opera su "token latenti"—gli stati nascosti dell'ultimo livello di token segnaposto speciali.

Componenti Principali

1. Generazione Latente:

   • L'LLM viene istruito con token speciali (ad esempio <think1>...<thinkm> per i pensieri e <query1>...<queryn> per le sottodomande).
   • Durante la fase di prefill, questi token speciali vengono elaborati in parallelo. Il modello estrae gli stati nascosti finali di questi token per servire come token di pensiero latente ($H^\tau_t$) e token di sottodomanda latente ($H^s_t$).
   • Ciò consente al modello di allocare la computazione interna senza il sovraccarico sequenziale della generazione autoregressiva di testo.

2. Recupero Latente:

   • Poiché i token latenti risiedono nello spazio di output dell'LLM, un modulo proiettore leggero ($Proj_{ret}$) colma il divario verso lo spazio di input del modello di recupero.
   • La sottodomanda latente proiettata viene inviata a un modello di recupero denso addestrabile per generare embedding.
   • Obiettivo di Addestramento: Per allineare gli embedding delle sottodomande latenti con il comportamento di recupero delle sottodomande in linguaggio naturale senza richiedere annotazioni documentali ground-truth per ogni passaggio intermedio, gli autori introducono una perdita di divergenza KL. Questa perdita minimizza la divergenza tra la distribuzione di similarità dei documenti indotta dalla sottodomanda latente e quella indotta da una sottodomanda in linguaggio naturale di riferimento (congelata). Ciò consente un'ottimizzazione congiunta end-to-end completamente differenziabile dell'LLM e del modello di recupero.

3. Decodifica Latente Parallela (Opzionale):

   • Per affrontare la natura "scatola nera" del ragionamento latente e garantire la trasparenza, viene incorporato un meccanismo di decodifica parallelo.
   • I moduli proiettori mappano i token latenti indietro nello spazio di input dell'LLM, consentendo al modello di decodificare i corrispondenti pensieri e sottodomande in linguaggio naturale.
   • Crucialmente, poiché i token latenti sono generati in un singolo passaggio in avanti, la successiva decodifica dei pensieri e delle sottodomande attraverso diversi passaggi può essere eseguita in parallelo, riducendo significativamente la latenza di decodifica rispetto alla generazione autoregressiva sequenziale.

Contributi Chiave

1. Framework LatentRAG: Un sistema Agentic RAG innovativo che esegue ragionamento e recupero interamente nello spazio latente, eliminando il sovraccarico di latenza associato alla generazione esplicita token per token di pensieri e sottodomande.
2. Allineamento nello Spazio Latente: Un obiettivo di addestramento basato sulla divergenza KL che allinea le rappresentazioni delle sottodomande latenti dell'LLM con un modello di recupero denso preaddestrato. Ciò facilita l'ottimizzazione congiunta end-to-end e consente ai token latenti di fungere da query di recupero efficaci nonostante la scarsità di dati nei passaggi intermedi.
3. Meccanismo di Decodifica Parallela: Un metodo per tradurre i token latenti nuovamente in linguaggio naturale per la trasparenza. Questo meccanismo supporta la decodifica parallela attraverso più passaggi di ragionamento, offrendo un compromesso tra efficienza e interpretabilità mantenendo un vantaggio di velocità significativo rispetto ai metodi espliciti.

Risultati Sperimentali

Gli autori hanno valutato LatentRAG su sette dataset di benchmark (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) utilizzando vari modelli di recupero e scale di LLM.

• Prestazioni: LatentRAG raggiunge prestazioni comparabili ai metodi Agentic RAG espliciti all'avanguardia (ad esempio Search-R1, AutoRefine), con differenze di prestazioni relative generalmente entro il 5%.
• Efficienza: Il metodo riduce la latenza di inferenza di circa il 90% rispetto alle baseline Agentic RAG esplicite.
  • In media, LatentRAG riduce la latenza da ~5.000 ms (Search-R1) a ~600 ms.
  • Ciò porta la latenza dell'Agentic RAG a livelli comparabili al RAG tradizionale a singolo passaggio (ad esempio ~400–500 ms).
• Scalabilità: I guadagni di efficienza si mantengono attraverso diverse dimensioni del modello (LLM da 3B a 14B e modelli di recupero da 0,6B a 8B). Scalare la dimensione dell'LLM aumenta significativamente la latenza per i metodi espliciti a causa di sequenze di decodifica più lunghe, mentre LatentRAG mantiene l'efficienza.
• Studi di Ablazione: È stato dimostrato che l'obiettivo di recupero a divergenza KL è superiore alla perdita coseno o alla perdita InfoNCE. La rimozione del modello di recupero preaddestrato o della perdita di decodifica latente ha portato a un degrado delle prestazioni, confermando la necessità del bias induttivo fornito dal modello di recupero e della regolarizzazione fornita dalla decodifica.

Significato e Affermazioni

Il documento afferma che LatentRAG colma con successo il divario tra le elevate prestazioni dell'Agentic RAG a più passaggi e l'efficienza del RAG a singolo passaggio. Spostando ragionamento e recupero nello spazio latente, il framework evita le inefficienze computazionali della generazione autoregressiva di testo mantenendo la capacità di scomporre domande complesse.

Gli autori sottolineano che, sebbene il ragionamento latente sia stato esplorato per compiti di sola generazione, la sua applicazione all'Agentic RAG introduce sfide uniche riguardanti la scarsità di dati e la trasparenza. LatentRAG affronta questi aspetti proponendo una strategia di ottimizzazione congiunta e un meccanismo di decodifica parallela opzionale. Il lavoro suggerisce un passaggio dai motori di ricerca basati su testo orientati all'uomo verso motori di ricerca basati su embedding orientati agli agenti, offrendo un paradigma più efficiente per agenti di ricerca di informazioni nell'era dei grandi modelli linguistici. Gli autori notano con modestia che il loro approccio attuale si basa sul fine-tuning supervisionato (SFT) utilizzando traiettorie da agenti esistenti, e che lavori futuri potrebbero esplorare l'apprendimento per rinforzo per ottimizzare ulteriormente le politiche di recupero.