Sintesi Tecnica: IterCOMP

Problema

Il Question Answering (QA) multi-hop richiede il ragionamento attraverso molteplici segmenti di evidenza per derivare una risposta corretta. Sebbene i sistemi di Retrieval-Augmented Generation (RAG) mitigino i limiti di conoscenza dei Large Language Models (LLM) incorporando informazioni esterne, essi affrontano sfide significative in termini di efficienza ed efficacia. Il recupero di documenti estesi introduce un'elevata latenza di inferenza, costi computazionali crescenti e il fenomeno del "lost-in-the-middle", dove i modelli faticano ad attendere alle informazioni rilevanti in mezzo al rumore.

Gli esistenti metodi di compressione dei prompt tentano di affrontare questi problemi riducendo la lunghezza dell'input. Tuttavia, la maggior parte di essi è progettata per query a turno singolo e si affida a un matching della rilevanza superficiale. Essi non riescono a catturare i passaggi di ragionamento sequenziali e interdipendenti richiesti nel QA multi-hop, spesso scartando indizi intermedi critici o mantenendo contenuti irrilevanti che distraggono il modello. Di conseguenza, gli approcci attuali faticano a sintetizzare le informazioni da più fonti in modo efficace, portando a una comprensione contestuale incompleta.

Metodologia: IterCOMP

Gli autori propongono IterCOMP, un framework di compressione dei prompt unificato e privo di addestramento (training-free), progettato specificamente per il QA multi-hop. A differenza dei metodi di compressione statici, IterCOMP integra il ragionamento multi-hop direttamente nel ciclo di compressione attraverso un processo di raffinamento iterativo. Il framework opera senza effettuare il fine-tuning dei sottostanti LLM, rendendolo applicabile sia a modelli open-source che a modelli commerciali black-box.

La pipeline consiste in quattro fasi chiave:

1. Decomposizione dei Documenti: I documenti recuperati vengono segmentati in unità di evidenza più piccole (specificamente frasi in questo lavoro) per preservare il contesto semantico locale consentendo al contempo un filtraggio granulare.
2. Filtraggio dell'Evidenza Rilevante: Un meccanismo di punteggio della rilevanza a doppio aspetto filtra i segmenti candidati. Questo combina:
   • Similarità Semantica: Calcolata tramite embedding di vettori densi per catturare l'allineamento contestuale.
   • Similarità Lessicale: Calcolata tramite sovrapposizione di token pesata per catturare match precisi di parole chiave, che sono cruciali per il ragionamento multi-hop.
   • Questi punteggi vengono combinati in una singola metrica, e i segmenti che superano una soglia basata sui percentili vengono mantenuti.
3. Giudizio di Rispondibilità e Identificazione delle Informazioni Mancanti: Un LLM agisce come controllore del ragionamento per valutare l'insieme di evidenze accumulate ($E_{cand}$):
   • Rispondibile: Se l'evidenza è sufficiente per rispondere alla domanda originale, il processo termina e l'insieme corrente diventa il prompt compresso finale.
   • Non Rispondibile: Se l'evidenza è insufficiente, l'LLM identifica la specifica lacuna informativa e genera una domanda di follow-up mirata.
4. Accumulo Iterativo: La domanda di follow-up generata funge da nuova query per recuperare e filtrare ulteriori evidenze. Questo ciclo si ripete finché la domanda non viene ritenuta rispondibile o viene raggiunto un limite massimo di iterazioni, costruendo progressivamente un prompt compatto e orientato al ragionamento.

Contributi Chiave

• Ciclo di Ragionamento Iterativo: Il documento introduce un framework che incorpora esplicitamente il ragionamento multi-hop nel processo di compressione, andando oltre il semplice matching della rilevanza a query singola per gestire passaggi di ragionamento interdipendenti.
• Design Privo di Addestramento: IterCOMP opera senza addestramento o fine-tuning del modello di compressione, affidandosi invece alle capacità di ragionamento intrinseche degli LLM pre-addestrati per il giudizio e la generazione di domande.
• Filtraggio a Doppio Aspetto: Il metodo combina segnali semantici e lessicali per garantire sia una ampia rilevanza contestuale che una precisa copertura delle parole chiave, affrontando i limiti della compressione puramente semantica o puramente lessicale.
• Accumulo Dinamico di Evidenze: Utilizzando giudizi di rispondibilità per innescare domande di follow-up mirate, il framework accumula dinamicamente solo l'evidenza critica necessaria, evitando la perdita di informazioni comune nella compressione statica.

Risultati Sperimentali

Gli autori hanno valutato IterCOMP su tre benchmark di multi-hop QA: MuSiQue, 2WikiMultiHopQA e HotpotQA. Il framework è stato confrontato con i migliori baselines di hard prompt compression (es. LLMLingua, LongLLMLingua, R2C) e un baseline di "Documenti Raw".

• Guadagni di Performance: IterCOMP ha ottenuto i punteggi più alti di Exact Match (EM) e F1 in tutti i dataset. Ad esempio, su MuSiQue, ha migliorato il punteggio F1 da 19.92 (Raw Documents) a 27.36, superando significativamente il secondo miglior baseline (R2C) di 4.92 punti.
• Efficienza: Il framework ha ottenuto una riduzione sostanziale dei token (es. una riduzione di 7× su MuSiQue) mantenendo o migliorando l'accuratezza rispetto ai baselines non compressi.
• Robustezza: Sebbene le performance declinino naturalmente all'aumentare della complessità del ragionamento (es. i punteggi F1 su MuSiQue scendono da 30.19 a 2-hop a 20.72 a 4-hop), IterCOMP dimostra robustezza adattando dinamicamente il proprio comportamento. Nello specifico, aumenta il numero medio di iterazioni (da 1.98 a 3.08) ed espande la base di evidenze trattenute (da 228 a 403 token) per supportare meglio le catene di ragionamento più lunghe, mitigando così la gravità del degrado delle prestazioni rispetto ai metodi statici.
• Costo e Velocità: Negli esperimenti con LLM commerciali basati su API (GPT-3.5, GPT-4o, Gemini, Claude), il framework ha ridotto i costi operativi del 75.5%–79.4% e ha accelerato l'inferenza di 1.13× fino a 2.01×.
• Studi di Ablazione: La rimozione della componente di raffinamento iterativo ha causato il calo di performance più significativo, confermando la necessità dell'accumulo di evidenze. Allo stesso modo, la combinazione di scoring semantico e lessicale si è dimostrata superiore all'uso di un solo segnale.

Significato e Rivendicazioni

Il paper sostiene che IterCOMP offra una soluzione robusta e scalabile per applicazioni complesse di multi-documento con LLM, affrontando sia il degrado delle prestazioni nei contesti lunghi che l'onere economico dell'inferenza su larga scala.

Le principali rivendicazioni riguardanti la sua importanza includono:

• Colmare il Divario: IterCOMP colma efficacemente il divario di performance tra gli input di documenti grezzi e le impostazioni "Oracle" ideali (dove vengono forniti solo i documenti d'oro), chiudendo oltre il 50% del divario su HotpotQA.
• Generalità di Applicazione: La sua natura agnostica rispetto al modello e priva di addestramento permette un'integrazione immediata con LLM commerciali black-box dove il fine-tuning è impraticabile.
• Compressione Consapevole del Ragionamento: Il lavoro dimostra che una compressione efficace per il QA multi-hop richiede più del semplice riduzione della lunghezza; necessita di un processo consapevole del ragionamento che identifichi e colmi iterativamente le lacune informative.

Gli autori riconoscono i limiti, notando che l'efficacia del framework dipende dalle capacità di ragionamento dell'LLM sottostante (con il rischio di propagazione dell'errore) e che il design iterativo comporta un carico aggiuntivo rispetto ai metodi a passaggio singolo. Suggeriscono che il lavoro futuro potrebbe concentrarsi sul tuning adattivo degli iperparametri e su schemi di scoring più sofisticati.