Riepilogo Tecnico: GRASP (Ricerca Agente su Grafo basata su Proposizioni)

Enunciato del Problema

La risposta a domande multi-hop (QA) richiede che i modelli raccolgano iterativamente prove per risolvere dipendenze che la sola similarità semantica non può affrontare. Sebbene i recenti sistemi di recupero agenti migliorino l'accuratezza concedendo ai modelli linguistici (LLM) l'autonomia di cercare e ragionare, essi affrontano un collo di bottiglia critico: l'efficienza dei token.

Gli approcci basati su grafi esistenti, come HippoRAG e GeAR, utilizzano grafi della conoscenza (KG) costruiti a partire da triple relazionali (soggetto-relazione-oggetto) per abilitare una navigazione strutturata. Tuttavia, ciò introduce costi significativi:

1. Costo di Indicizzazione: L'estrazione e la costruzione di KG basati su triple sono computazionalmente costose e spesso inaffidabili, degradando talvolta la qualità del recupero al di sotto di un RAG naive.
2. Costo di Inferenza: I sistemi agenti soffrono spesso di un uso cumulativo dei token dovuto a chiamate LLM ripetute, all'espansione delle finestre di contesto e a una navigazione ridondante da parte di agenti paralleli.

I metodi attuali non riescono a ottimizzare congiuntamente alta accuratezza e minimo utilizzo di token sia nella fase di indicizzazione che in quella di inferenza.

Metodologia: GRASP

Gli autori propongono GRASP (Graph Agentic Search over Propositions), un sistema di recupero agente progettato per ottimizzare sia l'accuratezza nella QA che l'efficienza dei token. GRASP opera attraverso tre componenti fondamentali:

1. Costruzione di un Grafo Gerarchico a Tre Livelli

A differenza dei KG basati su triple, GRASP costruisce un grafo $G = (V_E, V_P, V_D, E)$ con tre livelli distinti:

• Livello Entità ($V_E$): Entità tipizzate (es. "Persona", "Luogo") estratte dal testo. Queste fungono da gateway mirati per la navigazione.
• Livello Proposizioni ($V_P$): L'unità fondamentale di recupero. Invece di triple atomiche, il sistema estrae proposizioni naturali atomiche e autosufficienti (es. "La Lepre di Pasqua fu registrata nel sud-ovest della Germania nel 1678").
• Livello Passaggi ($V_D$): I documenti sorgente originali collegati alle loro proposizioni costituenti.

Processo di Estrazione: Entità e proposizioni vengono estratte congiuntamente in una singola chiamata LLM. Le entità sono collegate alle loro proposizioni sorgente tramite riferimenti di indice, formando gli archi del grafo. Questo evita la compressione con perdita di contesto in triple relazionali.

2. Pipeline di Inferenza Basata sulla Pianificazione

GRASP scompone domande complesse multi-hop in piani consapevoli delle dipendenze:

• Pianificatore: Un modulo genera una bozza di ragionamento in linguaggio naturale e una sequenza ordinata di sotto-domande. Crucialmente, utilizza segnaposto numerici (es. #1) per riferirsi esplicitamente alle risposte delle sotto-domande precedenti, rispecchiando la struttura di dipendenza di dataset come MuSiQue.
• Esecuzione del Sub-Agente: Ogni sotto-domanda è gestita da un sub-agente indipendente. L'agente mantiene uno stato di osservazione compatto ($O_i$) anziché un intero storico conversazionale, limitando la crescita del contesto.
  • Ricerca Ibrida: L'agente riformula la sotto-domanda in una dichiarazione di ricerca dichiarativa e in una lista di parole chiave. Esegue una ricerca ibrida (vettore denso + BM25) sul livello delle proposizioni per recuperare entità candidate.
  • Punteggio RankVote: Le proposizioni recuperate vengono aggregate alle entità candidate. Per il recupero dei passaggi, il sistema utilizza RankVote, un meccanismo di voto a rango reciproco che assegna un punteggio ai passaggi in base ai ranghi delle loro proposizioni costituenti, dando priorità al contesto altamente rilevante.
  • Raffinamento Iterativo: L'agente valuta se le prove sono sufficienti. In caso contrario, riscrive la dichiarazione di ricerca e riprende la navigazione (fino a un limite), evitando una rilettura ridondante delle prove.

3. Metrica Economia del Successo

Il paper introduce l'Economia del Successo ($C_w$), una metrica ispirata alla teoria dell'informazione per valutare l'efficienza. Essa ammortizza il costo totale dei token sulle risposte corrette ponderate per la difficoltà:
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
dove $w_i = -\log_2(r_i)$ è la sorpresa (auto-informazione) di una risposta corretta, stimata sollecitando l'LLM di base più volte. Questo penalizza lo spreco di token e premia la risoluzione efficiente di domande difficili.

Contributi Chiave

1. Sistema GRASP: Un sistema di recupero agente potenziato da grafi che ottimizza congiuntamente accuratezza ed efficienza dei token, valutato in modo competitivo sia in contesti di recupero open-retrieval che di contesto esteso.
2. Indicizzazione basata su Proposizioni: Un nuovo grafo gerarchico a tre livelli che utilizza le proposizioni come unità fondamentale di recupero. Gli autori dimostrano che ciò ottiene un richiamo dei passaggi superiore rispetto ai grafi basati su triple (HippoRAG2) utilizzando 69% in meno di token per l'indicizzazione.
3. Inferenza Compartimentalizzata: Una pipeline basata sulla pianificazione con sub-agenti isolati che compartimentalizzano il contesto sia tra i passaggi che all'interno dell'esecuzione del singolo agente, prevenendo una crescita illimitata del contesto.
4. Economia del Successo: Una nuova metrica di valutazione che promuove una valutazione consapevole dell'efficienza nella QA agente, andando oltre i benchmark basati solo sull'accuratezza.

Risultati Sperimentali

GRASP è stato valutato su MuSiQue, 2WikiMultihopQA e HotpotQA in due configurazioni:

Configurazione di Recupero Open-Corpus

• Prestazioni: GRASP ha ottenuto i punteggi più alti in Exact Match (EM), F1 e Judge su MuSiQue e 2Wiki, superando IRCoT+HippoRAG2.
• Efficienza: Ha utilizzato 40–50% in meno di token rispetto a IRCoT+HippoRAG2 ottenendo al contempo un'accuratezza superiore. Su HotpotQA, sebbene IRCoT+HippoRAG2 avesse un'accuratezza leggermente superiore, lo ha fatto con un costo in token superiore di oltre 2 volte.
• Qualità del Recupero: Nel recupero agente simulato, GRASP ha raggiunto un richiamo di 0,904 rispetto allo 0,817 di HippoRAG2, validando le proposizioni come unità di recupero superiore.

Configurazione Contesto Esteso (LongBench)

• Prestazioni: GRASP ha guidato in EM e F1 su tutti e tre i dataset. Su 2Wiki, ha migliorato l'EM di 12 punti rispetto a GraphReader utilizzando circa il 70% del costo in token.
• Efficienza: GRASP ha utilizzato 30% in meno di token rispetto al metodo successivo più accurato (GraphReader) mantenendo punteggi Judge competitivi o superiori.
• Ablazione: La rimozione del grafo delle proposizioni o del livello di selezione delle entità ha degradato significativamente le prestazioni o aumentato l'uso di token, confermando la necessità della struttura a tre livelli.

Significato e Affermazioni

Il paper afferma che GRASP si colloca sulla frontiera di Pareto per i compromessi accuratezza-costo nella QA multi-hop. Trattando l'efficienza dei token come un obiettivo di progettazione di primo piano insieme all'accuratezza, GRASP affronta la tensione fondamentale nei sistemi agenti in cui la profondità del ragionamento porta tipicamente a una crescita esponenziale dei token.

Gli autori sottolineano che:

• Le proposizioni sono superiori alle triple: Preservano le sfumature semantiche perse nell'estrazione di triple e fungono da unità più discriminative per il recupero basato su embedding.
• La decomposizione strutturata è vitale: La decomposizione basata sulla pianificazione associata al recupero strutturato (il grafo) è più efficace dell'intercalare il recupero con la catena di pensiero (chain-of-thought) da sola.
• L'efficienza è un requisito standard: L'introduzione dell'"Economia del Successo" promuove l'adozione di una valutazione consapevole dell'efficienza come pratica standard dalla comunità, riconoscendo che il costo di inferenza scala direttamente con la complessità del ragionamento.

Il lavoro suggerisce che i miglioramenti futuri potrebbero concentrarsi sul raffinare l'accuratezza della decomposizione del pianificatore (attualmente un collo di bottiglia per domande a 3 e 4 passaggi) tramite fine-tuning supervisionato o apprendimento per rinforzo, ma l'architettura attuale dimostra già un salto significativo nel bilanciare prestazioni e costi.