Sintesi Tecnica: DocTrace – Memoria a Ipergrafo On-Demand con Consapevolezza Strutturale per il QA su Documenti Lunghi

1. Definizione del Problema

Il Question Answering (QA) su documenti lunghi richiede che i Large Language Models (LLM) ragionino su prove sparse in testi estesi, dove le risposte dipendono spesso dall'ordine degli eventi, dal contesto a livello di sezione e dalle connessioni tra diverse parti. Sebbene il Retrieval-Augmented Generation (RAG) mitighi i limiti di contesto recuperando prove rilevanti, gli approcci esistenti affrontano tre criticità fondamentali:

1. Organizzazione Query-Agnostica Costosa: Gli attuali metodi di RAG strutturato (ad es. riassunti gerarchici o grafi di conoscenza) spesso pre-indicizzano l'intero documento prima che la query sia nota. Ciò comporta una latenza iniziale sostanziale e un overhead di token, generando una conoscenza che può avere un'utilità limitata per query specifiche.
2. Uso Insufficiente della Struttura del Documento: Molti metodi appiattiscono i documenti in chunk, perdendo gli indizi strutturali come i confini delle sezioni, l'ordine dei paragrafi e le relazioni di vicinato locale. Questo indebolisce la preservazione del flusso narrativo e della progressione degli eventi, essenziali per un ragionamento accurato.
3. Mancanza di Riutilizzo del Ragionamento Storico: I sistemi esistenti trattano tipicamente ogni domanda come un'istanza isolata. Una volta risposta una domanda, le traiettorie di ragionamento risultanti vengono scartate, costringendo il sistema a ripetere schemi di esplorazione simili per future domande strutturalmente analoghe.

2. Metodologia: Il Framework DocTrace

DocTrace è un framework RAG multi-agente progettato per affrontare queste limitazioni attraverso l'organizzazione della conoscenza attivata dalla query, il recupero consapevole della struttura del documento e il ragionamento guidato dall'esperienza. Impiega un'architettura Orchestrator-Investigator operante su tre componenti principali:

A. Architettura Orchestrator-Investigator

• Orchestrator ($\omega$): Gestisce il processo di ragionamento globale. Decompone domande complesse in sotto-domande interdipendenti, rappresentate come Grafi Aciclici Diretti (DAG). Coordina la pianificazione, assegna i compiti agli investigatori e sintetizza le risposte finali.
• Agenti Investigator ($\alpha_i$): Eseguono sotto-domande specifiche. Recuperano prove, interagiscono con la memoria di lavoro e generano risposte intermedie.

B. Componenti Core

1. Indice ad Albero Strutturale del Documento ($T$)

Invece di una lista piatta di chunk, DocTrace rappresenta il documento come un albero gerarchico ($T$) con nodi a quattro livelli: documento, capitolo, sezione e paragrafo.

• Costruzione: Utilizza un LLM per inferire i pattern dei titoli e analizzare il documento, supportato da Named Entity Recognition (NER).
• Recupero (TreePPR): Quando sorge una sotto-domanda, il sistema utilizza il Personalized PageRank (TreePPR) sull'albero. Questo propaga i punteggi di rilevanza dai nodi seme rispettando i confini strutturali del documento e le relazioni tra fratelli (sibling), garantendo che le prove recuperate mantengano il flusso narrativo e il contesto strutturale.

2. Memoria di Lavoro Strutturata a Ipergrafo ($M$)

Questa è una memoria attivata dalla query e condivisa tra gli agenti, costruita on-demand durante il ragionamento. Consiste in due viste complementari:

• Vista di Astrazione ($M_A$): Organizza riassunti gerarchici multi-livello sui nodi dell'albero selezionati. Supporta la risposta a sotto-domande in cui le prove sono troppo ampie per una lettura diretta, permettendo agli agenti di approfondire dai riassunti al testo originale.
• Vista di Relazione ($M_R$): Memorizza relazioni $n$-arie ed entità estratte solo dai nodi dell'albero rilevanti per la sotto-domanda corrente. Questo supporta il ragionamento relazionale multi-hop senza costruire un grafo di conoscenza globale.
• Meccanismo: $M$ viene costruito incrementalmente in base alle esigenze di evidenza specifiche di ogni sotto-domanda, evitando il costo di pre-indicizzare l'intero documento.

3. Memoria di Esperienza Strutturata a Grafo ($D_M$)

Per abilitare l'apprendimento dalle interazioni passate, i piani di ragionamento di successo (DAG) vengono memorizzati in una memoria a grafo eterogeneo.

• Schema: I nodi includono scheletri di domande, DAG di ragionamento, firme (entità tematiche, vincoli) e motivi di ragionamento (reasoning motifs).
• Recupero e Riutilizzo: Quando arriva una nuova domanda, l'orchestratore recupera DAG di ragionamento strutturalmente simili da $D_M$. Questi piani recuperati fungono da esempi few-shot per inizializzare nuovi percorsi di ragionamento, consentendo al sistema di riutilizzare schemi di decomposizione di successo invece di ricominciare da zero.

3. Contributi Chiave

1. Organizzazione della Conoscenza Attivata dalla Query: DocTrace elimina la necessità di costose pre-indicizzazioni eliminando la necessità di pre-indicizzare l'intero documento, costruendo una Memoria di Lavoro strutturata a Ipergrafo ($M$) incrementalmente, guidata dalle esigenze di evidenza specifiche di ogni sotto-domanda.
2. Recupero Consapevole della Struttura del Documento: Utilizzando un Indice ad Albero Strutturale del Documento ($T$) e il TreePPR, il framework sfrutta gli indizi strutturali (gerarchia, ordine) insieme alla similarità semantica per recuperare prove che preservano il flusso narrativo del documento.
3. Riutilizzo dell'Esperienza di Ragionamento: Il sistema modella e memorizza esplicitamente le traiettorie di ragionamento di successo come DAG in una Memoria di Esperienza a Grafo ($D_M$), consentendo il riutilizzo dei pattern di ragionamento per future domande strutturalmente simili.
4. Efficienza ed Efficacia: Il framework raggiunge prestazioni allo stato dell'arte riducendo significativamente i costi computazionali rispetto ai baseline ibridi strutturati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset di QA su documenti lunghi: NarrativeQA, EN.QA, EN.MC e DetectiveQA.

• Performance: Doctrace ha ottenuto le migliori prestazioni su tre dei quattro dataset.
  • Su NarrativeQA, ha superato il baseline più forte (ComoRAG) dell'8,85% in F1 e del 4,40% in Exact Match (EM).
  • Su EN.MC, si è classificato secondo, superando ComoRAG dell'1,82% in Accuratezza (ACC) nella variante senza apprendimento online.
• Efficienza: DocTrace ha ridotto il costo computazionale complessivo del 53,32% rispetto a ComoRAG. Questo guadagno di efficienza è attribuito all'evitare la pre-indicizzazione dell'intero documento e alla costruzione on-demand della memoria.
• Studi di Ablazione: La rimozione della capacità di pianificazione dell'orchestratore o della memoria di lavoro ($M$) ha portato a cali significativi delle prestazioni (ad esempio, un calo del 5,11% in F1 su EN.QA senza pianificazione), confermando la necessità della decomposizione strutturata e della memoria on-demand.
• Robustezza del Backbone: DocTrace ha superato costantemente il prompting diretto In-Context Learning (IO) attraverso vari backbone di LLM (GPT-4o-mini, Qwen3, DeepSeek), con guadagni medi del 23,59% in F1 e del 35,37% in ACC.

5. Significato e Rivendicazioni

Il paper sostiene che DocTrace rappresenti un passaggio dalle strutture di conoscenza statiche e pre-calcolate a sistemi di ragionamento dinamici e on-demand. La sua importanza risiede nel dimostrare che:

• Un QA di alta qualità su documenti lunghi non richiede una costosa pre-indicizzazione query-agnostica dell'intero documento.
• Preservare l'originale gerarchia del documento è critico per i compiti di ragionamento che coinvolgono l'ordine degli eventi e il flusso narrativo.
• Riutilizzare le traiettorie di ragionamento storiche può guidare efficacementamente l'esplorazione di domande complesse e multi-step, migliorando sia l'accuratezza che l'efficienza.

Gli autori osservano che il sistema è attualmente focalizzato su documenti testuali e si affida a chiamate LLM per la pianificazione e la generazione. Il lavoro futuro suggerisce di esplorare il ragionamento multimodale e design di agenti più leggeri per migliorare ulteriormente l'efficienza.