Multi-Step Semantic Reasoning in Generative Retrieval

1. Il Problema

Il recupero generativo (Generative Retrieval - GR) è un paradigma emergente in cui i modelli apprendono a codificare l'intero corpus all'interno dei propri parametri e generano direttamente gli identificatori dei documenti (docid) pertinenti per una data query, eliminando la necessità di pipeline di indicizzazione e recupero separate.

Tuttavia, i modelli GR esistenti mostrano limitazioni significative quando affrontano query complesse in contesti numerici, come quelle presenti nel dataset FinQA (domande finanziarie su report complessi). Le sfide principali sono:

• Mancanza di ragionamento esplicito: I modelli GR tendono a trattare il recupero come un'operazione "black-box" in un singolo passaggio in avanti, senza passaggi di ragionamento interpretabili.
• Addestramento superficiale: La maggior parte dei modelli viene addestrata con la Massima Verosimiglianza (MLE) su coppie query-documento a livello superficiale, il che non favorisce lo sviluppo di capacità di ragionamento logico multi-step o di aggregazione di prove disperse.
• Risultati subottimali: Questa carenza porta a una scarsa accuratezza nel recupero di documenti che richiedono l'interpretazione di dati numerici e il ragionamento semantico su report finanziari.

2. Metodologia: ReasonGR

Gli autori propongono ReasonGR, un framework progettato per potenziare le capacità di ragionamento semantico multi-step nei modelli GR. L'architettura e la strategia si basano su tre pilastri fondamentali:

A. Architettura del Modello

• Backbone: Utilizza un'architettura Transformer encoder-decoder (basata su FLAN-T5 base).
• Adattamento Efficiente (LoRA & QLoRA): Per apprendere capacità specifiche di ragionamento senza riaddestrare l'intero modello, vengono inseriti moduli LoRA (Low-Rank Adaptation). Questi congelano i pesi originali ($\theta$) e iniettano matrici a basso rango ($\Delta\theta = AB^T$) addestrabili.
• Quantizzazione: Viene applicata la tecnica QLoRA per quantizzare i pesi del backbone congelato a 4 bit, riducendo drasticamente i costi di memoria e computazione con una perdita minima di prestazioni.

B. Prompting Guidato al Ragionamento

Per guidare il modello verso un'inferenza logica strutturata, viene utilizzata una strategia di prompting combinata:

1. Istruzioni specifiche per il task: Template come "Genera l'ID del documento che risponde alla domanda".
2. Prompting Chain-of-Thought (CoT): Istruzioni aggiuntive che incoraggiano il ragionamento passo-passo (es. "Pensa passo dopo passo", "Spiega il tuo ragionamento prima di rispondere").
   Durante l'addestramento, vengono combinati casualmente diversi template di task e istruzioni CoT per creare prompt diversificati e informativi. L'output atteso include sia i passaggi intermedi di ragionamento che l'ID finale del documento.

C. Obiettivi di Addestramento e Funzione di Perdita

• Compiti di Addestramento:
  1. Memorizzazione del corpus: Apprendimento della mappatura documento-docid (inclusa la segmentazione di tabelle numeriche).
  2. Apprendimento della rilevanza: Generazione di tracce di ragionamento multi-step e dell'ID corretto partendo dalla query. I dati vengono aumentati con pseudo-query generate.
• Adaptive Penalty Scaling Loss: Viene introdotta una funzione di perdita personalizzata che combina segnali di valutazione multipli (Exact Match, Partial Match, Set Match, Structure Score). Un fattore di penalità scala la Cross-Entropy per enfatizzare gli errori su docid incompleti o errati, fornendo supervisione più granulare rispetto alla semplice MLE.

3. Contributi Chiave

• Framework ReasonGR: La prima proposta di un sistema GR che integra esplicitamente il ragionamento semantico multi-step per contesti numerici complessi.
• Strategia di Prompting Ibrida: L'uso combinato di istruzioni task-specific e Chain-of-Thought per guidare l'inferenza del modello.
• Efficienza Computazionale: L'integrazione di LoRA e QLoRA permette di adattare modelli di grandi dimensioni a compiti di ragionamento intensivo mantenendo bassi i requisiti di memoria e i parametri addestrabili.
• Nuova Funzione di Perdita: L'uso di una perdita adattiva che considera la struttura e la parzialità della corrispondenza, migliorando la qualità della generazione sequenziale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset FinQA (8.281 campioni) confrontando ReasonGR con baseline tradizionali (BM25) e metodi GR esistenti (DSI).

• Accuratezza: ReasonGR supera costantemente sia BM25 che DSI su tutte le metriche (Exact Match - EM, Partial Match - PM, Set Match - SM).
  • Il modello completo ReasonGR ottiene il punteggio più alto su PM (0.762) e SM (0.779) nel test set, migliorando anche l'EM rispetto a BM25 (0.626 vs 0.625).
  • Le varianti senza prompting (ReasonGR Zero) o solo CoT (ReasonGR CoT) performano peggio del modello completo, dimostrando che la combinazione di strategie di prompting è cruciale.
• Efficienza di Addestramento:
  • L'uso di CoT aumenta il tempo di addestramento e riduce il throughput (a causa di sequenze di input/output più lunghe), ma offre migliori capacità di ragionamento.
  • ReasonGR (Zero) è il più veloce ma meno accurato.
  • L'uso di LoRA/QLoRA mantiene l'uso di memoria GPU stabile (circa 654 MiB per il modello) indipendentemente dalla variante, mentre la memoria di training varia in base alla complessità del prompt.

5. Significato e Conclusioni

Il lavoro dimostra che l'integrazione di prompting guidato al ragionamento e adattamento efficiente dei parametri può colmare il divario tra il recupero generativo e compiti che richiedono inferenza complessa.

• Impatto: ReasonGR rende i modelli GR praticabili per domini ad alta complessità come quello finanziario, dove la precisione numerica e la logica sono essenziali.
• Limitazioni: Il modello è limitato dalla dimensione del backbone (FLAN-T5 base) e dal limite di token di input (512), che potrebbe essere insufficiente per documenti molto lunghi o per un ragionamento CoT profondo.
• Prospettive Future: Gli autori suggeriscono l'uso di modelli più grandi, architetture decoder-only, e la separazione dei compiti di ragionamento e recupero tramite testine di classificazione dedicate.

In sintesi, ReasonGR rappresenta un passo avanti significativo verso sistemi di recupero generativo capaci non solo di "trovare" documenti, ma di "ragionare" sui contenuti per rispondere a query complesse.