Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Riepilogo Tecnico: Derivation Prompting per la Generazione Aumentata dal Recupero

Enunciato del Problema
Sebbene i Modelli Linguistici su Larga Scala (LLM) abbiano fatto avanzare il Rispondere alle Domande (QA), rimangono soggetti ad allucinazioni e ragionamenti errati, in particolare in compiti intensivi di conoscenza e specifici di dominio. Il framework di Generazione Aumentata dal Recupero (RAG) tenta di mitigare questo problema radicando la generazione del modello nei documenti recuperati. Tuttavia, le tecniche esistenti di potenziamento del ragionamento, come Chain-of-Thought (CoT) e Tree of Thoughts (ToT), mancano di vincoli espliciti su come vengono costruiti i passaggi intermedi del ragionamento. Questa assenza di una metodologia sistematica permette ai modelli di generare percorsi di ragionamento non controllati, portando a logiche difettose e allucinazioni anche quando viene fornito un contesto.

Metodologia: Derivation Prompting
Gli autori propongono il Derivation Prompting, una tecnica innovativa per il passaggio di generazione del framework RAG, ispirata alle derivazioni logiche nella logica proposizionale. Invece di generare una risposta in forma libera, il metodo costruisce un "albero di derivazione" strutturato in cui una conclusione viene sistematicamente inferita da un insieme di ipotesi iniziali (frammenti di documenti recuperati) utilizzando regole predefinite.

• Meccanismo Principale: Il processo tratta i frammenti recuperati come un insieme di ipotesi $\{h_1, \dots, h_n\}$. All'LLM viene chiesto di applicare un insieme di regole in linguaggio naturale per trasformare o combinare queste ipotesi al fine di derivare una conclusione $c$ che risponda alla query $q$.
• Insieme di Regole: Il metodo utilizza un insieme specifico di regole definite in linguaggio naturale, tra cui:
  • Extract: Isolare una parte specifica di un'ipotesi.
  • Concat: Combinare ipotesi indipendenti.
  • Instantiate: Generalizzare un'ipotesi a un caso particolare.
  • Compose: Unire ipotesi che condividono un elemento comune.
  • Refine: Adattare un'ipotesi per adattarsi alla query senza alterarne la semantica.
  • NoInfo: Dichiarare esplicitamente quando le ipotesi mancano delle informazioni necessarie.
• Esecuzione Algoritmica: Il processo è iterativo. L'LLM decide quale regola applicare, seleziona le ipotesi pertinenti e genera una nuova conclusione. Se la conclusione non è la risposta finale, viene aggiunta all'elenco delle ipotesi per i passaggi successivi.
• Strategie di Implementazione: Gli autori hanno valutato due approcci di implementazione:
  1. Prompt a singolo passaggio: Isolare ogni applicazione di regola come una chiamata LLM indipendente.
  2. Prompt di derivazione completa: Utilizzare una strategia Few-Shot per guidare l'LLM nella costruzione dell'intero albero di derivazione in una singola chiamata di inferenza.
     Lo studio ha rilevato che il prompt di derivazione completa è significativamente più efficiente dal punto di vista computazionale (sostituendo $n$ inferenze con una) pur producendo risultati comparabili.

Caso di Studio e Valutazione
Il metodo è stato valutato in un dominio specifico: le informazioni amministrative della Scuola di Ingegneria dell'Universidad de la República (Uruguay).

• Dataset: 135 query reali degli utenti derivate da email storiche, elaborate per rimuovere i dati personali.
• Baseline: Lo studio ha confrontato il Derivation Prompting con:
  • RAG standard (utilizzando Cross-Encoder per il recupero).
  • Approcci con finestre di contesto lunghe (alimentando documenti completi direttamente al modello).
• Modelli: Gli esperimenti hanno utilizzato la famiglia Claude 3 di Anthropic (Haiku e Opus).
• Metrica di Valutazione: Una valutazione automatizzata che utilizza Claude Opus come giudice, assegnando un punteggio alle risposte su una scala da 1 a 5 basata su una rubrica che distingue tra "inaccettabile" (contraddittorio/falso, punteggi 1–2) e "accettabile" (non contraddittorio, punteggi 3–5).

Risultati
Gli esperimenti hanno dimostrato che il Derivation Prompting migliora significativamente la precisione dei sistemi RAG:

• Riduzione delle risposte inaccettabili: Il Derivation Prompting con Claude Opus ha ottenuto 89,6% di risposte accettabili, rispetto al 77,8% del RAG standard e al 76,3% dei metodi a contesto lungo. Ciò rappresenta una sostanziale riduzione delle allucinazioni e delle informazioni contraddittorie.
• Precisione vs Richiamo: Sebbene il metodo abbia drasticamente ridotto gli errori (punteggi 1 e 2), non ha necessariamente aumentato il numero di risposte altamente dettagliate (punteggi 4 e 5). In molti casi in cui altri metodi fallivano con allucinazioni, il Derivation Prompting ha correttamente identificato una mancanza di informazioni (punteggio 3) tramite la regola NoInfo.
• Dipendenza dal Modello: L'efficacia del metodo è correlata alla capacità del modello. Mentre Claude Opus ha mostrato prestazioni robuste, il modello più piccolo Claude Haiku ha mostrato una diminuzione delle risposte di alta qualità (punteggi 4 e 5) nonostante la riduzione degli errori, suggerendo che la costruzione di derivazioni valide richiede una significativa capacità del modello.
• Interpretabilità: Una scoperta chiave è che l'albero di derivazione è interpretabile. Quando si verificano errori, questi possono essere tracciati fino ad applicazioni specifiche di regole (ad esempio, un'allucinazione durante un passaggio Refine), permettendo agli utenti di identificare il ragionamento difettoso invece di ricevere semplicemente una risposta sbagliata.

Significato e Affermazioni
Il documento afferma che il Derivation Prompting offre un'alternativa controllata e interpretabile alle tecniche di ragionamento esistenti. Costringendo il processo di generazione attraverso una sequenza di regole logiche predefinite, il metodo vincola la libertà del modello di allucinare, garantendo che le risposte rimangano radicate nei documenti recuperati. Gli autori sottolineano che, sebbene il metodo migliori la precisione e riduca gli output inaccettabili, il suo successo è condizionato alla capacità dell'LLM sottostante di comprendere e applicare efficacemente la logica basata su regole. Il lavoro suggerisce che questo approccio basato sulla logica può essere generalizzato ad altri scenari RAG e potenzialmente a compiti non RAG, purché vengano definiti insiemi di regole appropriati.