Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

1. Il Problema: Allucinazioni da Premesse Falsate

I Large Language Models (LLM) sono eccellenti nel generare risposte fluide e contestualmente appropriate, ma soffrono di un problema critico noto come allucinazione da premessa falsa (False Premise Hallucination).

• Definizione: Si verifica quando una query dell'utente contiene un'assunzione errata o un fatto falso (es. "È sicuro usare la penicillina per curare l'allergia ai crostacei?").
• Il Dilemma: Anche se l'LLM possiede la conoscenza fattuale corretta nella sua memoria interna, tende a "accettare" la premessa falsa implicita nella domanda e genera risposte che confermano l'errore, fornendo dettagli inventati o fuorvianti.
• Limitazioni degli approcci esistenti:
  • Le tecniche di pre-training e fine-tuning sono costose e richiedono grandi quantità di dati.
  • I metodi inference-time (come il contrastive decoding o l'analisi dei logit) spesso agiscono post-hoc (dopo che l'allucinazione è stata generata) o richiedono l'accesso ai pesi interni del modello (white-box), rendendoli inefficienti o incompatibili con modelli black-box.
  • I metodi basati sull'incertezza faticano a rilevare premesse false perché la struttura semantica della domanda rimane normale, cambiando solo pochi token.

2. Metodologia Proposta

Gli autori propongono un framework Retrieval-Augmented Logical Reasoning che mira a prevenire le allucinazioni prima della generazione della risposta, senza modificare i pesi del modello o richiedere l'accesso ai logit. Il processo si articola in tre fasi principali:

A. Conversione in Forma Logica (Logical Form Extraction)

Invece di elaborare la query naturale direttamente, il sistema la trasforma in una forma logica strutturata.

• Un LLM (es. GPT-4o-mini) analizza la query e la converte in una rappresentazione simbolica (es. predicati e entità).
• Esempio: La domanda "È stato nominato Il Signore degli Anelli: Il Ritorno del Re per l'Oscar al miglior regista?" viene convertita in: Nominated("The Lord of the Rings: The Return of the King", "Academy Award for Best Director").
• Questo passaggio estrae le relazioni chiave (soggetto, predicato, oggetto) rendendo più facile il confronto con i fatti.

B. Recupero Strutturato e Verifica (Structured Retrieval & Verification)

Il sistema utilizza una Knowledge Graph (KG) per verificare la validità delle premesse estratte.

• Retriever: Vengono testati diversi approcci per recuperare evidenze dal KG:
  1. Embedding-based: Confronto di similarità semantica tra la forma logica e le triple del grafo.
  2. Non-parametric (G-retriever): Utilizza l'algoritmo Prize-Collecting Steiner Tree per estrarre sottografi rilevanti senza parametri appresi.
  3. LLM-based: Utilizza LLM per valutare l'utilità delle triple.
• Verifica: Il sistema confronta la forma logica della query con le evidenze recuperate. Se esiste una contraddizione (es. la triple nel KG indica che il film non è stato nominato per quella categoria), la query viene contrassegnata come contenente una premessa falsa.

C. Mitigazione dell'Allucinazione (Hallucination Mitigation)

Se viene rilevata una premessa falsa:

1. La query originale viene aggiornata aggiungendo un avviso esplicito: "Note: This question contains a false premise.".
2. L'LLM riceve questa query modificata (con l'avviso) e genera la risposta.
3. Il modello è così istruito a rifiutare l'assunzione errata e correggere il fatto, invece di cercare di rispondere alla domanda come se fosse vera.

3. Contributi Chiave

1. Rappresentazione Logica: Introduzione dell'uso di forme logiche per rappresentare le query, dimostrando che questo approccio migliora sistematicamente la capacità di recupero e verifica rispetto all'uso del testo naturale grezzo.
2. Rilevamento Esplicito: Il metodo non si limita a correggere la risposta, ma rileva attivamente e segnala la presenza di una premessa falsa all'LLM prima della generazione.
3. Indipendenza dal Modello: L'approccio è model-agnostic e funziona con modelli black-box. Non richiede accesso ai logit, né fine-tuning su larga scala, né generazione di risposte multiple per il voto a maggioranza.
4. Efficienza Computazionale: Aggiunge un overhead computazionale minimo (principalmente legato al recupero e alla conversione logica) rispetto ai metodi post-hoc che richiedono decoding contrastivo o generazione multipla.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset principali: KG-FPQ (dominio arte), CREAK (ragionamento sul senso comune) e FEVER (verifica di affermazioni).

• Rilevamento delle Premesse Falsate:

  • L'uso combinato di forme logiche sia nella fase di recupero che in quella di rilevamento ha portato ai migliori risultati.
  • Su KG-FPQ con il retriever G-retriever, il metodo ha raggiunto un F1 Score del 97.12% e un TPR (True Positive Rate) del 94.44%, superando significativamente i baselines che usano solo query originali.
  • I benefici sono particolarmente evidenti nelle domande multi-hop (che richiedono ragionamento su più passaggi), dove la precisione è passata dal 68.7% al 95.2%.

• Mitigazione delle Allucinazioni:

  • Il metodo proposto ha ottenuto la massima accuratezza nella risposta finale su tutti i modelli testati (GPT-4o-mini, GPT-3.5, Llama-3.1, Mistral, Qwen).
  • Su GPT-3.5, l'accuratezza è salita al 94.3% contro il 93.3% del baselines e il 90.5% del RAG diretto.
  • Su Qwen2.5, ha raggiunto il 95.2%.
  • Il metodo supera approcci come Majority Vote (che può amplificare le allucinazioni) e Perplexity AI (che può avere problemi di allineamento con dati strutturati).

• Efficienza:

  • Rispetto al Contrastive Decoding, il metodo proposto è più veloce (+0.6s di tempo di esecuzione vs +10.6s) e utilizza meno token, rendendolo adatto per applicazioni in tempo reale.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo verso l'affidabilità degli LLM in scenari critici (sanità, finanza, diritto).

• Prevenzione vs Correzione: Sposta il paradigma dalla correzione delle allucinazioni dopo la loro generazione alla prevenzione attiva tramite verifica delle premesse.
• Sicurezza: Offre un meccanismo leggero per impedire che i modelli amplifichino disinformazione o narrative dannose basate su assunzioni non verificate.
• Scalabilità: Essendo compatibile con modelli black-box e non richiedendo ri-addestramento, è immediatamente integrabile in pipeline esistenti per migliorare la factualità senza costi infrastrutturali elevati.

In sintesi, l'articolo dimostra che combinare il ragionamento logico simbolico con il recupero di conoscenze esterne (RAG) è una strategia superiore per garantire che gli LLM non "abbiano allucinazioni" quando si trovano di fronte a domande ingannevoli.