Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering

Il paper presenta CGD-PD, un metodo di decoding guidato dalla coerenza che risolve le incongruenze di negazione e le incertezze epistemiche nelle domande logiche a tre vie, ottenendo significativi miglioramenti di accuratezza su LLM all'avanguardia tramite un processo di disambiguazione basato su prove.

L'essenziale

Immagina di avere un assistente molto intelligente, ma a volte un po' confuso e troppo timido. Questo assistente è un Modello Linguistico (LLM), come quelli che usiamo oggi per scrivere email o rispondere a domande.

Il problema che gli autori di questo articolo hanno scoperto è che, quando si tratta di logica pura, questo assistente fa due errori ricorrenti:

1. Si contraddice: Se gli chiedi "È vero che il gatto è sul tavolo?" e lui dice "Sì", se poi gli chiedi "È vero che il gatto non è sul tavolo?", potrebbe dirti "Sì" anche a questa seconda domanda. È come se avesse due voci nella testa che non si ascoltano a vicenda.
2. È troppo timido (l'errore "Non lo so"): Anche quando ha tutte le informazioni per dare una risposta certa, spesso risponde "Non lo so" (Unknown) per paura di sbagliare. È come un studente che, pur sapendo la risposta, alza la mano e dice "Non so" perché ha paura di essere sgridato.

La Soluzione: Il "Detective Logico" (CGD-PD)

Gli autori hanno creato un piccolo "strato" di intelligenza artificiale chiamato CGD-PD. Non è un nuovo cervello, ma piuttosto un regista o un detective che lavora dopo che l'assistente ha dato la sua prima risposta, ma prima di dirti la risposta finale.

Ecco come funziona, usando una metafora semplice:

1. La Doppia Domanda (Il Test di Coerenza)

Immagina di chiedere al tuo assistente: "Il gatto è sul tavolo?".
L'assistente risponde.
Immediatamente, il "Detective" (CGD-PD) gli fa una seconda domanda, quasi come un trucco: "Quindi, il gatto NON è sul tavolo?".

• Se le risposte sono coerenti: (Es. "Sì" alla prima e "No" alla seconda), il Detective dice: "Perfetto, tutto a posto!".
• Se le risposte si contraddicono: (Es. "Sì" alla prima e "Sì" alla seconda), il Detective si ferma. Sa che c'è un errore. Usa una regola semplice: "Se è vero che il gatto è sul tavolo, allora è falso che non ci sia". Corregge la risposta per farla tornare logica.

2. Il "Scommettitore" (Disambiguazione Guidata dalla Prova)

Cosa succede se l'assistente risponde "Non lo so" a entrambe le domande?
Invece di arrendersi, il Detective non si accontenta. Fa un passo avanti e chiede: "Ma sei sicuro al 100% che non ci siano prove?".

Invece di chiedere una spiegazione lunga e complessa, il Detective fa domande sì/no molto specifiche (come un interrogatorio da detective):

• "Dalle informazioni che ho, è possibile dedurre che il gatto è sul tavolo? Sì o No?"
• "È possibile dedurre che il gatto non è sul tavolo? Sì o No?"

Spesso, quando si chiede una risposta binaria (Sì/No) invece di una scelta complessa, l'assistente si sblocca e trova la prova che gli mancava. Se il Detective scopre che la risposta è "Sì" per una delle due, allora forza l'assistente a dare una risposta certa, eliminando il timido "Non lo so".

Perché è importante?

Immagina di dover prendere una decisione importante, come un giudice in una corte.

• Senza il Detective: Il giudice potrebbe dire "Non so" per metà dei casi, anche quando le prove sono chiare, o potrebbe emettere sentenze contraddittorie se gli chiedi la stessa cosa in modo diverso.
• Con il Detective: Il giudice controlla due volte, assicura che le sue risposte siano logiche tra loro e, se ha dubbi, fa domande più precise per trovare la verità.

I Risultati

Gli autori hanno provato questo metodo su un banco di prove molto difficile (chiamato FOLIO) usando due dei modelli più potenti al mondo (GPT-5.2 e Claude Sonnet).
I risultati sono stati sorprendenti:

• Meno errori: L'accuratezza è aumentata notevolmente (fino al 16% in più in alcuni casi).
• Meno "Non lo so": Il modello ha smesso di essere timido quando aveva le prove per rispondere.
• Costo basso: Tutto questo è stato fatto con pochissime "domande extra" (in media 4 o 5 chiamate al modello invece di 1), quindi è veloce ed economico.

In sintesi

Questo articolo ci dice che non serve sempre costruire un'intelligenza artificiale più grande e complessa per ragionare meglio. A volte, basta un piccolo "controllo di qualità" che:

1. Chiede la stessa cosa in due modi diversi per vedere se l'assistente si contraddice.
2. Insiste per trovare una risposta certa quando l'assistente è solo insicuro.

È come dare un piccolo promemoria a un amico intelligente: "Ehi, aspetta, se dici questo, allora non puoi dire anche quello. E se non sei sicuro, controlla di nuovo i fatti prima di dire 'non lo so'!".

Sommario tecnico

Titolo: Decodifica Guidata dalla Coerenza con Disambiguazione Basata su Prove per il QA Logico a Tre Vie

1. Il Problema: Incoerenza e "Unknown" Epistemico

Il lavoro si concentra sul Question Answering (QA) logico a tre vie, dove un modello deve assegnare a un'ipotesi $H$, dato un insieme di premesse $S$, una delle tre etichette: Vero, Falso o Sconosciuto (Unknown).

• Definizione:
  • Vero: $S \models H$ (S implica H).
  • Falso: $S \models \neg H$ (S implica la negazione di H).
  • Sconosciuto: Né $H$ né $\neg H$ sono implicati da $S$ (sottospecificazione logica).

Gli autori identificano due modalità di fallimento ricorrenti nei moderni Large Language Models (LLM) su questo compito:

1. Incoerenza di Negazione: I modelli trattano $H$ e la sua negazione meccanica $\neg H$ come input indipendenti. Di conseguenza, possono restituire etichette incompatibili (es. Vero per $H$ e Vero per $\neg H$), violando la mappatura deterministica logica dove se $H$ è Vero, $\neg H$ deve essere Falso.
2. Unknown Epistemico: Il modello predice "Sconosciuto" non perché la logica lo richieda (mancanza di prove), ma a causa di incertezza, instabilità o cautela eccessiva. Questo riduce l'accuratezza e la copertura del modello, mascherando un'incapacità di decidere quando una risposta è logicamente deducibile.

2. Metodologia: CGD-PD

Gli autori propongono CGD-PD (Consistency-Guided Decoding with Proof-Driven Disambiguation), un "wrapper" leggero applicato a tempo di test (inference-time) che non richiede riaddestramento del modello. Il metodo sfrutta la ridondanza logica tra $H$ e $\neg H$ per correggere gli errori.

Il processo segue questi passaggi algoritmici:

1. Sondaggio Duale (Dual Probing):

   • Il modello viene interrogato due volte: una su $H$ e una su una versione meccanicamente negata $\neg H$.
   • Se le risposte sono coerenti (es. $H \to$ Vero, $\neg H \to$ Falso) e almeno una è decisiva, la risposta viene accettata.

2. Correzione Mirata dello "Sconosciuto" (Targeted Unknown Fixing):

   • Se una delle due risposte è "Sconosciuto", viene attivato un prompt specifico ("FixUnknown") che chiede al modello di produrre un'etichetta decisiva (Vero/Falso) supportata da una "testimonianza" (una citazione delle premesse) o di confermare che manca una premessa specifica.
   • Se una parte diventa decisiva e l'altra rimane "Sconosciuto", la parte "Sconosciuta" viene risolta applicando la mappatura di negazione (es. se $H$ è Vero, allora $\neg H$ diventa Falso).

3. Disambiguazione Guidata da Prove (Proof-Driven Disambiguation):

   • Se entrambe le risposte rimangono "Sconosciuto" dopo il passo precedente, il sistema invoca sonde binarie di entailment (domande Sì/No: "S implica H?" e "S implica $\neg H$?").
   • Le sonde binarie sono meno propense a usare l'etichetta "Sconosciuto" rispetto alla classificazione a tre vie.
   • Regola decisionale: Se (Sì, No) $\to$ Vero; Se (No, Sì) $\to$ Falso; altrimenti si mantiene "Sconosciuto".

4. Adjudicazione (Adjudication):

   • Se entrambe le risposte sono decisive ma incoerenti (es. entrambe Vero), un prompt di "giudice" leggero sceglie l'assegnazione coerente basata sulla logica.

Costo Computazionale: Il metodo richiede in media 4-5 chiamate al modello per esempio (rispetto a 1 chiamata per il baseline), rendendolo fattibile per scenari dove l'affidabilità è prioritaria.

3. Contributi Chiave

1. Identificazione e Quantificazione: Isolano e misurano due fallimenti specifici nei QA logici a tre vie: l'incoerenza di negazione e l'Unknown epistemico, utilizzando le annotazioni formali del benchmark FOLIO.
2. Introduzione di CGD-PD: Progettano un wrapper test-time implementabile che:
   • Impone vincoli di coerenza logica (negazione).
   • Risolve selettivamente gli "Sconosciuti" tramite sonde binarie mirate.
   • È "training-free" e applicabile a modelli black-box.
3. Analisi Empirica: Forniscono una chiara evidenza su dove e quando il metodo migliora le prestazioni, dimostrando che i guadagni derivano principalmente dalla risoluzione di casi in cui il modello avrebbe dovuto rispondere Vero/Falso ma ha scelto "Sconosciuto".

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark FOLIO (campo delle formule di logica del primo ordine - FOL), utilizzando due modelli LLM all'avanguardia: GPT-5.2 e Claude Sonnet 4.5.

• Miglioramento dell'Accuratezza:
  • GPT-5.2: +4.4 punti percentuali (da 63.7% a 68.1%).
  • Claude Sonnet 4.5: +6.9 punti percentuali (da 42.2% a 49.0%).
• Riduzione degli "Sconosciuti":
  • Il tasso di previsioni "Unknown" è diminuito significativamente (es. -16.7 punti per Claude).
  • La riduzione è dovuta principalmente alla diminuzione dell'Unknown Epistemico (casi in cui la risposta corretta era Vero o Falso).
• Analisi della Copertura:
  • Su Claude, la copertura (percentuale di risposte non "Sconosciuto") è passata dal 24.5% al 41.2%, con un lieve aumento dell'accuratezza sulle risposte fornite. Questo conferma che molti "Sconosciuti" originali erano dovuti a incertezza del modello e non a vera ambiguità logica.

5. Significato e Impatto

• Efficienza Logica: Il lavoro dimostra che imporre una struttura logica minima (la coerenza di negazione) a tempo di inferenza può migliorare significativamente le prestazioni senza bisogno di architetture complesse o riaddestramento.
• Complementarietà: CGD-PD non sostituisce metodi come la "Self-Consistency" (campionamento multiplo dello stesso prompt), ma affronta un asse complementare: l'accoppiamento logico tra prompt correlati ($H$ e $\neg H$).
• Applicabilità: Il metodo è ideale per applicazioni ad alto rischio o strumenti educativi dove la riduzione dell'astensione ingiustificata ("Sconosciuto") e l'aumento della coerenza logica sono cruciali.
• Limitazioni: Non è un risolutore logico completo; può ancora commettere errori su casi genuinamente sottospecificati o se le sonde binarie falliscono. Aumenta il costo computazionale (circa 4-5x), il che lo rende meno adatto a scenari con vincoli di latenza stretti.

In sintesi, CGD-PD offre una soluzione pratica ed elegante per rendere i LLM più robusti e affidabili nel ragionamento logico formale, trasformando l'incertezza epistemica in decisioni logiche coerenti.