💬 NLP

Explanation Generation for Contradiction Reconciliation with LLMs

Questo studio introduce il compito di generare spiegazioni riconciliatorie per risolvere contraddizioni tramite LLM, proponendo un nuovo metodo di valutazione e rivelando che, nonostante i progressi, la maggior parte dei modelli attuali fatica a ipotizzare spiegazioni che rendano compatibili affermazioni apparentemente in contrasto.

Autori originali: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Pubblicato 2026-03-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧩 Il Gioco del "Ma come può essere vero?"

Immagina di essere a una festa e due amici ti dicono cose che sembrano andare contro il senso comune:

Amico A: "Marco odia il caffè."
Amico B: "Marco compra il caffè ogni giorno."

Un computer "stupido" o un vecchio sistema logico direbbe: "Errore! Una di queste due cose deve essere falsa. O Marco odia il caffè, o non lo compra." Sarebbe come un arbitro che fischia un fallo perché le regole sembrano violate.

Ma gli esseri umani sono più furbi. Noi non buttiamo subito via una delle due informazioni. Pensiamo: "Aspetta, forse Marco compra il caffè per i suoi colleghi perché è l'unico che ha la macchina, anche se lui non lo beve!"

Questo processo di trovare una spiegazione che fa combaciare i due pezzi del puzzle è quello che gli umani fanno naturalmente. Il paper di Jason Chan e colleghi si chiede: "I moderni Intelligenze Artificiali (LLM) sanno fare lo stesso?"

🤖 La Sfida: Non scegliere, ma spiegare

Fino a poco tempo fa, gli scienziati chiedevano alle IA: "Chi ha ragione? Chi ha torto?".
Questo paper introduce un nuovo gioco: "Genera una spiegazione che renda vere entrambe le cose."

Hanno chiamato questo compito REG (Generazione di Spiegazioni Riconciliatorie). È come chiedere a un detective di trovare un movente o un contesto nascosto che renda logica una situazione apparentemente assurda.

🧪 Come hanno fatto l'esperimento?

Il Campione di Gioco: Hanno preso un vecchio database di frasi dove gli umani avevano già litigato su cosa fosse vero o falso (chiamato ChaosNLI). Invece di scartare le frasi dove gli umani non erano d'accordo, hanno detto: "Ecco! Qui c'è il mistero da risolvere".
La Prova: Hanno preso 18 modelli di intelligenza artificiale (dai piccoli ai giganti come GPT-5 e Llama) e hanno detto: "Ecco due frasi che sembrano in conflitto. Scrivimi una frase che le renda compatibili".
Il Giudice: Per vedere se la spiegazione era buona, hanno usato altri modelli IA come "giudici". Se il giudice diceva: "Ok, con questa nuova spiegazione, le due frasi originali hanno senso", allora il modello aveva vinto il punto.

🔍 Cosa hanno scoperto? (I Risultati Sorprendenti)

Ecco le scoperte principali, spiegate con metafore:

I Giganti non sono sempre i più saggi: I modelli più grandi e costosi (come GPT-5) sono andati meglio, ma non di un'infinità. Molti modelli "open source" (gratuiti) sono stati quasi alla pari.
Il "Pensare" non sempre aiuta: Alcuni modelli moderni hanno una modalità "ragionamento" (come se pensassero ad alta voce prima di rispondere).
- Metafora: Immagina di chiedere a uno studente di risolvere un problema matematico. A volte, farlo ragionare ad alta voce lo aiuta. Altre volte, però, si perde nei suoi stessi pensieri e sbaglia di più.
- Risultato: Per i modelli di dimensioni medie, il "pensare" ha aiutato. Per i modelli giganti, il vantaggio si è fermato (ha raggiunto un "soffitto"). Sembrava che avessero già tutto il sapere necessario, ma non sapevano come usarlo per creare una spiegazione creativa.
Il problema della "Cattiva Spiegazione": Molti modelli hanno fallito non perché non sapessero la risposta, ma perché scrivevano spiegazioni che non avevano senso o che contraddicevano di nuovo la prima frase. Era come se il detective dicesse: "Il colpevole è il maggiordomo... perché il maggiordomo non esiste".

💡 Perché è importante?

Immagina un assistente virtuale che parla con te. Se tu dici: "Mi piace la pizza, ma non mangio mai carboidrati", un assistente che cerca solo di "correggerti" ti direbbe: "Hai sbagliato, non puoi amare la pizza".
Un assistente che sa riconciliare ti direbbe: "Forse ti piace il sapore della pizza ma mangi solo la salsa, o forse mangi solo la pizza senza impasto!"

Questo paper ci dice che:

Le IA attuali sono brave a trovare errori, ma poco brave a trovare soluzioni creative quando le informazioni si scontrano.
Per renderle più umane (e utili in medicina, legge o conversazioni quotidiane), dobbiamo insegnar loro a non essere solo "arbitri" severi, ma "mediatori" creativi.

In sintesi

Il paper ci dice che le Intelligenze Artificiali sono ancora un po' rigide. Sanno dire "A e B non possono stare insieme", ma faticano a dire "A e B stanno insieme perché...". È un passo fondamentale per rendere le macchine non solo più intelligenti, ma anche più comprensive e utili nella vita reale.

1. Il Problema: Dalla Risoluzione alla Riconciliazione

La ricerca attuale nel campo dell'NLP (Natural Language Processing) tende a trattare le contraddizioni tra affermazioni come errori da risolvere selezionando quale affermazione accettare e quale scartare (arbitrato). Tuttavia, il ragionamento umano in contesti sociali, professionali e scientifici si basa spesso sulla capacità di ipotizzare spiegazioni che rendano compatibili affermazioni apparentemente contraddittorie (ragionamento abduttivo).

Ad esempio, le frasi "Cassie odia il caffè" e "Compra caffè ogni giorno" sembrano contraddittorie, ma possono essere riconciliate ipotizzando che Cassie compri il caffè per i colleghi. Nonostante le crescenti capacità di ragionamento dei Large Language Models (LLM), la loro abilità nel generare spiegazioni riconciliatorie rimane poco esplorata. La maggior parte degli studi si concentra sulla rilevazione delle conflittualità o sulla scelta della verità, trascurando la generazione di contesti che risolvano il paradosso.

2. Metodologia

Definizione del Task: Reconciliatory Explanation Generation (REG)

Gli autori definiscono un nuovo task in cui un modello ( $M_{expl}$ ) deve generare una spiegazione ( $e$ ) per una coppia Premessa ( $p$ ) e Ipotesi ( $h$ ) che un modello giudice ( $M_{NLI}$ ) ha inizialmente classificato come contraddittoria.
Per essere considerata di successo, la spiegazione deve soddisfare due criteri formali:

Efficacia (Effectiveness): Quando la premessa e la spiegazione sono combinate ( $p + e$ ), l'ipotesi $h$ deve essere considerata un'entailment (conseguenza logica) dal modello giudice.
Coerenza (Coherence): La spiegazione $e$ non deve contraddire la premessa $p$ (né viceversa).

Curation del Dataset (REG Dataset)

Invece di creare nuovi dati da zero, gli autori hanno proposto un framework scalabile per riutilizzare dataset NLI esistenti, in particolare ChaosNLI (una sottoinsieme di MultiNLI riannotato).

Logica: Sfruttano le discrepanze nelle annotazioni umane come una "feature" e non un bug. Selezionano solo le istanze etichettate come "contraddizione" dalla maggioranza degli annotatori, ma che non hanno un accordo unanime (es. 70% contraddizione, 30% altro).
Vantaggio: Questo approccio permette di valutare la capacità di riconciliazione senza richiedere nuove annotazioni umane costose, trattando le discrepanze umane come casi in cui una spiegazione mancante potrebbe rendere le affermazioni compatibili.

Valutazione Automatica Scalabile

Il paper introduce metriche automatiche basate su modelli NLI (LLM giudici) per valutare le spiegazioni generate.

Metriche: Si calcolano tassi di Efficacia, Coerenza e Successo Globale (entrambi i criteri soddisfatti).
Robustezza: Per evitare bias, vengono utilizzati 9 diversi modelli NLI come giudici. Gli autori hanno anche condotto esperimenti di controllo (shuffling delle spiegazioni) per dimostrare che i giudici rifiutano correttamente spiegazioni irrilevanti.

Sperimentazione

Sono stati testati 18 modelli LLM (inclusi Qwen3, Llama-3, Olmo, DeepSeek-R1 e modelli proprietari OpenAI come gpt-5) in modalità "Non-thinking" (output diretto) e "Thinking" (con catena di pensiero).

3. Risultati Chiave

Prestazioni Generali: La maggior parte dei modelli ottiene risultati limitati nel task. Sebbene siano capaci di generare spiegazioni coerenti (che non contraddicono la premessa), faticano a generare spiegazioni efficaci che rendano l'ipotesi una conseguenza logica.
Modelli Proprietari vs Open-Weight: I modelli proprietari (gpt-5-mini e gpt-5.2) hanno superato significativamente i modelli open-weight. Il modello migliore in assoluto è stato gpt-5-mini con un tasso di successo globale del 40.25%, mentre il miglior modello open-weight (Llama-3.3-70B) ha raggiunto il 26.20%.
L'Effetto del "Thinking" (Ragionamento Esplicito):
- Contrariamente alle aspettative, l'attivazione della modalità "thinking" (catena di pensiero) non ha sempre migliorato le prestazioni.
- Per i modelli di dimensione media (es. Qwen3-4B, 8B), il thinking ha migliorato significativamente l'efficacia.
- Per i modelli più grandi, i benefici del thinking si sono appiattiti (plateau) o sono diminuiti. I modelli più grandi sembrano avere già la capacità di recuperare le informazioni necessarie, ma sono limitati nella loro capacità di utilizzarle per generare spiegazioni di successo.
- Per i modelli più piccoli (es. Qwen3-0.6B), il thinking ha addirittura peggiorato le prestazioni, suggerendo che le catene di ragionamento forzate possono destabilizzare modelli con pochi parametri.
Correlazione con la Difficoltà Umana: È stata trovata una correlazione negativa debole ma significativa tra la percentuale di annotatori umani che etichettano una coppia come contraddizione e il tasso di successo dei modelli nel generarne una spiegazione. Più gli umani trovano difficile riconciliare le frasi, più i modelli falliscono.

4. Contributi Principali

Nuovo Task (REG): Introduzione della "Generazione di Spiegazioni Riconciliatorie" come nuovo benchmark per valutare il ragionamento abduttivo degli LLM, un'area finora trascurata.
Framework di Curation dei Dati: Un metodo scalabile per trasformare dataset NLI esistenti (sfruttando le discrepanze umane) in un dataset di valutazione per la riconciliazione, eliminando la necessità di nuove annotazioni umane.
Metriche di Valutazione Automatica: Definizione di metriche basate su giudizi NLI standard (entailment/contradiction) che permettono una valutazione automatica, coerente e riproducibile su larga scala.
Analisi Empirica Estesa: Valutazione di 18 modelli che rivela limiti attuali, in particolare il fatto che aumentare la potenza di calcolo al test-time ("thinking") non garantisce miglioramenti lineari all'aumentare delle dimensioni del modello.

5. Significato e Implicazioni

Questo lavoro evidenzia una dimensione sottoutilizzata del ragionamento degli LLM. La capacità di riconciliare contraddizioni è fondamentale per applicazioni reali come:

Chatbot e Agenti Conversazionali: Per gestire conversazioni dove le informazioni possono essere apparentemente in conflitto senza che l'utente debba essere corretto o ignorato.
Assistenti Scientifici: Per formulare ipotesi che risolvano paradossi osservati nella ricerca (es. dualità onda-particella).
Analisi Legale: Per interpretare clausole contrattuali o statuti in modo armonioso.

I risultati suggeriscono che, nonostante i progressi, gli LLM attuali faticano a simulare il ragionamento abduttivo umano complesso. Inoltre, l'osservazione che il "thinking" non risolve magicamente il problema per i modelli più grandi indica la necessità di nuove strategie di addestramento e architetture che migliorino specificamente la capacità di generare contesti ipotetici coerenti, piuttosto che affidarsi solo all'aumento delle dimensioni o della potenza di calcolo.