Conflict-Aware Fusion: Mitigating Logic Inertia in Large Language Models via Structured Cognitive Priors

Titolo: Fusione Consapevole del Conflitto: Mitigazione dell'Inerzia Logica nei Modelli Linguistici di Grande Dimensione tramite Priors Cognitivi Strutturati

1. Il Problema: Inerzia Logica e Fragilità Strutturale

Il paper identifica una vulnerabilità critica nei moderni Modelli Linguistici di Grande Dimensione (LLM) quando applicati al ragionamento su sistemi basati su regole. Sebbene i modelli eccellano su compiti standard, la loro affidabilità crolla di fronte a perturbazioni strutturali deliberate.

• Inerzia Logica (Logic Inertia): Gli autori definiscono questo fenomeno come la tendenza dei modelli a persistere lungo traiettorie deduttive apprese, ignorando fatti fondamentali o premesse contraddittorie. In presenza di contraddizioni esplicite, i modelli continuano a dedurre conclusioni errate con alta confidenza, portando a un crollo totale delle prestazioni (accuratezza di 0.0000).
• Limiti delle valutazioni attuali: Le valutazioni esistenti spesso confondono la competenza linguistica con la robustezza logica, fallendo nel diagnosticare come i modelli reagiscono alla rimozione di regole essenziali, all'iniezione di contraddizioni o alla ridondanza delle prove.
• Asimmetria della Robustezza: I modelli mostrano stabilità sotto riscritture semantiche (che preservano la logica), ma falliscono sistematicamente quando la coerenza logica delle premesse viene violata.

2. Metodologia: Framework di Valutazione e Architettura

Per affrontare questo problema, gli autori propongono un approccio in due fasi: un framework di valutazione controllato e una nuova architettura di ragionamento.

A. Framework di Valutazione Strutturale (Benchmark)
È stato creato un benchmark diagnostico basato su un unico sistema canonico di regole, soggetto a quattro tipi di perturbazioni controllate:

1. Cancellazione di Regole: Rimozione di regole ridondanti vs. essenziali (per testare la dipendenza dalle premesse critiche).
2. Iniezione di Contraddizioni: Introduzione di fatti esplicitamente contraddittori per verificare la capacità di rilevare l'inconsistenza.
3. Riscritture che Preservano la Logica: Verifica dell'invarianza sotto riformulazioni semantiche.
4. Accumulo di Leggi Multipla: Test della robustezza compositiva con interazioni di regole complesse.
   Nota: In caso di contraddizione nelle premesse, il ragionamento è considerato logicamente invalido e tutte le query associate devono essere etichettate come "False".

B. Architettura: Conflict-Aware Fusion (Fusion-Conflict)
La soluzione proposta si basa sull'Ipotesi della Struttura Cognitiva, che postula che un ragionamento robusto richieda una separazione esplicita tra la verifica delle premesse e l'esecuzione deduttiva.

• Architettura a Doppio Processo: Il modello adotta un flusso di pensiero (Chain-of-Thought) strutturato in due fasi distinte:
  • Fase 1 (Sistema 2): Verifica esplicita della coerenza logica e completezza delle premesse. Se viene rilevata una contraddizione, il processo si interrompe ("Halt").
  • Fase 2 (Sistema 1): Applicazione delle regole deduttive solo se la verifica è passata con successo.
• Pipeline di Ottimizzazione Strutturata:
  1. SFT Strutturale (Supervised Fine-Tuning): Addestramento su un dataset bilanciato (11.200 istanze) che impone un preambolo obbligatorio ("Step 1: Verifica i fatti") prima di qualsiasi deduzione.
  2. Allineamento Logico tramite DPO (Direct Preference Optimization): Utilizzo di coppie di preferenza per penalizzare le traiettorie in cui il modello continua a dedurre nonostante le contraddizioni, rinforzando la scelta di fermarsi ("Halt") quando la logica non è valida.

3. Risultati Chiave

Gli esperimenti sono stati condotti su famiglie di modelli rappresentativi (BERT, Qwen2, TinyLlama).

• Baseline: I modelli standard ottengono un'accuratezza del 100% sui compiti base, ma crollano a 0.0000 in presenza di contraddizioni (Variant 3) e mostrano un calo drastico (fino a ~0.25) quando vengono rimosse regole essenziali (Variant 2).
• Performance di Fusion-Conflict:
  • Raggiunge un'accuratezza del 1.0000 sia sui compiti base che sui test di contraddizione, eliminando completamente l'inerzia logica.
  • Migliora significativamente la robustezza alla rimozione di regole essenziali (Variant 2), recuperando prestazioni superiori rispetto a tutte le altre metodologie (SFT puro, CoT standard, Data Augmentation).
  • Confronto con altre tecniche: Mentre metodi come "Mixed-Aug" (aumento dati) o "RA-CoT" (CoT standard) migliorano parzialmente la rilevazione delle contraddizioni, spesso soffrono di "eccessivo conservatorismo" (rifiutano tutto) o non generalizzano bene. Fusion-Conflict risolve questo compromesso.
• Validazione Fuori Distribuzione (OOD): Il modello, addestrato su dati sintetici strutturati, è stato testato su dataset reali come LogicNLI e MNLI. Ha mostrato un'accuratezza superiore (98.2% su LogicNLI, 89.4% su MNLI Contraddizioni) rispetto alle baseline, dimostrando che il bias strutturale appreso si trasferisce al linguaggio naturale complesso.

4. Contributi Principali

1. Benchmark Diagnostico: Introduzione di un framework di valutazione che disgiunge gli effetti di ridondanza, incompletezza e contraddizione, permettendo una misurazione precisa della robustezza strutturale.
2. Formalizzazione dell'Inerzia Logica: Identificazione e definizione di un fallimento sistematico nei LLM attuali, dove la "forza" della catena inferenziale appresa sovrasta la validità delle premesse.
3. Framework Fusion-Conflict: Dimostrazione che l'integrazione di meccanismi espliciti di verifica delle premesse (tramite un'architettura a doppio processo e ottimizzazione DPO) trasforma il comportamento del modello, rendendolo capace di ragionamento verificabile e resistente alle contraddizioni.

5. Significato e Implicazioni

Il lavoro sfida l'assunto prevalente secondo cui la semplice scalatura dei dati e delle dimensioni del modello porterà a un ragionamento affidabile.

• Processo > Dati: Suggerisce che la prossima frontiera del ragionamento artificiale dipende dall'integrazione di meccanismi di verifica strutturale che forzano la coerenza logica prima dell'inferenza, piuttosto che solo durante l'addestramento su grandi volumi di dati.
• Sicurezza e Affidabilità: Per applicazioni ad alto rischio (analisi legale, scoperta scientifica, decisioni automatizzate), la capacità di un sistema di riconoscere quando le regole non si applicano o sono contraddittorie è fondamentale.
• Prospettiva Futura: L'approccio offre un blueprint per costruire sistemi AI "consapevoli dei dubbi" (doubt-aware), che non si limitano a completare pattern superficiali, ma applicano una disciplina di verifica strutturale per garantire inferenze logicamente valide.