Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

Riepilogo Tecnico: Modelli Ibridi per il Ragionamento Linguistico Naturale

Enunciato del Problema
Nonostante i significativi progressi nei modelli neurali, la loro capacità di generalizzare rimane un collo di bottiglia critico per le applicazioni di ragionamento logico. La letteratura corrente spesso confonde due aspetti distinti della generalizzazione: composizionalità e ricorsività.

• La composizionalità è definita qui non come la costruzione "dal basso verso l'alto" standard del significato, ma come una capacità analitica "dall'alto verso il basso": la capacità di estrarre regole logiche atomiche da strutture complesse e applicarle a componenti più semplici.
• La ricorsività è la capacità di costruire rappresentazioni complesse attraverso l'applicazione iterativa di un insieme finito di regole (ad esempio, estendere una catena transitiva).

Gli autori sostengono che, sebbene i modelli possano essere ricorsivi (elaborando catene lunghe mimando pattern superficiali), spesso mancano di una vera composizionalità (comprensione della combinazione strutturale dei singoli collegamenti). Questa carenza impedisce un ragionamento logico robusto, in particolare quando i modelli addestrati su inferenze complesse non riescono a identificare i componenti più semplici sottostanti.

Metodologia
Per indagare queste capacità, gli autori utilizzano la logica sillogistica come benchmark controllato. Questo frammento del ragionamento linguistico naturale è espressivo abbastanza da essere non banale, ma computazionalmente trattabile, a differenza della logica del primo ordine completa.

1. Quadro Formale: Lo studio adotta un sistema di dimostrazione sillogistica basato su Smiley (1973), caratterizzato da quattro tipi di quantificatori (A, E, I, O) e che consente derivazioni da premesse arbitrarie. Il sistema è dimostrato essere corretto e completo.
2. Componente Simbolica: È stato implementato un dimostratore automatico non deterministico. Esso tenta di derivare un'ipotesi $H$ da una base di conoscenza $KB$ utilizzando:
   • Dimostrazioni dirette basate su regole (banali e basate su regole).
   • Dimostrazione per assurdo (trovare una formula $F$ tale che $KB \cup \{H\} \vdash F$ e $KB \vdash \neg F$).
3. Componente Connessionista: Due Modelli Linguistici su Larga Scala (LLM) pre-addestrati—FLAN-T5-base (encoder-decoder) e GPT-4o-mini (solo decoder)—sono stati fine-tunati su dati sintetici per agire come assistenti. I dati consistono in basi di conoscenza rappresentate come grafi, convertite in linguaggio naturale utilizzando pseudoparole per evitare bias di contenuto.
   • Compito 1 (Selezione delle Premesse): Prevedere un sottoinsieme minimo di premesse $P \subseteq KB$ tale che $P \vdash H$.
   • Compito 2 (Dimostrazione per Assurdo): Prevedere una formula di refutazione $F$ per facilitare una dimostrazione per assurdo.
4. Valutazione della Generalizzazione: Gli autori hanno operazionalizzato composizionalità e ricorsività manipolando gli insiemi di addestramento e test basati sulle lunghezze della catena A (la lunghezza delle inclusioni transitive):
   • Composizionale (COM): Modelli addestrati su catene lunghe testati su catene corte (decomposizione).
   • Ricorsivo (REC): Modelli addestrati su catene corte testati su catene lunghe (costruzione).
   • Complessivo (OVE): Modelli addestrati e testati su tutte le lunghezze.

Principali Contributi

1. Distinzione Empirica: Una dimostrazione rigorosa che gli LLM possiedono una competenza ragionevole nella ricorsività ma faticano significativamente nella composizionalità. I modelli addestrati su inferenze complesse non riescono a generalizzare alle loro parti costitutive più semplici.
2. Vincoli Strutturali: Un risultato teorico secondo cui la generalizzazione nei modelli neurali è vincolata dalla struttura logica. Le prestazioni variano sistematicamente tra i diversi tipi di sillogismo (ad esempio, il Tipo $\tau_2$, l'inferenza più semplice, è padroneggiato, mentre combinazioni complesse come $\tau_1$ e $\tau_5$ rimangono impegnative).
3. Architettura Ibrida: La proposta e la valutazione di un framework neuro-simbolico in cui i componenti neurali assistono un dimostratore simbolico. I modelli neurali riducono lo spazio di ricerca prevedendo premesse candidate e formule di contraddizione, mentre il dimostratore simbolico garantisce completezza e correttezza logica.

Risultati

• Disparità di Generalizzazione: Nel setting Ricorsivo, i modelli hanno performance comparabili alla baseline complessiva, suggerendo che possono estendere i pattern a catene più lunghe. Tuttavia, nel setting Composizionale, le prestazioni sono diminuite sostanzialmente (ad esempio, l'accuratezza di GPT sulla selezione delle premesse è scesa da ~94% in OVE-corto a ~76% in COM).
• Variabilità Dipendente dal Tipo: Le prestazioni dipendevano fortemente dal tipo specifico di sillogismo. Il Tipo $\tau_2$ (singola catena A) ha raggiunto un'accuratezza quasi perfetta in tutti i setting, mentre i tipi che richiedono catene multiple o quantificatori misti hanno mostrato un degrado significativo nei compiti composizionali.
• Analisi degli Errori:
  • Premesse Non Necessarie: I modelli hanno spesso incluso premesse extra che non erano minime ma comunque valide, permettendo al dimostratore simbolico di avere successo.
  • Premesse Falsificate: In casi di vero fallimento, i modelli hanno generato premesse ben formate ma semanticamente scorrette, spesso confondendo tipi di sillogismo con strutture ipotetiche simili (ad esempio, tentando di costruire una dimostrazione $\tau_3$ per un'ipotesi $\tau_1$).
• Efficienza Ibrida: I modelli ibridi hanno ridotto significativamente il costo computazionale del dimostratore simbolico.
  • Il dimostratore simbolico puro richiedeva una media di $\approx 10^{5.7}$ passaggi.
  • I modelli ibridi con assistenti Complessivi o Ricorsivi hanno ridotto questo valore a $\approx 10^{2.4}$ passaggi (una riduzione di tre ordini di grandezza).
  • Anche con assistenti Composizionali (che avevano un'accuratezza inferiore), il sistema ibrido è rimasto robusto, richiedendo solo leggermente più passaggi ($\approx 10^{2.7}$ a $10^{3.1}$) rispetto agli assistenti migliori, senza compromettere la correttezza o la completezza della dimostrazione finale.

Significato e Affermazioni
Il paper afferma che le limitazioni osservate nel ragionamento neurale non sono meramente una questione di scala, ma derivano da un'incapacità fondamentale di eseguire la decomposizione strutturale (composizionalità) rispetto alla ripetizione di pattern (ricorsività). Gli autori ipotizzano che i meccanismi di attenzione dei transformer possano supportare naturalmente quest'ultima ma non la prima.

Il significato del lavoro risiede nel dimostrare che i modelli ibridi offrono una strada percorribile. Sfruttando le reti neurali per la riduzione efficiente dello spazio di ricerca e il ragionamento simbolico per le garanzie logiche, è possibile superare le barriere di generalizzazione dei sistemi puramente neurali. Lo studio suggerisce che questo approccio modulare è essenziale per sviluppare dimostratori logici affidabili, anche quando i componenti neurali sono imperfetti o addestrati su dati limitati. Gli autori concludono che, sebbene la logica sillogistica sia un frammento semplice, rivela già confini non banali per la generalizzazione neurale, motivando ulteriori ricerche su frammenti logici più ricchi e sulle ragioni strutturali alla base dell'apprendibilità.