Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

Sintesi Tecnica: L'apprendimento automatico basato sui dati non può raggiungere il livello del ragionamento logico simbolico – Il limite della Legge di Scalabilità (Scaling Law)

Problematica
Il documento affronta una questione fondamentale riguardante i limiti dell'apprendimento automatico basato sui dati: i sistemi supervisionati possono raggiungere il rigore del ragionamento logico di livello simbolico (nello specifico, il sillogismo aristotelico) esclusivamente attraverso la scalabilità dei dati di addestramento e del tempo di calcolo? Sebbene i recenti progressi nei Large Language Models (LLM) e nel deep learning abbiano dimostrato capacità impressionanti in vari domini, la loro capacità di eseguire un rigoroso ragionamento deduttivo fuori distribuzione (out-of-distribution) rimane non provata. Gli autori mettono a confronto questi approcci basati sui dati con le Sphere Neural Networks (SphNN), che raggiungono il ragionamento di livello simbolico attraverso una costruzione esplicita del modello senza dati di addestramento, ponendo la domanda se le leggi di scalabilità possano colmare il divario tra il riconoscimento statistico di pattern e la necessità logica.

Metodologia
Il documento impiega una combinazione di analisi teorica ed esperimenti empirici per investigare due paradigmi primari di ragionamento sillogistico supervisionato:

1. Apprendimento Supervisionato con Input Immagine: Gli autori analizzano "Euler Net", una rete di deep learning convoluzionale che tratta il ragionamento sillogistico come un problema di riconoscimento di immagini utilizzando diagrammi di Eulero. Estendono questo approccio a "Super Euler Net" (SupEN), un sistema automatizzato capace di generare nuovi dati di addestramento per identificare e correggere gli errori di ragionamento.
2. Apprendimento Supervisionato con Input Simbolico (LLM): Lo studio valuta l'ultima generazione di modelli di OpenAI (GPT-5 e GPT-5-nano) su compiti di ragionamento sillogistico.
3. Disegno Sperimentale:
   • Test di Esaurimento dei Dati: Sono stati condotti esperimenti per determinare se l'aumento dei dati di addestramento potesse distinguere tutte le 24 forme valide di sillogismi aristotelici o esaurire gli input "non intenzionali" (ad esempio, cerchi parziali).
   • Variazioni della Forma Superficiale: Gli LLM sono stati testati su quattro schemi lessicali superficiali: parole dotate di significato, parole doppie, simboli semplici e simboli casuali lunghi.
   • Metriche di Valutazione: Oltre alla precisione decisionale standard, gli autori hanno introdotto una metrica più rigorosa per il ragionamento di livello simbolico: il requisito di avere sia una decisione corretta che una giustificazione corretta.

Contributi Chiave e Risultati

• Ostacolo Metodologico 1: Indistinguibilità delle Forme Valide tramite i Dati di Addestramento
  Gli autori dimostrano che i soli dati di addestramento non possono distinguere tutte le 24 forme valide del ragionamento sillogistico aristotelico. In sistemi basati su immagini come Euler Net, la tabella di combinazione mappa le premesse alle conclusioni in base alle relazioni tra insiemi. Tuttavia, diversi sillogismi validi (ad esempio, Barbara rispetto a Barbari) possono condividere configurazioni di premesse identiche ma richiedere conclusioni differenti. L'apprendimento statistico su questi input risulta in un intervallo di prestazioni dal 50% al 100% tra i vari tipi validi, fallendo nel raggiungere la determinazione richiesta dalla logica simbolica.

• Ostacolo Metodologico 2: Obiettivi Contraddittori nell'Apprendimento End-to-End
  Il documento identifica un conflitto fondamentale nelle architetture di apprendimento supervisionato end-to-end. La componente di riconoscimento dei pattern (ad esempio, reti Siamese) è addestrata per riconoscere il "tutto" a partire dalle parti (una caratteristica desiderabile nella visione artificiale), mentre la componente di ragionamento logico deve aderire rigorosamente alle informazioni presenti nelle premesse senza "allucinare" nuovi oggetti. Gli autori mostrano come le reti con input di immagini spesso "completino" gli input parziali (ad esempio, inferendo un cerchio completo da un semicerchio) per soddisfare il riconoscimento dei pattern, portando a conclusioni logicamente invalide che la componente di ragionamento non è in grado di rilevare o correggere.

• Risultati Empirici su Scalabilità e Generalizzazione

  • Esperimenti SupEN: Anche con un ciclo automatizzato di generazione di nuovi dati di addestramento e ri-addestramento, l'accuratezza di SupEN su dati di test generati casualmente si è stabilizzata a circa il 97,8%, mentre su un dataset che copriva tutti i 24 tipi validi ha raggiunto solo il 76% di accuratezza complessiva. Crucialmente, il sistema non è riuscito ad esaurire gli input non intenzionali; la generazione di nuovi dati di addestramento per coprire un tipo di input non intenzionale creava inevitabilmente nuovi pattern non intenzionali non addestrati.
  • Esperimenti LLM: Sebbene GPT-5 e GPT-5-nano abbiano raggiunto una precisione decisionale quasi perfetta (fino al 100%) su benchmark, hanno spesso prodotto spiegazioni errate o incoerenti. Ad esempio, GPT-5 ha ottenuto un'accuratezza decisionale del 100% su simboli casuali lunghi, ma ha fornito giustificazioni errate per il 25% di quelle decisioni corrette. Gli autori sostengono che l'addestramento empirico termina tipicamente una volta massimizzata l'accuratezza decisionale, rimuovendo la pressione a correggere i difetti di ragionamento sottostanti.

• Analisi delle Caratteristiche Latenti: Gli esperimenti hanno rivelato che Euler Net non impara necessariamente relazioni geometriche astratte. Quando il colore dei cerchi di input è stato alterato, l'accuratezza è scesa significativamente (all'8,1%), suggerendo che la rete si affida a specifiche correlazioni a livello di pixel piuttosto che a una logica spaziale astratta.

Significato e Rivendicazioni
Il documento sostiene che i sistemi di apprendimento automatico supervisionato, sia essi addestrati su input simbolici o basati su immagini, non possono essere garantiti nel raggiungere il rigore del ragionamento sillogistico simbolico solo attraverso la scalabilità. Gli autori postulano che la "Legge di Scalabilità" possiede un confine fondamentale: l'aumento di dati e computazione non può risolvere i deficit metodologici in cui le regolarità statistiche non riescono a catturare la necessità logica.

La significatività di questo lavoro risiede nell'identificazione di un "confine fondamentale" per il ragionamento basato sui dati. Suggerisce che il raggiungimento di un ragionamento logico sofisticato richieda di andare oltre il paradigma del puro apprendimento statistico e dei dati di addestramento, rendendo potenzialmente necessario l'uso di una costruzione esplicita del modello o di approcci ibridi (come le SphNN) che non dipendano dall'assunto che più dati portino a una capacità logica infinita. Il documento conclude che, senza affrontare il conflitto tra riconoscimento dei pattern e deduzione logica, i sistemi supervisionati rimarranno incapaci di garantire la correttezza dei loro processi di ragionamento, in particolare per gli input fuori distribuzione.