Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

Titolo: Il ragionamento come riconoscimento di pattern: Meccanismi condivisi nel ragionamento quotidiano umano e negli LLM

Problema
La visione prevalente nella scienza cognitiva e nella sicurezza dell'IA postula che il ragionamento umano si basi su "modelli del mondo" astratti e strutturati che preservano la struttura causale, la composizionalità e l'indipendenza tra ruolo e riempitivo. Al contrario, i Large Language Models (LLM) vengono spesso criticati per la loro incapacità di generalizzare o per i loro errori casuali, portando alla conclusione che essi eseguano semplicemente un "riconoscimento di pattern" superficiale basato su associazioni statistiche piuttosto che un vero ragionamento. Tuttavia, anche il ragionamento umano è noto per essere altamente sensibile al contenuto ed è incline ad errori che violano la rigorosa composizionalità logica (ad esempio, il compito di selezione di Wason o il fenomeno "798 è meno pari"). Questo articolo indaga se i fallimenti del ragionamento osservati negli LLM siano unici della loro architettura o se riflettano un meccanismo cognitivo condiviso con gli esseri umani. Nello specifico, gli autori si chiedono: il ragionamento causale quotidiano in esseri umani e LLM è meglio spiegato da modelli del mondo astratti o da una forma di riconoscimento di pattern dipendente dal contesto?

Metodologia
Lo studio impiega un approccio multi-prospetto che combina esperimenti comportamentali con esseri umani e LLM, seguiti da un'analisi di interpretabilità meccanicistica.

1. Valutazione Comportamentale:

   • Partecipanti: 142 partecipanti umani e 25 LLM (inclusi modelli open-source come Gemma e Llama, e modelli proprietari come GPT-4.1 e DeepSeek-R1).
   • Task: Un compito di ragionamento causale modulare che coinvolge 11 categorie di scenari quotidiani (es. geocentrico-vicino, egocentrico-distante, stato-segue, azione-non segue).
   • Design: I prompt sono stati presentati in due formulazioni: target (inferire un esito dato un effetto) e contesto (inferire una causa dato un esito). Fondamentalmente, lo studio ha incluso coppie a differenza minima in cui cambiavano solo parole di contenuto apparentemente irrilevanti (es. "La zuppa è sul tavolo" rispetto a "Lo stufato è sul tavolo") mentre l'esito causale reale rimaneva identico.
   • Metriche: L'accuratezza umana è stata misurata tramite scelta binaria. L'accuratezza degli LLM è stata misurata tramite differenze di logit tra i token corretti e quelli errati (per i modelli open weights) o correttezza binaria (per i modelli API).

2. Interpretabilità Meccanicistica:

   • Modello: L'attenzione è stata focalizzata su gemma-2-27b-it a causa del suo forte allineamento con i modelli comportamentali umani.
   • Identificazione Causale: Gli autori hanno eseguito esperimenti di ablazione per identificare i top-$k$ head di attenzione più causalmente responsabili degli output del modello (ovvero gli head la cui rimozione ha causato la maggiore variazione nelle differenze di logit).
   • Patching delle Attivazioni: Per determinare a quali informazioni questi head prestano attenzione, gli autori hanno applicato il patching delle attivazioni da prompt "critici" (dove il contenuto cambia l'esito reale) e prompt "non critici" (dove il contenuto cambia ma l'esito rimane lo stesso) nel prompt base.
   • Predizione: L'entropia di questi head di attenzione causalmente critici è stata utilizzata come feature per predire l'accuratezza umana su prompt e scenari non utilizzati nel training (held-out).

Risultati Chiave

1. Profili di Fallimento Condivisi: Sia gli esseri umani che gli LLM hanno mostrato un'"accuratezza graduata", dove le prestazioni sono risultate altamente sensibili a piccoli cambiamenti superficiali nel contenuto del prompt.

   • Umani e LLM sono stati più accurati su relazioni geocentriche che coinvolgono riferimenti distanti (es. città) rispetto a oggetti vicini (es. quadri), e più accurati su relazioni egocentriche per oggetti vicini rispetto a quelli distanti.
   • Alterazioni minori ai prompt (es. cambiare "zuppa" in "stufato" in uno scenario in cui il fornello è acceso) hanno indotto stati di errore ("fail states") simili in entrambi i gruppi, anche quando l'esito logico era invariato.
   • Gli LLM con maggiore accuratezza complessiva (es. DeepSeek-R1) non erano necessariamente più simili agli umani; in alcuni casi, modelli più piccoli (come Gemma-3-27b-it) si allineavano meglio con i pattern di errore umani.

2. Meccanismo delle Risposte degli LLM:

   • Sensibilità al Contenuto: Il patching delle attivazioni ha rivelato che i top-$k$ head di attenzione causalmente importanti erano significativamente più sensibili alle sostituzioni di contenuto non critiche (es. cambiare "quadro" in "statua") rispetto alle modifiche strutturali critiche (es. cambiare "Nord" in "Sud"). Ciò supporta l'ipotesi che questi head implementino una forma di riconoscimento di pattern basata sul contenuto superficiale piuttosto che su una struttura causale astratta.
   • Predizione degli Errori Umani: L'entropia di questi specifici head di attenzione ha predetto con successo l'accuratezza umana. Un modello lineare utilizzando queste attivazioni degli head ha spiegato una varianza significativa nelle risposte umane ($R^2 \approx 0,65$ per i prompt di test) anche dopo aver controllato per categoria, formato del prompt e frequenza di n-grammi.
   • Scenari a Differenza Minima: In una valutazione di follow-up con 96 prompt differenti solo per una parola di contenuto, le attivazioni di questi head di riconoscimento di pattern hanno predetto l'accuratezza umana con alta fedeltà, spiegando fino al 76% della varianza.

Contributi Principali

• Allineamento Empirico: Il documento fornisce una prova robusta del fatto che i fallimenti del ragionamento umano e degli LLM non sono fenomeni distinti, ma condividono un profilo comune di sensibilità al contenuto e fragilità.
• Spiegazione Meccanicistica: Il lavoro va oltre la correlazione comportamentale per identificare il circuito specifico (un sottoinsieme di head di attenzione) negli LLM che guida questi comportamenti.
• Riformulazione del Ragionamento: Gli autori dimostrano che il meccanismo di "riconoscimento di pattern", spesso liquidato come un fallimento degli LLM, è in realtà lo stesso meccanismo che permette loro di prevedere gli errori umani. Ciò suggerisce che il ragionamento umano stesso possa fare affidamento pesantemente sul riconoscimento di pattern piuttosto che su modelli del mondo puramente astratti.

Significatività e Rivendicazioni
L'articolo sostiene che la distinzione tra "ragionamento" (modelli del mondo astratti) e "riconoscimento di pattern" (associazioni superficiali) possa essere una falsa dicotomia per il ragionamento causale quotidiano. Gli autori affermano che:

1. Il Ragionamento Umano è Dipendente dal Contesto: Il ragionamento umano non è completamente composizionale o astratto; è profondamente influenzato dal contenuto specifico e dal contesto di un problema. Gli "stati di errore" visti negli LLM non sono evidenza di una mancanza di intelligenza, ma un riflesso di come la cognizione umana operi effettivamente.
2. Gli LLM come Strumento per la Scienza Cognitiva: Poiché gli LLM permettono la manipolazione causale dei propri meccanismi interni (a differenza degli umani), essi fungono da strumento unico per l'ingegneria inversa della cognizione umana. Il fatto che gli head di attenzione degli LLM possano predire gli errori umani suggerisce che la "disordinatezza" del ragionamento umano sia una caratteristica, non un difetto, probabilmente evoluta per gestire la natura aperta e ricca di contesto dei problemi del mondo reale.
3. Il Riconoscimento di Pattern come Meccanismo Valido: Lo studio postula che il riconoscimento di pattern non sia semplicemente un ripiego o un'euristica superficiale, ma un modo fondamentale con cui le reti neurali (sia biologiche che artificiali) risolvono i problemi. La capacità di tracciare dettagli "apparentemente irrilevanti" può essere adattiva in contesti naturalistici in cui le entità specifiche coinvolte (es. un certo tipo di cibo o una specifica città) portano informazioni contestuali implicite che modelli astratti rigidi potrebbero scartare.

Gli autori concludono che il ragionare su scenari causali quotidiani è, sia per gli esseri umani che per gli LLM, una forma di riconoscimento di pattern che è altamente sensibile all'intero contenuto di un prompt, piuttosto che un processo guidato esclusivamente da modelli del mondo astratti e preservanti della struttura.