Riepilogo Tecnico: Generazione di Ipotesi e Inferenza Induttiva in Bambini e Modelli Linguistici

Enunciato del Problema

Il processo decisionale nel mondo reale richiede la costruzione di modelli mentali in condizioni di incertezza riguardo alle prove, alle regole causali sottostanti e allo stato stesso del mondo. Una sfida centrale nelle scienze cognitive e nella robotica è identificare i principi computazionali che permettono agli agenti di scoprire teorie coerenti in queste condizioni. Nello specifico, vi è una scarsità di framework sperimentali che varino sistematicamente le fonti interagenti di incertezza tra diversi sistemi (umani vs artificiali) per confrontare i meccanismi di inferenza.

Questo articolo affronta la questione modellando l'inferenza induttiva nel Compito della Scatola, un dominio di risoluzione di enigmi fisici originariamente progettato per studiare come bambini di 7–10 anni rispondano a istruzioni fuorvianti in condizioni di incertezza. Il compito consiste nell'aprire cinque scatole chiuse a chiave utilizzando tredici chiavi entro un limite di tempo. La regola vera (corrispondere il numero di forme su una scatola al numero di una chiave) è latente, mentre i bambini vengono fuorviati da un video di un insegnante che suggerisce una regola di corrispondenza dei colori. L'ambiente è parzialmente osservabile (i conteggi delle forme sono nascosti finché le scatole non vengono sollevate) e presenta prove inaffidabili (guasti meccanici possono impedire che le combinazioni chiave-scatola corrette si aprano).

Metodologia

Gli autori formalizzano il Compito della Scatola come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) in cui un agente deve scoprire una regola latente $h$ da transizioni di stato stocastiche e osservazioni incomplete. Implementano due framework complementari per approssimare la soluzione utilizzando Campionatori Monte Carlo Sequenziali (SMC-S) per l'aggiornamento bayesiano online:

1. Insiemi di Vincoli (SoC) – Modellazione Cognitiva

Questa implementazione tratta le ipotesi come collezioni strutturate di vincoli derivati dalle prove. Funge da modello cognitivo adattato al comportamento dei bambini umani ($N=100$).

• Rappresentazione delle Ipotesi: Le ipotesi sono mappature di scatole su chiavi.
• Distribuzione di Proposta: Una miscela di:
  • Regole pre-specificate: Regole candidate salienti (colore, forma, ordine) con prior assegnati.
  • Generatore online: Un meccanismo per proporre nuovi vincoli basati sulle prove accumulate, aumentando il peso delle assegnazioni coerenti e riducendo quello delle falsificate.
• Affidabilità Soggettiva: Introduce un parametro $\rho \in (0, 1]$ che rappresenta la stima soggettiva dell'agente dell'affidabilità delle prove. Ciò permette al modello di attribuire i fallimenti a cause esterne (ad esempio, una serratura rigida) piuttosto che falsificare immediatamente l'ipotesi.
• Varianti: Gli autori hanno testato quattro varianti, inclusi modelli lesionati (rimozione del generatore o dell'affidabilità soggettiva) e un modello completo (SoC-Full).

2. Sintesi di Programmi basata su LLM (LLM-PS) – Organismo Modello

Questa implementazione tratta i Modelli Linguistici di Grande Formato (LLM) come "organismi modello" controllabili per indagare come il comportamento cambi sotto la variazione sistematica delle condizioni ambientali.

• Rappresentazione delle Ipotesi: Le ipotesi sono funzioni Python eseguibili (predict(key, box) -> bool) generate e riviste dall'LLM.
• Motore di Inferenza: Il sistema mantiene una popolazione di particelle di ipotesi. Quando una particella viene selezionata per il "ringiovanimento", l'LLM viene sollecitato a sintetizzare un programma rivisto coerente con la storia delle azioni e degli esiti.
• Selezione delle Azioni: Gli agenti selezionano azioni per massimizzare il guadagno informativo atteso (EIG) sulla distribuzione delle particelle.
• Varianti: Gli autori hanno implementato condizioni corrispondenti al compito umano:
  • LLM-PS-S: Osservabilità completa, chiavi inaffidabili.
  • LLM-PS-P: Osservabilità parziale (richiede azioni OBSERVE per rivelare i conteggi delle forme), chiavi inaffidabili.
  • Baseline ReAct: Un agente ReAct standard che genera azioni direttamente senza mantenere rappresentazioni esplicite di ipotesi.

Contributi Chiave

1. Formalizzazione dell'Inferenza Induttiva: L'articolo estende l'Ipotesi di Campionamento a contesti con prove inaffidabili e spazi di ipotesi illimitati, fornendo due implementazioni complementari: basata su vincoli (SoC) e sintesi di programmi (LLM-PS).
2. Analisi Computazionale dei Bambini: Lo studio dimostra che il comportamento dei bambini è meglio spiegato dal funzionamento congiunto dell'affidabilità soggettiva delle prove (scontando i fallimenti come errori meccanici) e della generazione online di ipotesi (creazione di soluzioni approssimate). Ciò spiega la dissociazione tra completamento del compito e generalizzazione della regola vera.
3. Confronto Controllato: Trattando gli LLM come organismi modello, gli autori variano sistematicamente l'affidabilità delle prove e l'osservabilità. Dimostrano che gli agenti basati su LLM replicano i modelli di performance dei bambini in condizioni di incertezza (ad esempio, scontando prove inaffidabili, cercando di risolvere informazioni parziali) ma esibiscono bias induttivi distinti, in particolare una tendenza a osservare eccessivamente e a compiacere eccessivamente le istruzioni rispetto ai bambini.

Risultati

Risultati SoC

• Adattamento del Modello: Il modello SoC-Full (che incorpora sia l'affidabilità soggettiva che un generatore online) ha fornito un adattamento significativamente migliore alle traiettorie dei bambini e ai tassi di generalizzazione rispetto a qualsiasi variante lesionata ($p < .001$).
• Generalizzazione: Mentre il 66% dei bambini ha aperto tutte le scatole, solo il 22% ha generalizzato la regola vera. Il modello SoC-Full ha replicato questo fenomeno, convergendo sulla regola corretta in circa il 20% delle simulazioni.
• Meccanismo: I risultati indicano che né l'affidabilità soggettiva né la generazione online da sole sono sufficienti; la loro combinazione è necessaria per riprodurre la distribuzione dei tentativi e il basso tasso di generalizzazione corretta.

Risultati LLM-PS

• Replica dei Modelli: Gli agenti basati su LLM hanno replicato le risposte dei bambini ai cambiamenti nell'affidabilità delle prove e nell'osservabilità. Hanno scontato con successo le prove inaffidabili e cercato di risolvere le informazioni parziali.
• Completamento del Compito vs Generalizzazione: Come i bambini, gli agenti LLM hanno spesso completato il compito senza scoprire la regola vera. Quando ciò accadeva, facevano affidamento su ipotesi "approssimate" che combinavano cause disparate (ad esempio, usando il colore per alcune scatole e i numeri per altre) piuttosto che su una regola unificata.
• Divergenza nel Comportamento:
  • Compliance alle Istruzioni: Gli LLM hanno aderito rigorosamente all'istruzione fuorviante di corrispondenza dei colori al primo tentativo, mentre il 21% dei bambini ha immediatamente testato combinazioni non corrispondenti ai colori.
  • Costi di Osservazione: Gli agenti LLM-PS-P hanno osservato sistematicamente tutte le scatole prima di riprendere i tentativi, mentre i bambini hanno variato significativamente nella frequenza di osservazione, con molti che osservavano poche o nessuna scatola. Ciò suggerisce che i bambini scambiano implicitamente il valore informativo contro costi cognitivi o sociali assenti nel contesto LLM.
• Capacità Backend: La generalizzazione alla regola vera richiedeva una sufficiente capacità backend (ad esempio, GPT-5.2 ha avuto successo con una singola particella, mentre modelli più deboli come DEEPSEEK V3.2 non sono riusciti a scoprire la regola vera nemmeno in condizioni di osservabilità completa).

Significato e Affermazioni

L'articolo afferma di fornire un framework controllato per valutare l'inferenza induttiva in condizioni di incertezza tra agenti umani e artificiali. Il suo significato principale risiede in:

1. Collegamento tra Scienze Cognitive e IA: Dimostra che gli LLM possono servire come validi "organismi modello" per le scienze cognitive, consentendo la manipolazione sistematica di variabili ambientali difficile da realizzare con soggetti umani.
2. Comprensione dell'Inferenza Approssimata: Lo studio evidenzia che il completamento riuscito di un compito non implica necessariamente la scoperta della regola vera sottostante. Sia i bambini che gli LLM possono utilizzare ipotesi "approssimate" che integrano cause disparate per risolvere problemi immediati, il che può servire come trampolino di lancio per una successiva unificazione.
3. Bias Induttivi: I risultati suggeriscono che, mentre bambini e LLM si adattano in modo simile alla struttura ambientale, i loro comportamenti di ricerca di informazioni sono plasmati da costi e prior sottostanti diversi. I bambini sembrano operare con un prior più ampio e costi impliciti per l'osservazione, whereas gli LLM esibiscono un bias verso spazi di ipotesi strutturati e piccoli e un rigoroso rispetto delle istruzioni.

Gli autori notano modestamente che la loro interpretazione del comportamento degli LLM rimane indiretta, poiché non provano definitivamente che gli LLM mantengano rappresentazioni esplicite di ipotesi o eseguano aggiornamenti basati sulla verosimiglianza rispetto al recupero. Suggeriscono che lavori futuri potrebbero utilizzare l'interpretabilità meccanicistica per distinguere queste possibilità e investigare ulteriormente l'"affidabilità soggettiva" e i prior delle regole degli LLM.