Riepilogo Tecnico: Utilizzare la Teoria della Mente per Arbitrare tra Apprendimento Sociale e Non Sociale

Enunciato del Problema

L'apprendimento sociale permette agli agenti di acquisire informazioni dagli altri, tuttavia gli esseri umani non si affidano ad esso indiscriminatamente. Essi devono decidere quando osservare, chi osservare e quanto a lungo osservare, bilanciando il potenziale guadagno di informazione rispetto ai costi cognitivi e temporali dell'osservazione rispetto all'esplorazione indipendente. I modelli computazionali esistenti di apprendimento sociale ricadono generalmente in due categorie:

1. Account euristici: Si basano su regole fisse (es. "copia la maggioranza" o "copia il prestigioso") e trattano il comportamento osservato come un segnale da pesare, ignorando gli stati mentali generativi (obiettivi e credenze) che lo hanno prodotto.
2. Account di Reinforcement Learning (RL): Pesano l'informazione sociale in base alla stima dell'affidabilità della fonte (volatilità), ma trattano similmente il comportamento come un segnale rumoroso piuttosto che come evidenza di stati mentali sottostanti.

Entrambi gli approcci faticano a spiegare l'apprendimento efficiente da osservazioni sparse e indirette dove l'inferenza critica non è cosa un agente abbia fatto, ma perché lo abbia fatto (ovvero i loro obiettivi e le loro credenze). Inoltre, mentre la letteratura sulla ricerca attiva di informazioni affronta il compromesso costo-beneficio per le query non sociali, estendere questo concetto alle fonti sociali è complesso perché l'informatività di un'osservazione dipende dagli obiettivi latenti e dalle credenze dell'agente osservato, che possono differire da quelle dell'osservatore.

Metodologia

Paradigma Sperimentale

Gli autori hanno introdotto un nuovo gioco in un mondo a griglia (12x11) per creare trade-off parametricamente controllabili tra apprendimento sociale e non sociale.

• Configurazione: Un "agente rosso" controllato da un essere umano deve recuperare un tesoro specifico. Il percorso è bloccato da barriere colorate che richiedono amuleti corrispondenti tenuti da specifici maghi (tra cui anche dei decoy/esche).
• Meccaniche: Ad ogni timestep, l'agente può o agire (muoversi di un passo, con un costo di 3 punti) o osservare un NPC (Non-Player Character) selezionato (incurrendo un costo di 1 punto per passo, durante il quale solo l'NPC si muove).
• Variabili: Lo studio ha variato:
  • Incertezza dell'Obiettivo: Tesori singoli vs molteplici (Esperimenti 1 vs 2).
  • Disponibilità dell'Agente: Singolo vs multipli NPC (Esperimento 3).
  • Esperienza dell'Agente: Esperto (conosce la posizione dell'amuleto) vs Novizio (non la conosce) (Esperimento 4).
• Struttura dei Costi: Il movimento costa 3 punti, l'interazione con il mago costa 5 punti e l'osservazione costa 1 punto. I partecipanti erano incentivati a minimizzare il costo totale.

Il Modello di Mentalizzazione Razionale

Gli autori propongono un modello di Mentalizzazione Razionale che integra la Teoria della Mente (ToM) Bayesiana con un'analisi razionale costo-beneficio. Il modello opera confrontando l'utilità attesa di agire immediatamente rispetto all'osservare un agente.

1. Modello Generativo dell'Agente Osservato: L'osservatore modella l'NPC come un pianificatore quasi ottimale in un ambiente parzialmente osservabile. L'osservatore mantiene una distribuzione a posteriori sui obiettivi ($g$) e sulle credenze ($b$) latenti dell'NPC utilizzando un filtro particellare (Sequential Inverse Plan Search, SIPS).
2. Simulazione e Predizione: Per ogni ipotesi $\theta = (g, b)$, l'osservatore simula la traiettoria futura dell'NPC utilizzando una politica di Boltzmann. Predice:
   • $T^i$: Il numero di passi di osservazione necessari affinché la traiettoria dell'NPC restringa l'insieme dei candidati di maghi a uno solo (o falsifichi l'ipotesi).
   • $C^i_{plan}$: Il costo di esplorazione residuo che l'osservatore affronterebbe dopo l'acquisizione di questa informazione.
3. Arbitrato dell'Utilità: Il modello calcola il costo atteso di osservare l'agente $j$:
   $$Q^j_{obs}(t) = \sum_i p^i_t [c_{obs} T^i + C^i_{plan}]$$
   dove $p^i_t$ è il peso a posteriori dell'ipotesi $i$.
   L'osservatore confronta questo valore con il costo di agire immediatamente, $C_{self}(b_t)$ (stimato tramite un pianificatore greedy).
   • Se $Q^j_{obs}(t) < C_{self}(b_t)$, il modello osserva l'agente $j$.
   • Altrimenti, agisce.
   • In contesti multi-agente, il modello seleziona l'agente $j^*$ che minimizza $Q^j_{obs}(t)$.

Studi di Ablazione

Per isolare i contributi di specifiche componenti, gli autori hanno confrontato il modello completo con tre ablazioni:

• Osservatore Razionale: Esegue l'analisi costo-beneficio ma manca della ToM (non inferisce obiettivi/credenze).
• Osservatore Mentalizzante: Inferisce obiettivi/credenze ma manca della stima dell'utilità (non pesa il costo dell'osservazione rispetto al costo dell'esplorazione).
• Osservatore Naive: Osserva indiscriminatamente in base a regole fisse (es. guardare fino alla prima interazione con il mago) senza inferenza né ragionamento sui costi.

Risultati Chiave

Fit Quantitativo

Attraverso quattro esperimenti con complessità crescente, il modello di Mentalizzazione Razionale ha raggiunto un'alta fedeltà nel catturare il comportamento di osservazione umano:

• Correlazione: Le correlazioni di Pearson per esperimento sono variate da $r = 0,90$ a $0,95$.
• Concordanza: Il coefficiente di correlazione di concordanza (CCC) di Lin raggruppato era 0,89 (95% CI [0,84, 0,92]), avvicinandosi al limite superiore della affidabilità inter-partecipante umana ($r_{SB} = 0,83-0,92$).
• Confronto: Tutti i modelli di ablazione hanno performato significativamente peggio (CCC $\leq 0,21$).

Pattern Qualitativi e Insight dalle Ablazioni

• Incertezza dell'Obiettivo (Exp 2): Quando l'obiettivo dell'NPC era ambiguo, umani e il modello completo hanno osservato più a lungo per disambiguare. L'Osservatore Mentalizzante ha sovra-osservato perché poteva ragionare sugli obiettivi ma non riusciva a pesare il costo dell'osservazione rispetto al beneficio. L'Osservatore Razionale ha sotto-osservato perché non poteva anticipare che la traiettoria dell'NPC sarebbe stata informativa.
• Selezione dell'Agente (Exp 3): Quando erano presenti due esperti, umani e il modello completo hanno osservato selettivamente l'agente la cui traiettoria era più probabilmente informativa per l'obiettivo specifico dell'os osservatore. Gli Osservatori Naive e Razionali non sono riusciti a distinguere tra gli agenti, mentre l'Osservatore Mentalizzante ha identificato l'agente informativo in modo direzionale ma non è riuscito ad allocare il tempo di osservazione in modo efficiente.
• Calibrazione dell'Esperienza (Exp 4): Quando erano presenti un esperto e un novizio, umani e il modello completo hanno spostato dinamicamente l'osservazione in base all'ambiente (es. osservando il novizio quando il suo percorso era più diagnostico in mappe di maghi sparse). L'Osservatore Mentalizzante ha sovra-osservato il novizio nei casi in cui il guadagno di informazione non giustificava il costo. L'Osservatore Razionale e quello Naive hanno optato per l'esperto, fallendo nel utilizzare il segnale controfattuale del novizio.

Osservazione vs Esecuzione

Il modello completo ha correttamente riprodotto l'accoppiamento positivo tra i passi di osservazione ed esecuzione trovati nei dati umani (più osservazione correla con più passi di esecuzione). Gli Osservatori Mentalizzanti e Naive hanno invertito questa relazione (pendenze negative), mentre l'Osservatore Razionale ha mostrato una pendenza positiva più debole con un intervallo di confidenza che includeva lo zero.

Significato e Rivendicazioni

Il paper sostiene che l'apprendimento sociale selettivo è guidato dalla Teoria della Mente al servizio della massimizzazione dell'utilità.

1. Integrazione di ToM e Utilità: Lo studio dimostra che né la ToM da sola né l'analisi costo-beneficio da sola sono sufficienti. Gli esseri umani (e il modello) ne hanno bisogno di entrambe: la capacità di inferire gli stati mentali generativi degli altri per predire l'informatività, e la capacità di arbitrare questo potenziale guadagno rispetto al costo dell'osservazione.
2. Oltre l'Affidabilità del Segnale: A differenza degli account di RL che arbitrano in base all'affidabilità della fonte (volatilità), questo modello mostra che l'arbitrato dipende dagli obiettivi inferiti della fonte. Il comportamento di un agente è informativo solo se i loro obiettivi si allineano o interagiscono significativamente con gli obiettivi dell'osservatore.
3. Visione Generativa del Comportamento: I risultati supportano la visione secondo cui il comportamento osservato debba essere trattato come evidenza riguardo agli obiettivi e alle credenze che lo hanno prodotto, piuttosto che come un segnale fisso. Ciò consente un apprendimento efficiente da dati sparsi e indiretti dove gli agenti hanno obiettivi differenti.
4. Meccanismo Unificato per la Fiducia Selettiva: Il paper suggerisce che la "fiducia selettiva" (preferire gli esperti) e l' "osservazione selettiva" (scegliere chi guardare) possano essere prodotti di un'unica inferenza bayesiana sugli modelli degli agenti, piuttosto che di sistemi cognitivi distinti.

Gli autori notano limitazioni, tra cui il fatto che il modello tratta l'osservazione come l'unico canale sociale (ignorando comunicazione/pedagogia) e assume prove indipendenti senza accumulare prior specifici per l'agente. Inoltre, il modello sottostima sistematicamente l'entità assoluta dell'osservazione che gli umani intraprendono, suggerendo un ruolo per la curiosità intrinseca o per una raccolta di evidenze conservativa che va oltre la stretta massimizzazione dell'utilità. Tuttavia, il modello riesce a catturare con successo i pattern relativi del processo decisionale umano in ambienti complessi di apprendimento sociale.