Stimulus prior and reward probability differentially affect response bias in perceptual decision making

Questo studio su ratti dimostra che le probabilità di ricompensa influenzano il bias decisionale in modo più marcato rispetto alle probabilità degli stimoli, a causa di tassi di apprendimento superiori, rivelando al contempo che i modelli attuali non riescono a spiegare queste differenze e suggerendo che i soggetti rappresentano esplicitamente le distribuzioni degli stimoli.

L'essenziale

🧠 Il Gioco del "Sì o No" e la Bilancia Mentale

Immagina di essere un ratto in una stanza con due buchi nel muro. Ogni volta che senti un suono, devi scegliere in quale buco ficcare il naso per ottenere una goccia d'acqua.

• Suono A: Se è il suono A, devi scegliere il buco Destro.
• Suono B: Se è il suono B, devi scegliere il buco Sinistro.

Sembra facile, vero? Ma la scienza delle decisioni (chiamata Teoria della Rilevazione del Segnale) ci dice che il nostro cervello non è un computer perfetto. Ha una bilancia mentale (chiamata "criterio") che decide se un suono è abbastanza chiaro da meritare una risposta.

Se la bilancia è in equilibrio, rispondi a caso. Se la bilancia è spostata a destra, tendi a scegliere il buco Destro anche quando non sei sicuro.

🎯 L'Esperimento: Cosa hanno fatto gli scienziati?

Gli scienziati hanno fatto fare questo gioco a dei ratti in cinque modi diversi per capire cosa sposta questa bilancia mentale:

1. Cambiare la frequenza dei suoni (SPR): Hanno fatto sentire il Suono A molto più spesso del Suono B (es. 8 volte su 10).
2. Cambiare la ricompensa (RR): Hanno fatto sentire i suoni allo stesso modo, ma hanno dato l'acqua molto più spesso se il ratto sceglieva la risposta giusta per il Suono A.
3. Mischiarli: Hanno fatto sentire il Suono A spesso, ma hanno premiato di più la risposta per il Suono B (un vero e proprio "duello" tra frequenza e ricompensa).
4. Cambiare la densità delle ricompense: Hanno dato l'acqua molto spesso (tutti i tentativi vincenti) o molto raramente (pochi tentativi vincenti), mantenendo tutto il resto uguale.

🏆 La Grande Scoperta: La Ricompansa è il Re

Ecco il risultato sorprendente, spiegato con una metafora:

Immagina di avere due amici che ti danno consigli.

• Amico A (Frequenza): Ti dice: "Sai che il Suono A esce molto spesso? Quindi scommetti su di lui!"
• Amico B (Ricompensa): Ti dice: "Sai che se indovini il Suono A, ti do un milione di euro, ma se indovini il Suono B ti do solo un euro?"

Gli scienziati si aspettavano che i ratti ascoltassero entrambi allo stesso modo. Invece, i ratti hanno ignorato quasi completamente l'Amico A e hanno seguito ciecamente l'Amico B.

Quando la ricompensa era sbilanciata, i ratti spostavano la loro bilancia mentale in modo estremo. Quando era la frequenza del suono a cambiare, spostavano la bilancia solo un po'.
È come se il ratto pensasse: "Non mi importa se il suono A esce spesso, mi importa solo che se lo indovino, la mia pancia si riempie di più!".

In termini tecnici, il cervello dei ratti impara dieci volte più velocemente quando cambia la probabilità di ricevere una ricompensa rispetto a quando cambia solo la probabilità che un suono appaia.

🤖 I Modelli Computerici: Perché hanno fallito?

Gli scienziati hanno provato a simulare il comportamento dei ratti con tre diversi "cervelli artificiali" (modelli matematici):

1. Un modello basato sulla semplice logica della ricompensa passata.
2. Un modello basato su leggi matematiche classiche delle scelte.
3. Un modello basato sull'apprendimento per rinforzo (come un videogioco dove si impara dagli errori).

Il problema? Nessuno di questi modelli è riuscito a prevedere il comportamento dei ratti quando hanno messo in conflitto frequenza e ricompensa (Esperimento 3).
Perché? Perché questi modelli pensano che la "probabilità di un suono" e la "probabilità di una ricompensa" siano la stessa cosa. Ma per i ratti (e forse per noi) non lo sono.

I ratti sembrano avere una mappa mentale che tiene conto di due cose separate:

1. Quanto è probabile che appaia quel suono (il contesto).
2. Quanto è buono il premio se indovino (il guadagno).

I modelli attuali non sapevano gestire queste due informazioni separatamente, quindi si sono confusi.

💧 E la "densità" delle ricompense?

C'era un'altra domanda: se diamo molte ricompense in totale (alta densità) o poche (bassa densità), i ratti imparano più velocemente o più lentamente?
La risposta è stata: No, non importa.
Che ci siano 100 gocce d'acqua o 10, i ratti imparano alla stessa velocità. È come se la "quantità totale di festa" non cambiasse la loro voglia di imparare, ma contasse solo il "premio specifico" per ogni singola azione.

🚀 Conclusione: Cosa ci insegna questo?

Questo studio ci dice che il nostro cervello (o quello dei ratti) non è una semplice macchina che calcola le medie. È molto più sofisticato:

• Ascolta la ricompensa: Se c'è un premio grande, cambiamo strategia subito.
• Ascolta il contesto: Sappiamo che certi suoni escono più spesso, ma questo ci influenza meno della ricompensa.
• Il futuro: Per creare intelligenze artificiali o capire meglio il cervello umano, dobbiamo costruire modelli che sappiano distinguere tra "quanto è probabile che accada qualcosa" e "quanto è conveniente farlo".

In sintesi: Non siamo guidati solo dalla logica statistica, ma dalla brama di ottenere il premio migliore. La bilancia mentale si sposta molto più forte verso il "sapore" della ricompensa che verso la semplice frequenza degli eventi.

Sommario tecnico

Titolo: Effetti differenziali del prior dello stimolo e della probabilità di ricompensa sul bias di risposta nel processo decisionale percettivo

1. Il Problema

La Teoria della Rilevazione del Segnale (SDT) è il modello standard per analizzare le decisioni percettive. Assume che un osservatore confronti campioni di una variabile di evidenza con un criterio decisionale statico. Sebbene l'indipendenza tra sensibilità ($d'$) e criterio sia ben supportata, è noto che il criterio non è statico ma fluttua trial-by-trial e viene influenzato da manipolazioni sperimentali, come le probabilità di presentazione degli stimoli (SPP) e le probabilità di ricompensa (RP).
Il problema centrale affrontato da questo studio è la mancanza di comprensione dei meccanismi che governano l'aggiornamento trial-by-trial del criterio. In particolare, non è chiaro se le manipolazioni delle SPP e delle RP influenzino l'apprendimento del criterio allo stesso modo e con la stessa intensità, né come la densità di ricompensa (tasso globale di ricompensa) influenzi la velocità di adattamento. Inoltre, i modelli esistenti (basati su SDT, Legge di Matching o Apprendimento per Rinforzo) non sono stati sistematicamente confrontati per spiegare questi effetti differenziali.

2. Metodologia

Gli autori hanno condotto cinque esperimenti su nove ratti maschi in un compito di discriminazione uditiva a due stimoli e due scelte (S1/S2, Risposta R1/R2).

• Apparato e Compito: I ratti dovevano distinguere tra due accordi di toni puri. Le risposte corrette venivano premiate con acqua.
• Esperimenti 1 e 2 (Isolamento):
  • Exp 1: Variazione dei rapporti di presentazione degli stimoli (SPP: da 1:4 a 4:1) con ricompense costanti (50%).
  • Exp 2: Variazione dei rapporti di ricompensa (RP: da 1:4 a 4:1) con presentazione degli stimoli costante (50%).
• Esperimento 3 (Confronto Diretto): Manipolazione simultanea e opposta di SPP e RP (es. SPP 1:4 contro RP 4:1) per vedere quale fattore prevale nel determinare il bias.
• Esperimenti 4 e 5 (Densità di Ricompensa):
  • Exp 4: Variazione della densità globale di ricompensa (probabilità di ricompensa da 0.25 a 1.0) mantenendo SPP e RP simmetrici (1:1).
  • Exp 5: Variazione combinata di rapporti di ricompensa e densità di ricompensa.

Analisi e Modelli:
I dati sono stati analizzati sia a livello di stato stazionario che trial-by-trial. Sono stati adattati e confrontati tre modelli di apprendimento del criterio:

1. Modello KDB modificato: Basato su SDT, con un criterio che si sposta di una quantità fissa ($\Delta$) dopo ogni ricompensa, con un termine di "perdita" (leak, $\gamma$) per prevenire la deriva infinita.
2. Modello DT (Davison-Tustin): Combina SDT e la Legge di Matching. Il passo di aggiornamento del criterio dipende dalla posizione attuale del criterio e dalla sensibilità alla ricompensa ($a$).
3. Modello RL (Reinforcement Learning): Basato su Lak et al. (2020), dove gli animali mantengono valori d'azione ($V$) aggiornati tramite errore di previsione della ricompensa e un tasso di apprendimento ($\alpha$).

I modelli sono stati valutati tramite Negative Log-Likelihood (NLL) e Criterio di Informazione Bayesiano (BIC), includendo versioni con tassi di apprendimento multipli per diverse condizioni.

3. Contributi Chiave

• Dimostrazione Sperimentale: Evidenza chiara che le manipolazioni delle probabilità di ricompensa (RP) hanno un effetto molto più pronunciato sul bias di risposta rispetto alle manipolazioni delle probabilità di presentazione degli stimoli (SPP).
• Analisi Modella: Confronto sistematico di tre modelli teorici, rivelando che nessuno di essi è in grado di catturare completamente la differenza quantitativa tra l'effetto delle SPP e delle RP, specialmente quando agiscono in opposizione (Esperimento 3).
• Ruolo della Densità di Ricompensa: Dimostrazione che la densità globale di ricompensa non influisce sistematicamente sulla velocità di apprendimento (tasso di apprendimento) in questo contesto percettivo, contraddicendo alcune ipotesi precedenti basate su compiti non percettivi.

4. Risultati

• Effetti Differenziali (Exp 1, 2, 3):

  • Le manipolazioni delle RP hanno causato un bias di risposta significativamente più forte rispetto alle SPP per lo stesso rapporto numerico.
  • Nell'Esperimento 3, dove SPP e RP erano opposti, i ratti hanno mostrato un bias a favore della risposta associata alla maggiore probabilità di ricompensa, ignorando parzialmente la probabilità di presentazione dello stimolo.
  • Parametri dei Modelli: I tassi di apprendimento stimati (parametro $\Delta$ nel KDB, $\Delta_{max}$ nel DT, $\alpha$ nel RL) erano oltre 10 volte più alti quando venivano manipolate le RP rispetto alle SPP.
  • Fallimento dei Modelli: Nessuno dei tre modelli è riuscito a riprodurre il comportamento osservato nell'Esperimento 3. I modelli KDB e DT prevedono un criterio di equilibrio neutro quando il rapporto $\pi_1\rho_1 / \pi_2\rho_2$ è 1, ma i ratti mostravano un bias significativo. Il modello RL falliva perché assumeva un prior fisso sugli stimoli (50/50) che non si adattava alle manipolazioni delle SPP.

• Densità di Ricompensa (Exp 4, 5):

  • Non è stato trovato alcun effetto sistematico della densità di ricompensa sul criterio di stato stazionario o sulla velocità di apprendimento.
  • Sebbene l'uso di tassi di apprendimento multipli (uno per condizione) migliorasse l'adattamento dei modelli (BIC più basso), non emergeva alcuna correlazione sistematica tra la densità di ricompensa e la grandezza del tasso di apprendimento.

5. Significato e Conclusioni

Lo studio conclude che i soggetti (ratti) non trattano le probabilità di presentazione degli stimoli e le probabilità di ricompensa come fattori equivalenti nell'aggiornamento del criterio decisionale.

• Rappresentazione Esplicita: I risultati suggeriscono che i soggetti rappresentano esplicitamente le probabilità a priori degli stimoli o l'intera distribuzione degli stimoli, e non si basano solo sui tassi di ricompensa risposta-contingenti come ipotizzato dai modelli KDB e DT classici.
• Limiti dei Modelli Attuali: I modelli attuali falliscono perché non includono un meccanismo per apprendere o aggiornare dinamicamente il prior degli stimoli in risposta a cambiamenti nelle SPP.
• Implicazioni Future: I futuri modelli di apprendimento del criterio devono incorporare una rappresentazione malleabile delle probabilità degli stimoli (o delle distribuzioni degli stimoli) per spiegare come gli organismi adattano il loro bias decisionale in ambienti non stazionari. Inoltre, la distinzione tra l'effetto della probabilità di ricompensa e della sua magnitudine rimane un'area aperta per la ricerca futura.

In sintesi, il lavoro dimostra che la "legge" che governa l'adattamento del criterio è più complessa di quanto previsto dalla semplice ottimizzazione della ricompensa, richiedendo una modellazione che integri l'apprendimento delle statistiche sensoriali (stimoli) insieme a quelle delle ricompense.