Dynamic distortion of inferred reward probability shapes choice over time

Lo studio dimostra che le scelte temporali si basano su un processo inferenziale in cui la probabilità di ricompensa viene dinamicamente distorta e la precisione temporale è modulata dalla ricompensa stessa, rivelando principi computazionali distinti dai modelli tradizionali di accumulo di evidenze.

L'essenziale

Immagina di essere a un incrocio ferroviario molto particolare.

Il Gioco: Il Treno della Ricompensa

In questo esperimento, i partecipanti dovevano giocare a un gioco chiamato "Set-Go".

1. Il segnale di partenza (Set): Un'immagine appare sullo schermo. È come il semaforo che diventa verde.
2. Il tempo che passa: Dopo un po' di tempo (che varia casualmente tra 0,4 e 1,4 secondi), appare un secondo segnale (Go).
3. La scelta: Appena appare il secondo segnale, devi premere velocemente un tasto Sinistra o un tasto Destra.

La regola segreta: Non c'è un modo "giusto" fisso. La probabilità di vincere una moneta cambia mentre il tempo passa!

• All'inizio, premere Sinistra è quasi sicuro per vincere.
• Man mano che il tempo passa, la probabilità di vincere con Sinistra scende, mentre quella di vincere con Destra sale.
• C'è un momento esatto (il "punto di incrocio") in cui le probabilità sono pari al 50%. Dopo quel momento, conviene premere Destra.

Il compito del cervello? Capire quanto tempo è passato e decidere quale tasto premere per massimizzare le vincite.

Il Problema: Il Nostro Orologio Interno non è Perfetto

Il cervello umano non ha un orologio atomico. Quando proviamo a stimare quanto tempo è passato, commettiamo errori. È come guardare un orologio da taschino che a volte va un po' veloce e a volte un po' lento.

Gli scienziati si sono chiesti: come gestiamo questa incertezza?
Esistono due teorie principali:

1. La teoria del "Tempo che scorre" (Legge di Weber): Più tempo passa, più il nostro orologio interno diventa confuso. È come se la nebbia diventasse più fitta man mano che il tempo scorre, indipendentemente da cosa succede.
2. La teoria della "Ricompensa che conta": La nostra confusione dipende da quanto è importante la ricompensa in quel momento. Se in un certo istante la ricompensa è altissima, il nostro cervello si "sveglia" e diventa più preciso. Se la ricompensa è bassa, ci rilassiamo e diventiamo più confusi.

Cosa ha scoperto lo studio?

Gli scienziati hanno analizzato le scelte di 12 persone e hanno scoperto due cose sorprendenti:

1. Il cervello "esagera" le probabilità (La distorsione)

Quando il cervello stima che la probabilità di vincere sia alta (es. 90%), tende a comportarsi come se fosse ancora più alta (quasi 100%). Quando la stima è bassa (es. 10%), agisce come se fosse quasi zero.

• L'analogia: Immagina di avere un filtro Instagram sulle probabilità. Invece di vedere la realtà "così com'è", il cervello applica un filtro che rende i "quasi sicuri" ancora più sicuri e i "quasi impossibili" ancora più impossibili. Questo spinge le persone a prendere decisioni più decise (come un interruttore on/off) invece di esitare.
• Il risultato: Questo "filtro" non è perfetto (non siamo robot), ma ci aiuta a guadagnare molto più denaro rispetto a chi segue le probabilità alla lettera. È come se il cervello dicesse: "Non esitare, se sembra buono, fallo subito!".

2. L'orologio interno si adatta alla ricompensa (La precisione)

La scoperta più grande riguarda il tempo. Lo studio ha dimostrato che la nostra precisione nel misurare il tempo dipende da quanto vale la ricompensa, non da quanto tempo è passato.

• L'analogia: Immagina di essere in una stanza buia. Se sai che c'è un tesoro d'oro proprio davanti a te, il tuo cervello "accende una torcia" e vedi tutto nitidamente. Se invece sai che c'è solo una moneta da un centesimo, il cervello spegne la torcia e tutto diventa sfocato.
• Il risultato: Il cervello non segue la vecchia regola "più tempo passa, più sono confuso". Invece, dice: "In questo momento specifico la ricompensa è alta, quindi mi concentro e misuro il tempo con precisione!". Questo contraddice le vecchie teorie scientifiche.

In Sintesi: Come pensiamo quando il tempo è in gioco

Questo studio ci dice che il nostro cervello è un stratega intelligente, non un semplice registratore di tempo.

Quando dobbiamo decidere basandoci sul tempo e sulle ricompense:

1. Distorce le probabilità: Trasforma le stime incerte in decisioni più nette (come un interruttore), per evitare di perdere tempo a esitare.
2. Regola la sua precisione: Mette a fuoco il proprio orologio interno solo quando la ricompensa ne vale la pena, ignorando il semplice scorrere del tempo.

È come se il nostro cervello dicesse: "Non guardare l'orologio per vedere quanto tempo è passato; guarda quanto è buono il premio. Se il premio è grande, sarò preciso. Se è piccolo, sarò approssimativo. E quando decido, lo farò con convinzione, anche se non sono sicuro al 100%!".

Queste scoperte ci aiutano a capire meglio come prendiamo decisioni nella vita reale, dove il tempo e il valore delle cose cambiano continuamente, come quando decidiamo se rispondere subito a un messaggio o aspettare, o se attraversare la strada ora o aspettare il prossimo semaforo.

Sommario tecnico

Titolo

Distorsione dinamica della probabilità di ricompensa inferita che modella la scelta nel tempo.

1. Il Problema di Ricerca

La maggior parte delle decisioni umane e animali è innescata da eventi discreti il cui tempismo determina quali opzioni vengono premiate. In molti contesti naturali (es. interazioni sociali, evitamento di predatori), la probabilità di ricompensa non è fissa per un'azione data, ma varia sistematicamente nel tempo.
Il problema centrale affrontato è come gli agenti prendano decisioni ottimali quando devono inferire due variabili latenti accoppiate:

1. Il tempo trascorso: Non osservato direttamente, ma stimato internamente.
2. La probabilità di ricompensa: Una funzione latente del tempo trascorso.

I framework computazionali esistenti (modelli di accumulo di evidenza, apprendimento per rinforzo standard) non sono progettati per questo regime, dove non c'è evidenza sensoriale informativa tra gli eventi. Non è chiaro come gli agenti combinino l'incertezza sul tempo trascorso con l'incertezza sulla ricompensa quando quest'ultima cambia dinamicamente. In particolare, si discute se l'incertezza temporale segua la Legge di Weber (l'incertezza aumenta linearmente con la durata) o se sia modulata dalla probabilità di ricompensa (l'incertezza è minore dove la ricompensa attesa è alta).

2. Metodologia

Gli autori hanno progettato un esperimento comportamentale e un modello computazionale per testare queste ipotesi.

Esperimento (Compito Set-Go):

• Partecipanti: 12 adulti sani.
• Procedura: Un segnale di avvertimento ("Set") è seguito da un segnale di azione ("Go") dopo un intervallo di tempo casuale estratto da una distribuzione uniforme ($t \in [0.4, 1.4]$ secondi).
• Scelta: Al segnale "Go", i partecipanti dovevano scegliere tra due pulsanti (Sinistra o Destra).
• Struttura della Ricompensa: La probabilità di ricompensa per la scelta Sinistra diminuiva nel tempo, mentre quella per la Destra aumentava. Le probabilità erano dinamiche e diverse per quattro condizioni sperimentali, ognuna con un punto di "incrocio" (crossover) diverso dove le probabilità erano uguali (0.5).
• Feedback: Immediato feedback visivo sul successo della scelta.
• Obiettivo: I partecipanti dovevano imparare la struttura dinamica per massimizzare la ricompensa, scegliendo l'opzione con la probabilità più alta in base al tempo stimato.

Modellazione Computazionale:
Gli autori hanno confrontato diverse strategie e modelli:

1. Strategie di riferimento:
   • Ottimale: Funzione a gradino (cambiare scelta esattamente al punto di incrocio).
   • Mimica: Scegliere con probabilità proporzionale alla probabilità di ricompensa oggettiva.
   • Casuale: Scelta a caso (50%).
2. Modello DLLO (Dynamic Log-Odds Linear Operator): Un modello che mappa la probabilità di ricompensa oggettiva $p(t)$ sulla probabilità di scelta soggettiva $\pi(p(t))$ attraverso una trasformazione lineare nello spazio dei log-odds:
   $$DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1 - \gamma) \cdot Lo(p_0)$$
   Dove $\gamma$ è il parametro di pendenza e $p_0$ è il punto fisso.
3. Gestione dell'incertezza temporale: Hanno testato due ipotesi di "sfocatura" (blurring) della probabilità di ricompensa:
   • Sfocatura Temporale (Weber): L'incertezza ($\sigma$) scala linearmente con il tempo trascorso ($\sigma = \varphi \cdot t$).
   • Sfocatura Probabilistica: L'incertezza è inversamente proporzionale alla probabilità di ricompensa (maggiore precisione dove la ricompensa è alta).

3. Risultati Chiave

A. Comportamento e Ottimalità:

• I partecipanti hanno appreso la struttura dinamica e le loro prestazioni hanno superato significativamente il livello casuale, avvicinandosi all'ottimalità.
• Tuttavia, il comportamento non seguiva una funzione a gradino perfetta né una mappatura "mimica" (1:1).
• Si è osservata una distorsione sistematica: i partecipanti tendevano a scegliere l'opzione "migliore" più frequentemente di quanto previsto dalla probabilità oggettiva (spingendo la curva di scelta verso la funzione a gradino), ma con una transizione graduale (sigmoide) invece che istantanea.

B. La Trasformazione Log-Odds (DLLO):

• La relazione tra la probabilità di ricompensa oggettiva e la probabilità di scelta soggettiva è stata perfettamente catturata dal modello DLLO.
• Il parametro di pendenza $\gamma$ è risultato essere compreso tra 1.71 e 2.20.
  • $\gamma = 1$ corrisponde alla mappatura veritiera (mimica).
  • $\gamma \to \infty$ corrisponde alla politica ottimale (gradino).
  • I valori osservati indicano una distorsione che spinge il comportamento verso l'ottimalità senza raggiungerla completamente, occupando una regione di "alto rendimento" dello spazio dei parametri.
• Il parametro $p_0$ (punto di incrocio soggettivo) mostrava piccole deviazioni rispetto all'incrocio oggettivo, ma aveva un impatto minimo sul rendimento totale rispetto a $\gamma$.

C. Incertezza Temporale e Legge di Weber:

• Il confronto tra i modelli ha dimostrato che l'ipotesi della sfocatura probabilistica (dove l'incertezza temporale dipende dalla probabilità di ricompensa) spiegava i dati molto meglio dell'ipotesi della sfocatura temporale (Legge di Weber).
• L'incertezza nella stima del tempo era più bassa nei periodi ad alta probabilità di ricompensa e più alta nei periodi a bassa probabilità, contraddicendo l'assunto classico che l'incertezza dipenda solo dalla durata trascorsa.

4. Contributi Principali

1. Formalizzazione dell'inferenza duale: Il paper definisce la scelta dipendente dal tempo come un problema di inferenza su due variabili latenti (tempo e ricompensa) senza evidenza sensoriale continua.
2. Identificazione di due principi computazionali:
   • Distorsione dinamica della probabilità: Le probabilità di ricompensa inferite vengono trasformate sistematicamente in log-odds prima di guidare l'azione, operando su rappresentazioni temporali interne e non su probabilità esplicite.
   • Precisione temporale basata sulla ricompensa: La precisione della stima del tempo è modulata dalla rilevanza comportamentale (probabilità di ricompensa) e non dalla durata fisica, sfidando la Legge di Weber in contesti di decisione dinamica.
3. Modello unificato: Il framework DLLO offre un account unificato che collega la stima dell'intervallo temporale, la stima della ricompensa e la trasformazione delle probabilità in un unico modello di scelta.

5. Significato e Implicazioni

Questi risultati hanno implicazioni profonde per la comprensione dei meccanismi decisionali:

• Ottimalità adattiva: Il comportamento umano non cerca necessariamente la soluzione matematica perfetta (gradino), ma opera in una regione di compromesso che massimizza il rendimento atteso con un costo computazionale ed energetico ragionevole (evitando la discontinuità estrema).
• Ridefinizione della percezione del tempo: Suggerisce che il cervello non tratta il tempo come un metro passivo, ma modula la sua risoluzione temporale in base all'importanza della ricompensa attesa. Questo potrebbe essere mediato da segnali dopaminergici di errore di previsione.
• Estensione delle teorie classiche: Estende le teorie sulla distorsione delle probabilità (come la Prospect Theory) a contesti dinamici e latenti, mostrando che le distorsioni avvengono anche quando le probabilità devono essere inferite dal tempo e non sono esplicitamente fornite.

In sintesi, lo studio dimostra che la scelta in ambienti dinamici è governata da un'interazione complessa tra la precisione della stima temporale (guidata dalla ricompensa) e una trasformazione non lineare delle probabilità inferite in azioni.