🧬 biology

Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour

Questo studio sfida la tradizionale dicotomia tra modelli basati su modelli (model-based) e modelli privi di modelli (model-free) nella ricerca sulla dipendenza, dimostrando che gli individui con disturbi da uso di sostanze esibiscono un apprendimento irrazionale caratterizzato da uno spostamento razionale rispetto alle risorse verso funzioni successore semplificate e riutilizzabili per minimizzare i costi cognitivi, anche a scapito della massimizzazione del premio.

Autori originali: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immagina il tuo cervello come una console per videogiochi super intelligente che deve riprodurre migliaia di giochi diversi contemporaneamente. Alcuni giochi sono semplici, come una partita a "Sasso, Carta, Forbice" dove devi solo memorizzare che "Sasso batte Forbice". Altri sono complelli avventure strategiche dove devi mappare l'intero mondo, prevedere come si muoverà ogni nemico e pianificare dieci mosse in anticipo. Per molto tempo, gli scienziati hanno pensato che i nostri cervelli fossero bloccati in un tiro alla fune tra questi due stili: lo stile "pigro" che si limita a memorizzare ciò che ha funzionato in passato (Model-Free) e lo stile "lavoratore" che costruisce una mappa mentale del mondo per pianificare in anticipo (Model-Based). Credevano che nella dipendenza il cervello diventasse pigro e smettesse di pianificare, affidandosi solo alle vecchie abitudini. Ma se il cervello non fosse solo pigro o lavoratore? E se stesse in realtà cercando di essere un geniale contabile, calcolando costantemente quanto "potenza cerebrale" (o sforzo cognitivo) costa una decisione rispetto a quanto "divertimento" (ricompensa) restituisce? Questo è il mondo della "razionalità delle risorse", un modo elegante per dire che i nostri cervelli stanno sempre cercando di ottenere il miglior affare con la minor quantità di energia mentale.

Ora, entriamo in un nuovo studio condotto dai ricercatori Ru-Yuan Zhang e dal suo team, che hanno deciso di testare questa idea su un gruppo di persone con disturbi da uso di sostanze (SUD) e un gruppo di volontari sani. Non si sono limitati a chiedere loro di giocare a un singolo gioco; li hanno lanciati in un enorme dungeon crawler a più livelli. Immagina un castello con una mappa ad albero. In ogni round, i "prezzi di mercato" per tre risorse — legno, pietra e ferro — cambiano. Il tuo obiettivo è scegliere un percorso attraverso il castello per raccogliere le risorse più preziose in base a quei prezzi. Il colpo di scena? I prezzi cambiano ogni volta, creando quattro diversi "compiti" o giochi all'interno dello stesso castello. Per vincere in grande, devi imparare la disposizione del castello e adattare rapidamente il tuo percorso ogni volta che i prezzi cambiano.

I ricercatori hanno scoperto qualcosa di sorprendente che rompe la vecchia regola "pigro vs lavoratore". Quando hanno osservato come le persone giocavano, hanno visto che né lo stile basato sulle abitudini "pigre", né lo stile di costruzione della mappa "lavoratore" potevano spiegare completamente ciò che stava accadendo. Invece, tutti sembravano utilizzare una strategia intermedia molto intelligente chiamata "Successor Features". Pensa a questo come all'apprendere la "vibrazione" di una stanza piuttosto che memorizzare ogni singolo passo. Impari che "la Stanza A porta solitamente a un mucchio di legno" e "la Stza B porta a pietra", e puoi combinare e accoppiare queste "vibrazioni" per risolvere nuovi enigmi di prezzo senza dover ricostruire l'intera mappa mentale da zero.

Tuttavia, la storia prende una piega guardando il gruppo con dipendenza. Mentre i giocatori sani usavano queste "vibrazioni" per cambiare strategie in modo flessibile e trovare il percorso migliore per ogni nuova lista di prezzi, i giocatori con dipendenza iniziavano a incastrarsi. Trovavano che lo sforzo mentale richiesto per cambiare strategia fosse troppo costoso. Così, hanno adottato un approccio "taglia unica". Indipendentemente dai prezzi, continuavano a correre verso la stessa stanza (Stanza 4) perché era il percorso più facile da ricordare, anche se ciò significava perdere un sacco di soldi. Lo studio suggerisce che questo non fosse dovuto al fatto che non potessero imparare la mappa, ma perché i loro cervelli erano ipersensibili al "costo" del pensiero. Erano disposti a sacrificare le ricompense pur di risparmiare energia mentale.

I ricercatori hanno costruito un modello informatico che agiva come un "contabile del cervello", pesando la ricompensa rispetto allo sforzo mentale. Questo modello, che hanno chiamato modello Resource-Rational Successor Feature (RRSF), era l'unico in grado di prevedere perfettamente il comportamento di entrambi i gruppi. Ha mostrato che il gruppo con dipendenza aveva una "sensibilità al costo" molto più alta: sentivano che lo sforzo mentale di cambiare strategia era un peso enorme, quindi si attenevano a un piano semplice e predefinito. Lo studio ha anche scoperto che più una persona presentava sintomi di dipendenza gravi, più tendeva a evitare lo sforzo mentale e ad attenersi ai suoi percorsi rigidi e subottimali.

In breve, questo articolo suggerisce che la dipendenza non è solo un sistema di "pianificazione" rotto o un sistema di "abitudini" rotto. Si tratta invece di un cervello che è diventato troppo parsimonioso con la sua energia mentale. È come un giocatore che, invece di imparare i nuovi livelli, continua a premere lo stesso pulsante ripetutamente perché i nuovi livelli sembrano troppo estenuanti da capire. Lo studio ha misurato questi comportamenti in 83 persone con disturbi da uso di sostanze e 45 controlli sani, scoprendo che il comportamento "pigro" era in realtà un tentativo calcolato, seppur maladattivo, di risparmiare sforzo cognitivo. Questa nuova prospettiva ci aiuta a capire che i comportamenti rigidi e ripetitivi visti nella dipendenza potrebbero essere il modo in cui il cervello cerca di proteggersi dall'essere sopraffatto, anche se ciò significa rinunciare alle migliori ricompense.

Sintesi Tecnica: Oltre l'apprendimento basato su modelli e privo di modelli: Apprendimento irrazionale delle Successor Features nel comportamento additivo

Definizione del problema
La dipendenza è frequentemente concettualizzata all'interno dei framework di apprendimento per rinforzo (RL) come uno spostamento da un controllo "basato su modello" (MB) flessibile e orientato all'obiettivo a strategie "privi di modello" (MF) rigide e abitudinarie. Tuttavia, questa dicotomia MB–MF deriva ampiamente da contesti a compito singolo e potrebbe non catturare i dinamismi di apprendimento in ambienti complessi multi-task dove è richiesta la generalizzazione. Inoltre, gli esistenti modelli di dipendenza inferiscono spesso lo sforzo cognitivo indirettamente dalla performance, piuttosto che quantificare i costi computazionali dell'apprendimento stesso. Questo studio affronta il vuoto nella comprensione di come gli individui con Disturbi da Uso di Sostanze (SUD) apprendano e generalizzino attraverso molteplici compiti, investigando specificamente se il loro comportamento sia meglio spiegato da uno spostamento verso il controllo MF o da un adattamento razionale-risorse coinvolgente le "successor features" (SF) e i vincoli dello sforzo cognitivo.

Metodologia
I ricercatori hanno reclutato 83 maschi con SUD e 45 controlli sani (HC) demograficamente omogenei. I partecipanti hanno eseguito un paradigma di apprendimento per rinforzo multi-task coinvolgente un albero decisionale a due fasi.

Struttura del compito: In ogni prova, i partecipanti osservavano un "set di prezzi" (che definisce il compito $g$ ) per tre risorse (legno, pietra, ferro). Successivamente, compivano due scelte sequenziali per navigare in un albero di stanze, raggiungendo infine una stanza contenente quantità fisse di risorse. La ricompensa era calcolata come il prodotto scalare delle quantità di risorse e del set di prezzi corrente.
Design Multi-Task: L'esperimento ha utilizzato quattro distinti set di prezzi (compiti), categorizzati in due tipi (A e B) e due livelli di difficoltà (facile e difficile). I compiti erano simmetrici nella ricompensa potenziale ma differivano per la complessità della politica richiesta (ad esempio, i compiti di Tipo B favorivano una sequenza semplice "sinistra-sinistra", mentre il Tipo A richiedeva una sequenza "destra-sinistra").
Modellazione Computazionale: Gli autori hanno sviluppato e confrontato otto modelli computazionali attraverso due framework:
1. RL Classico: Modelli Model-Free (MF), Model-Based (MB) e Successor Feature (SF). Sono state testate anche varianti con "perseverazione" (ripetizione dell'azione).
2. RL Razionale-Risorse: Questi modelli (RRMF, RRMB, RRSF) incorporano un costo informativo dello sforzo cognitivo. La funzione obiettivo bilancia la massimizzazione della ricompensa attesa con la divergenza di Kullback-Leibler (KL) tra una politica specifica per il compito e una politica di default, formalizzata come $I_\pi(G; A|S)$ . Un parametro di sensibilità al costo ( $\lambda$ ) controlla il compromesso tra massimizzazione della ricompensa e conservazione dello sforzo.
Analisi: I modelli sono stati adattati ai dati prova per prova utilizzando la stima Maximum A Posteriori (MAP). Il confronto tra i modelli è stato condotto utilizzando il Criterio di Informazione Bayesiana (BIC) e la Probabilità di Eccedenza Protetta (PXP). Le analisi di recupero dei parametri e di recupero del modello sono state eseguite per validare l'identificabilità dei modelli.

Risultati Chiave

Deficit Comportamentali nei SUD: Il gruppo SUD ha guadagnato significativamente meno premi rispetto al gruppo HC e ha mostrato curve di apprendimento più lente. Crucialmente, i partecipanti con SUD hanno mostrato una ridotta flessibilità della politica: hanno selezionato in modo sproporzionato la Stanza 4 (la stanza ottimale per i compiti di Tipo B) in tutti i tipi di compiti, inclusi quelli di Tipo A dove tale scelta era subottimale. Al contrario, i partecipanti HC hanno adattato le loro politiche alle specifiche richieste del compito.
Fallimento dei Modelli di RL Classico: I modelli standard MB, MF e SF non sono riusciti a catturare le firme comportamentali chiave, in particolare la tendenza del gruppo SUD a riutilizzare una politica fissa attraverso i compiti e l'asimmetria nelle performance tra i compiti di Tipo A e di Tipo B.
Superiorità del Successor Feature Razionale-Risorse (RRSF): Il modello RRSF ha fornito il miglior adattamento ai dati. Ha riprodotto con successo i pattern comportamentali osservati, inclusa la dipendenza del gruppo SUD da una politica di default (Stanza 4) anche quando subottimale.
Meccanismo di Irrazionalità: Il modello RRSF ha rivelato che entrambi i gruppi utilizzavano l'apprendimento SF, ma differivano per la loro sensibilità allo sforzo cognitivo ( $\lambda$ ). Il gruppo SUD ha mostrato una maggiore sensibilità al costo, portandoli a minimizzare lo sforzo cognitivo riutilizzando una politica di default semplificata invece di computare strategie specifiche per il compito. Ciò ha portato a un bias sistematico verso i compiti di Tipo B, più "facili", e a un fallimento nell'ottimizzazione per i compiti di Tipo A.
Correlati Clinici: Un minore sforzo cognitivo esercitato è stato associato a una maggiore ansia auto-riferita, punteggi di uso di sostanze più elevati e maggiore impulsività cognitiva. Minori tassi di apprendimento delle successor features sono stati associati a una maggiore depressione auto-riferita.

Significatività e Rivendicazioni
L'articolo sostiene di offrire un account normativo per l'apprendimento atipico nella dipendenza che va oltre la tradizionale dicotomia MB–MF. Gli autori sostengono che la dipendenza non rappresenti semplicemente un fallimento della pianificazione basata sul modello o una dominanza di abitudini prive di modello, ma piuttosto un spostamento sistematico nel modo in cui vengono allocate le risorse cognitive.

Nello specifico, lo studio postula che:

Le Successor Features come Meccanismo Unificante: Negli ambienti multi-task, l'apprendimento umano (sia sano che patologico) si basa sulle successor features per generalizzare attraverso i compiti, agendo come una strategia intermedia tra MB e MF.
Irrazionalità Razionale-Risorse: Il comportamento "irrazionale" osservato nei SUD (riutilizzo di una politica di default subottimale) è un adattamento razionale a una maggiore sensibilità al costo cognitivo. Gli individui con SUD sembrano dare priorità alla conservazione dello sforzo cognitivo rispetto alla massimizzazione della ricompensa, portando al riutilizzo rigido delle politiche di default.
Implicazioni per la Psichiatria Computazionale: Quantificando lo sforzo cognitivo tramite la teoria dell'informazione, lo studio fornisce un nuovo framework per comprendere i deficit del controllo cognitivo nella dipendenza. Suggerisce che questi deficit possano derivare non tanto da una mancanza di capacità cognitiva, quanto da una ridotta volontà o capacità di impiegare sforzo (avversione allo sforzo) per aggiornare le politiche lontano da uno stato di default.

Gli autori concludono che la prospettiva razionale-risorse sull'apprendimento delle successor features offre una spiegazione più completa dell'inflessibilità vista nella dipendenza, collegando i meccanismi computazionali direttamente alla severità dei sintomi clinici.

Articoli simili