🧬 biology

Theory of Subjective Entropy: Cognition as compression of information

Questo articolo propone la Teoria dell'Entropia Soggettiva, che formalizza la casualità come una relazione tra i dati e il modello interno di un agente, dimostrando attraverso esperimenti che la misura della comprimibilità dell'algoritmo Context-Tree Weighting predice l'accuratezza della previsione di sequenze umana meglio dei tradizionali modelli basati sulla frequenza.

Autori originali: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immagina che il tuo cervello sia un detective super intelligente che cerca di risolvere un mistero, ma il mistero è solo un flusso di eventi casuali, come una moneta che viene lanciata ripetutamente. Per decenni, gli scienziati hanno osservato questi eventi usando uno strumento chiamato "entropia di Shannon", che fondamentalmente chiede: "Questa moneta è equa?". Se la moneta è equa, la risposta è "sì, è totalmente casuale", e il detective si arrende, assumendo che non ci sia alcun modello da trovare. Ma se il problema non fosse la moneta? E se il problema fosse il taccuino del detective? Questo articolo esplora un angolo affascinante della scienza chiamato Teoria dell'Informazione Algoritmica e Inferenza Attiva. Pensa alla Teoria dell'Informazione Algoritmica come allo studio di quanta "compressione" puoi fare su un file—come quando comprimi una cartella per renderla più piccola. Se riesci a comprimerla strettamente, c'è un modello. Se rimane enorme, è veramente casuale. L'Inferenza Attiva è l'idea che i nostri cervelli cerchino costantemente di rimpicciolire la propria "sorpresa" prevedendo cosa accadrà dopo. Ci interessa perché questo cambia il modo in cui vediamo il mondo: forse l'universo non è caotico, ma i nostri modelli interni non sono abbastanza buoni da vedere l'ordine nascosto.

Gli autori, Mikael Lindmark Moesgaard e Jakob Kargo Mortensen, propongono una nuova idea chiamata Teoria dell'Entropia Soggettiva. La loro grande affermazione è che la "casualità" non è solo una proprietà della moneta o della sorgente; è una relazione tra la sequenza di eventi e il modello interno della persona che osserva. Per testare questo, hanno condotto due esperimenti online con 159 partecipanti. I partecipanti giocavano a un gioco in cui dovevano indovinare il colore di un quadrato (blu o arancione) che appariva sul loro schermo. I quadrati seguivano una sequenza binaria (come 1 e 0) che era stata generata per essere globalmente casuale—ovvero, se guardassi l'intera sequenza, sembrava il lancio di una moneta equa senza schemi. Tuttavia, i ricercatori hanno utilizzato uno speciale strumento matematico chiamato algoritmo Context-Tree Weighting (CTW) per suddividere queste sequenze in piccoli segmenti. Alcuni segmenti erano "sub-entropici", ovvero avevano modelli nascosti e comprimibili che il modello CTW poteva individuare. Altri segmenti erano "super-entropici", ovvero erano veramente disordinati e incomprimibili.

Ecco il colpo di scena: anche se l'intera sequenza era casuale, i partecipanti non indovinavano a caso. Lo studio ha scoperto che quando la sequenza cadeva in una regione "sub-entropica" (un segmento con un modello nascosto), i partecipanti erano significativamente più bravi a prevedere il colore successivo. Infatti, più un segmento era "comprimibile" (più il modello CTW riusciva a rimpicciolirlo), maggiore era l'accuratezza dei partecipanti. Il documento suggerisce che gli esseri umani agiscono come questi modelli CTW, cercando costantemente il file "zip" più corto per i dati che vedono. Quando trovano un modello, diventano più bravi a indovinare.

Fondamentalmente, gli autori hanno escluso alcune spiegazioni più semplici. Hanno dimostrato che i partecipanti non stavano solo contando quanti blu o arancioni erano apparsi finora (un semplice conteggio delle frequenze); stavano effettivamente rilevando strutture più profonde e complesse. Hanno anche confrontato i loro risultati con un valore di base di una "moneta equa" e hanno scoperto che, mentre l'accuratezza complessiva oscillava vicino al 50% (il caso), l'accuratezza locale nelle regioni con schemi era chiaramente più alta. Il documento suggerisce che questo accade perché i nostri cervelli sono guidati da un principio chiamato minimizzazione della libera energia—in pratica, i nostri cervelli odiano essere sorpresi, quindi cercano attivamente schemi per comprimere l'informazione e rendere il mondo più prevedibile.

Lo studio ha misurato questo con alta precisione. Attraverso 89.520 prove, hanno identificato oltre 22.000 regioni "sub-entropiche" e 22.000 regioni "super-entropiche". Hanno scoperto che per ogni bit extra di "compressione" (una misura di quanto il modello potesse essere rimpicciolito) in una regione sub-entropica, le probabilità di un indovino corretto aumentavano. Nelle regioni super-entropiche, dove non esisteva alcun modello, l'accuratezza dei partecipanti rimaneva vicina al caso e, cosa interessante, sembravano smettere di cercare schemi man mano che le regioni disordinate si allungavano, suggerendo che fossero abbastanza intelligenti da sapere quando arrendersi.

Quindi, cosa significa questo? Suggerisce che anche in un mondo che appare totalmente casuale, i nostri cervelli stanno costantemente scansionando il "codice postale" della realtà. Non vediamo solo rumore; vediamo un potenziale ordine. Se una sequenza ha un modello nascosto, anche uno minuscolo, i nostri modelli interni possono aggrapparsi ad esso e migliorare le nostre previsioni. Il documento conclude che la "casualità" è soggettiva: una sequenza può essere casuale per un osservatore semplice ma piena di ordine per uno più intelligente. Questo quadro non spiega solo come indoviniamo i colori su uno schermo; offre un nuovo modo per pensare a come tutti i sistemi cognitivi elaborano l'informazione, suggerendo che l'atto stesso di pensare sia l'atto di comprimere l'universo in qualcosa che possiamo comprendere.

Sintesi Tecnica: Teoria dell'Entropia Soggettiva

Definizione del Problema

La teoria dell'informazione classica, specificamente l'entropia di Shannon, definisce la casualità basandosi sulla distribuzione della sorgente astratta che genera una sequenza. Tuttavia, questo framework è insufficiente per spiegare come gli agenti cognitivi percepiscano e prevedano sequenze finite, specialmente quando una sequenza generata da una sorgente casuale (ad esempio, un lancio di moneta equo) contiene strutture localmente comprimibili che un agente può sfruttare. Gli autori sostengono che la casualità apparente non è una proprietà intrinseca della sola sorgente, ma una proprietà relazionale tra la sequenza e il modello interno dell'agente. Il problema centrale affrontato è la mancanza di un framework formale e computabile per quantificare l' "entropia soggettiva" — ovvero il grado in cui una sequenza è comprimibile rispetto al modello interno specifico di un agente — e per spiegare come ciò si relazioni all'accuratezza predittiva nella cognizione umana.

Metodologia

Framework Teorico

Il documento unifica la Teoria dell'Informazione Algoritmica (AIT), la Teoria dell'Informazione Classica e l' Inferenza Attiva.

Entropia Soggettiva: Definita come la lunghezza del codice (o complessità algoritmica) relativa al modello di una sequenza binaria finita. Una sequenza è "soggettivamente casuale" se è incomprimibile rispetto al modello interno dell'agente.
Soglia di Compressione ( $\tau$ ): Impostata a 1 bit/bit (il tasso di entropia di una moneta equa). Le sequenze con una lunghezza media del codice $K < 1$ sono sub-entropiche (comprimibili); quelle con $K \ge 1$ sono super-entropiche (incomprimibili).
L'Algoritmo CTW: Gli autori operazionalizzano l'entropia soggettiva utilizzando l'algoritmo Context-Tree Weighting (CTW). Il CTW funge da approssimazione computabile dell'Induzione di Solomonoff, fornendo una miscela bayesiana su tutti i contest-tree fino a una profondità finita $D$ . Esso incorpora il Rasoio di Occam (penalizzando gli alberi più profondi) e il Principio di Epicuro (mantenendo tutti i modelli coerenti).
Regioni Entropiche: Gli autori introducono una nuova unità di analisi: le regioni entropiche. Queste sono sottosequenze contigue massimali in cui la perdita di logaritmo (log-loss) trial-wise del CTW ( $K_t$ ) rimane costantemente al di sotto o al di sopra della soglia $\tau$ . Ciò consente l'identificazione di strutture localmente comprimibili all'interno di sequenze globalmente casuali.
Collegamento con l'Inferenza Attiva: Il framework postula che gli agenti minimizzino l'energia libera variazionale. Minimizzare l'energia libera corrisponde a massimizzare l'accuratezza predittiva (termine di accuratezza) controllando al contempo la complessità del modello. In questo contesto, comprimere una sequenza (riducendo $K_{CTW}$ ) è equivalente a minimizzare l'energia libera, fornendo una spiegazione normativa sul perché gli agenti debbano sfruttare la struttura locale.

Design Sperimentale

Sono stati condotti due esperimenti online (A e B) con un campione combinato di 159 partecipanti (148 inclusi nell'analisi finale) tramite la piattaforma Prolific.

Task: I partecipanti dovevano prevedere il colore (blu/1 o arancione/0) di un quadrato in un compito di predizione di sequenze binarie a scelta forzata con feedback.
Stimoli: Le sequenze sono state generate per avere un'entropia di Shannon quasi massima (globalmente casuali), ma sono state progettate per contenere un numero bilanciato di regioni sub-entropiche e super-entropiche basate sul modello CTW.
- L'Esperimento A ha utilizzato una procedura di generazione in cui le complessità si raggruppavano vicino alla soglia.
- L'Esperimento B ha impiegato una banda $\epsilon$ attorno alla soglia per garantire una distribuzione simmetrica di regioni sub- e super-entropiche.
Analisi: Lo studio ha utilizzato Modelli Lineari Generalizzati a Effetti Misti (GLMM) con approcci sia bayesiani che frequentisti.
- Analisi a livello di trial: È stato testato se la complessità CTW per trial ( $K_t$ ) predicesse la correttezza, controllando per un semplice stimatore Krichevsky-Trofimov (modello di Markov di ordine 0).
- Analisi a livello di regione: È stato testato se la comprimibilità cumulativa (Area, $A_r$ ), la profondità ( $d_r$ ) e la lunghezza ( $L_r$ ) delle regioni entropiche predissero l'accuratezza e l'accordo modello-uomo.

Contributi Chiave

Formalizzazione dell'Entropia Soggettiva: Il documento propone una definizione rigorosa di casualità come proprietà della relazione tra una sequenza e un modello interno, piuttosto che della sorgente stessa. La operazionalizza utilizzando la complessità CTW.
Regioni Entropiche: L'introduzione delle "regioni entropiche" permette di decomporre sequenze globalmente casuali in segmenti localmente comprimibili (sub-entropici) e incomprimibili (super-entropici). Ciò fornisce un'interpretazione geometrica della comprimibilità ( $Area = Lunghezza \times Profondità$ ).
Spiegazione Meccanicistica tramite l'Inferenza Attiva: Gli autori collegano la compressione algoritmica al Principio dell'Energia Libera, sostenendo che sfruttare la struttura sub-entropica è una strategia razionale per minimizzare l'energia libera (massimizzare l'adattamento predittivo).
Universalità dell'Applicazione: Il framework è presentato come un linguaggio formale universale per quantificare l'elaborazione dell'informazione, applicabile a qualsiasi sequenza binaria indipendentemente dalla sorgente, purché la sequenza possa essere descritta in termini binari.

Risultati

Risultati a Livello di Trial

La Complessità Predice l'Accuratezza: Una maggiore complessità CTW per trial ( $K_t$ ) ha predetto significativamente una minore probabilità di risposta corretta.
Oltre il Tracciamento delle Frequenze: I modelli di controllo che utilizzano lo stimatore KT (che traccia solo le frequenze dei simboli) hanno mostrato che, sebbene il tracciamento delle frequenze spieghi parte della varianza, il guadagno specifico del CTW (la compressione aggiuntiva fornita da alberi di contesto più profondi) ha migliorato significativamente la predizione della correttezza a livello di trial. Ciò indica che gli esseri umani utilizzano pattern strutturali più profondi, non solo semplici conteggi.

Risultaggi a Livello di Regione

Vantaggio Sub-Entropico: Nelle regioni sub-entropiche, una maggiore comprimibilità cumulativa (Area, $A_r$ ) e una maggiore profondità ( $d_r$ ) hanno predetto significativamente una maggiore accuratezza predittiva. L'effetto della lunghezza della regione è stato positivo, suggerendo che la prevedibilità si accumula su archi di struttura più lunghi.
Svantaggio Super-Entropico: Nelle regioni super-entropiche, la relazione era differente. Regioni super-entropiche più lunghe sono state associate a una diminuzione dell'accordo modello-uomo. Ciò suggerisce che man mano che gli agenti persistono in una regione fuorviante (super-entropica), possono eventualmente tornare a un modello di base (ad esempio, una scelta casuale di moneta equa) o cambiare modello, riducendo l'aderenza alla regola di predizione del CTW.
Interpretazione Geometrica: L'interazione tra lunghezza e profondità ha confermato che i benefici della comprimibilità sono più pronunciati quando una struttura profonda è sostenuta su regioni più lunghe.

Confronto tra Modelli

I modelli basati su CTW hanno superato significativamente sia il semplice stimatore KT che un baseline di intercetta (livello del caso) nel spiegare i dati, come dimostrato da punteggi AIC/BIC inferiori e test di rapporto di verosimiglianza significativi.

Significato e Rivendicazioni

Il documento sostiene che la Teoria dell'Entropia Soggettiva offre un approccio più informativo alla predizione delle sequenze rispetto alla sola teoria dell'informazione classica.

Casualità Locale vs Globale: I risultati supportano la tesi secondo cui anche le sequenze globalmente casuali (alta entropia di Shannon) contengono strutture localmente comprimibili che non sono soggettivamente casuali per un agente dotato di un modello interno sufficientemente complesso.
Base Normativa: Ancorando la teoria all'Inferenza Attiva, gli autori forniscono una spiegazione normativa sul perché gli agenti debbano (e lo facciano) sfruttare queste strutture locali: farlo minimizza l'energia libera.
Implicazioni Metodologiche: Gli autori avvertono che, nella psicologia sperimentale, variazioni incontrollate dell'entropia soggettiva attraverso le sequenze dei trial potrebbero portare a falsi positivi. Se un esperimento utilizza sequenze con regioni sub-entropiche nascoste, i partecipanti potrebbero performare sopra il caso non a causa della manipolazione sperimentale, ma a causa della sfruttabilità della struttura della sequenza.
Linguaggio Universale: Gli autori concludono con modestia, ponendo la teoria come un "modesto passo" verso un account universale della cognizione come compressione dell'informazione. Affermano che, formalizzando concetti come pattern e struttura attraverso sequenze binarie e complessità algoritmica, la psicologia cognitiva può essere ancorata ai primi principi.

Gli autori dichiarano esplicitamente che il framework è inteso non solo come un account della predizione di sequenze, ma come un linguaggio formale universale per quantificare la casualità e l'elaborazione dell'informazione nei sistemi cognitivi, a condizione che tali processi possano essere descritti in termini di sequenze binarie.