🧬 biology

Theory of Subjective Entropy: Cognition as compression of information

Este artigo propõe a Teoria da Entropia Subjetiva, que formaliza a aleatoriedade como uma relação entre os dados e o modelo interno de um agente, demonstrando, por meio de experimentos, que a medida de compressibilidade do algoritmo Context-Tree Weighting prevê a precisão da predição de sequências humanas melhor do que os modelos tradicionais baseados em frequência.

Autores originais: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mikael Lindmark Moesgaard, Jakob Kargo Mortensen

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que o seu cérebro é um detetive superinteligente tentando resolver um mistério, mas o mistério é apenas um fluxo de eventos aleatórios, como uma moeda sendo lançada repetidamente. Por décadas, cientistas observaram esses eventos usando uma ferramenta chamada "entropia de Shannon", que basicamente pergunta: "Esta moeda é justa?" Se a moeda for justa, a resposta é "sim, é totalmente aleatória", e o detetive desiste, assumindo que não há padrão para encontrar. Mas e se o problema não for a moeda? E se o problema for o caderno do detetive? Este artigo mergulha em um canto fascinante da ciência chamado Teoria da Informação Algorítmica e Inferência Ativa. Pense na Teoria da Informação Algorítmica como o estudo de quanta "compressão" você pode fazer em um arquivo — como compactar uma pasta para torná-la menor. Se você conseguir compactá-la bem, há um padrão. Se ela continuar enorme, é verdadeiramente aleatória. A Inferência Ativa é a ideia de que nossos cérebros estão constantemente tentando diminuir sua própria "surpresa" ao prever o que acontece a seguir. Nós nos importamos com isso porque muda a forma como vemos o mundo: talvez o universo não seja caótico, mas nossos modelos internos simplesmente não sejam bons o suficiente para enxergar a ordem oculta.

Os autores, Mikael Lindmark Moesgaard e Jakob Kargo Mortensen, propõem uma nova ideia chamada Teoria da Entropia Subjetiva. A grande afirmação deles é que a "aleatoriedade" não é apenas uma propriedade da moeda ou da fonte; é uma relação entre a sequência de eventos e o modelo interno da pessoa que observa. Para testar isso, eles realizaram dois experimentos online com 159 participantes. Os participantes jogavam um jogo onde tinham que adivinhar a cor de um quadrado (azul ou laranja) que aparecia em suas telas. Os quadrados seguiam uma sequência binária (como 1s e 0s) que foi gerada para ser globalmente aleatória — ou seja, se você olhasse para o todo, pareceria um lançamento de moeda justa, sem padrões. No entanto, os pesquisadores usaram uma ferramenta matemática especial chamada algoritmo de Pesagem de Árvore de Contexto (CTW) para fatiar essas sequências em pequenos pedaços. Alguns pedaços eram "sub-entrópicos", o que significa que possuíam padrões ocultos e compressíveis que o modelo CTW conseguia detectar. Outros pedaços eram "super-entrópicos", o que significa que eram verdadeiramente bagunçados e incompressíveis.

Aqui está a reviravolta: embora a sequência inteira fosse aleatória, os participantes não adivinhavam aleatoriamente. O estudo descobriu que, quando a sequência entrava em uma região "sub-entrópica" (um pedaço com um padrão oculto), os participantes eram significativamente melhores em prever a próxima cor. Na verdade, quanto mais "compressível" era um pedaço (quanto mais o modelo CTW conseguia encolhê-lo), maior era a precisão dos participantes. O artigo sugere que os seres humanos estão agindo como esses modelos CTW, tentando constantemente encontrar o arquivo "zip" mais curto para os dados que veem. Quando encontram um padrão, tornam-se melhores em adivinhar.

Crucialmente, os autores descartaram algumas explicações mais simples. Eles mostraram que os participantes não estavam apenas contando quantos azuis ou laranjas haviam aparecido até agora (uma contagem de frequência simples); eles estavam realmente detectando estruturas mais profundas e complexas. Eles também compararam seus resultados com uma linha de base de "moeda justa" e descobriram que, embora a precisão geral orbitasse os 50% (chance), a precisão local em regiões com padrões era claramente superior. O artigo sugere que isso acontece porque nossos cérebros são movidos por um princípio chamado minimização de energia livre — basicamente, nossos cérebros odeiam ser surpreendidos, então buscam ativamente padrões para comprimir a informação e tornar o mundo mais previsível.

O estudo mediu isso com alta precisão. Ao longo de 89.520 tentativas, identificaram mais de 22.000 regiões "sub-entrópicas" e 22.000 regiões "super-entrópicas". Eles descobriram que, para cada bit extra de "compressão" (uma medida de quanto o padrão poderia ser encolhido) em uma região sub-entrópica, as chances de um acerto aumentavam. Em regiões super-entrópicas, onde nenhum padrão existia, a precisão dos participantes permanecia próxima ao acaso e, curiosamente, eles pareciam parar de procurar padrões à medida que as regiões bagunçadas ficavam mais longas, sugerindo que eram inteligentes o suficiente para saber quando desistir.

Então, o que isso significa? Sugere que, mesmo em um mundo que parece totalmente aleatório, nossos cérebros estão constantemente escaneando o "código postal" da realidade. Não vemos apenas ruído; vemos potencial estrutura. Se uma sequência tem um padrão oculto, mesmo que minúsculo, nossos modelos internos podem se agarrar a ele e melhorar nossas previsões. O artigo conclui que a "aleatoriedade" é subjetiva: uma sequência pode ser aleatória para um observador simples, mas cheia de ordem para um observador mais inteligente. Este framework não apenas explica como vocês adivinham cores em uma tela; oferece uma nova maneira de pensar sobre como todos os sistemas cognitivos processam informação, sugerindo que o próprio ato de pensar é o ato de comprimir o universo em algo que possamos compreender.

Resumo Técnico: Teoria da Entropia Subjetiva

Declaração do Problema

A teoria da informação clássica, especificamente a entropia de Shannon, define a aleatoriedade com base na distribuição da fonte abstrata que gera uma sequência. No entanto, esse arcabouço é insuficiente para explicar como agentes cognitivos percebem e predizem sequências finitas, particularmente quando uma sequência gerada por uma fonte aleatória (ex: uma moeda justa) contém estruturas localmente compressíveis que um agente pode explorar. Os autores argumentam que a aleatoriedade aparente não é uma propriedade intrínseca da fonte isoladamente, mas uma propriedade relacional entre a sequência e o modelo interno do agente. O problema central abordado é a falta de um arcabouço formal e computável para quantificar a "entropia subjetiva" — o grau em que uma sequência é compressível em relação ao modelo interno específico de um agente — e para explicar como isso se relaciona com a precisão preditiva na cognição humana.

Metodologia

Arcabouço Teórico

O artigo unifica a Teoria da Informação Algorítmica (AIT), a Teoria da Informação Clássica e a Inferência Ativa.

Entropia Subjetiva: Definida como o comprimento de código relativo ao modelo (ou complexidade algorítmica) de uma sequência binária finita. Uma sequência é "subjetivamente aleatória" se for incompressível sob o modelo interno do agente.
Limiar de Compressão ( $\tau$ ): Definido em 1 bit/bit (a taxa de entropia de uma moeda justa). Sequências com um comprimento de código médio $K < 1$ são sub-entrópicas (compressíveis); aquelas com $K \ge 1$ são super-entrópicas (incompressíveis).
O Algoritmo CTW: Os autores operacionalizam a entropia subjetiva usando o algoritmo Context-Tree Weighting (CTW). O CTW serve como uma aproximação computável da Indução de Solomonoff, fornecendo uma mistura bayesiana sobre todas as árvores de contexto até uma profundidade finita $D$ . Ele incorpora a Navalha de Occam (penalizando árvores mais profundas) e o Princípio de Epicuro (retendo todos os modelos consistentes).
Regiões Entrópicas: Os autores introduzem uma nova unidade de análise: regiões entrópicas. Estas são subsequências contíguas maximais onde o log-perda do CTW por tentativa ( $K_t$ ) permanece consistentemente abaixo ou acima do limiar $\tau$ . Isso permite a identificação de estruturas localmente compressíveis dentro de sequências globalmente aleatórias.
Elo com a Inferência Ativa: O arcabouço postula que agentes minimizam a energia livre variacional. Minimizar a energia livre corresponde a maximizar a precisão preditiva (termo de precisão) enquanto se controla a complexidade do modelo. Neste contexto, comprimir uma sequência (reduzir $K_{CTW}$ ) é equivalente a minimizar a energia livre, fornecendo uma explicação normativa para o porquê de os agentes deverem explorar a estrutura local.

Desenho Experimental

Dois experimentos online (A e B) foram conduzidos com uma amostra combinada de 159 participantes (148 incluídos na análise final) via plataforma Prolific.

Tarefa: Os participantes previam a cor (azul/1 ou laranja/0) de um quadrado em uma tarefa de predição de sequência binária de escolha forçada com feedback.
Estímulos: As sequências foram geradas para possuir entropia de Shannon próxima da máxima (globalmente aleatórias), mas foram projetadas para conter um número equilibrado de regiões sub-entrópicas e super-entrópicas baseadas no modelo CTW.
- O Experimento A usou um procedimento de geração onde as complexidades se agrupavam próximo ao limiar.
- O Experimento B empregou uma banda $\epsilon$ ao redor do limiar para garantir uma distribuição simétrica de regiões sub e super-entrópicas.
Análise: O estudo utilizou Modelos de Efeitos Mistos Generalizados (GLMM) com abordagens bayesianas e frequentistas.
- Análise ao nível de tentativa: Testou se a complexidade CTW por tentativa ( $K_t$ ) previa a correção, controlando para um estimador Krichevsky-Trofimov (KT) simples (modelo de Markov de ordem 0).
- Análise ao nível de região: Testou se a compressibilidade cumulativa (Área, $A_r$ ), a profundidade ( $d_r$ ) e o comprimento ( $L_r$ ) das regiões entrópicas previam a precisão e o acordo modelo-humano.

Principais Contribuições

Formalização da Entropia Subjetiva: O artigo propõe uma definição rigorosa de aleatoriedade como uma propriedade da relação entre uma sequência e um modelo interno, em vez da própria fonte. Ele operacionaliza isso usando a complexidade CTW.
Regiões Entrópicas: A introdução de "regios entrópicas" permite a decomposição de sequências globalmente aleatórias em segmentos localmente compressíveis (sub-entrópicos) e incompressíveis (super-entrópicos). Isso fornece uma interpretação geométrica da compressibilidade ( $Área = Comprimento \times Profundidade$ ).
Explicação Mecanística via Inferência Ativa: Os autores vinculam a compressão algorítmica ao Princípio da Energia Livre, argumentando que explorar a estrutura sub-entrópica é uma estratégia racional para minimizar a energia livre (maximizar o ajuste preditivo).
Aplicabilidade Universal: O arcabouço é apresentado como uma linguagem formal universal para quantificar o processamento de informação, aplicável a qualquer sequência binária, independentemente da fonte, desde que a sequência possa ser descrita em termos binários.

Resultados

Achados ao Nível de Tentativa

Complexidade Prediz Precisão: Uma maior complexidade CTW por tentativa ( $K_t$ ) previu significativamente uma menor probabilidade de uma resposta correta.
Além do Rastreamento de Frequência: Modelos de controle usando o estimador KT (que rastreia apenas frequências de símbolos) mostraram que, embora o rastreamento de frequência explique parte da variância, o ganho específico do CTW (a compressão adicional fornecida por árvores de contexto mais profundas) melhorou significativamente a predição da correção ao nível de tentativa. Isso indica que os humanos utilizam padrões estruturais mais profundos, não apenas contagens simples.

Achados ao Nível de Região

Vantagem Sub-Entrópica: Em regiões sub-entrópicas, maior compressibilidade cumulativa (Área, $A_r$ ) e maior profundidade ( $d_r$ ) predisseram significativamente uma maior precisão preditiva. O efeito do comprimento da região também foi positivo, sugerindo que a previsibilidade se acumula ao longo de extensos períodos de estrutura.
Desvantagem Super-Entrópica: Em regiões super-entrópicas, a relação foi diferente. Regiões super-entrópicas mais longas foram associadas a uma diminuição no acordo modelo-humano. Isso sugere que, à medida que os agentes persistem em uma região enganosa (super-entrópica), eles podem eventualmente retornar a um modelo basal (ex: um palpite de moeda justa) ou mudar de modelo, reduzindo a adesão à regra de predição do CTW.
Interpretação Geométrica: A interação entre comprimento e profundidade confirmou que os benefícios da compressibilidade são mais pronunciados quando a estrutura profunda é sustentada ao longo de regiões mais longas.

Comparação de Modelos

Os modelos baseados em CTW superaram significativamente tanto o estimador KT simples quanto o baseline de intercepto (nível de chance) na explicação dos dados, como evidenciado por menores escores AIC/BIC e testes de razão de verossimilhança significativos.

Significância e Alegações

O artigo afirma que a Teoria da Entropia Subjetiva oferece uma abordagem mais informativa para entender a predição de sequências do que a teoria da informação clássica sozinha.

Aleatoriedade Local vs. Global: Os achados apoiam a afirmação de que mesmo sequências globalmente aleatórias (alta entropia de Shannon) contêm estruturas localmente compressíveis que não são subjetivamente aleatórias para um agente com um modelo interno suficientemente complexo.
Base Normativa: Ao ancorar a teoria na Inferência Ativa, os autores fornecem uma explicação normativa de por que os agentes devem e de fato exploram essas estruturas locais: fazer isso minimiza a energia livre.
Implicações Metodológicas: Os autores alertam que, na psicologia experimental, variações não controladas de entropia subjetiva através de sequências de tentativas podem levar a falsos positivos. Se um experimento utiliza sequências com regiões sub-entrópicas ocultas, os participantes podem performar acima do acaso não devido à manipulação experimental, mas devido à explorabilidade da estrutura da sequência.
Linguagem Universal: Os autores concluem modestamente, posicionando a teoria como um "passo modesto" em direção a um relato universal da cognição como compressão de informação. Eles afirmam que, ao formalizar conceitos como padrões e estrutura através de sequências binárias e complexidade algorítmica, a psicologia cognitiva pode ser ancorada em primeiros princípios.

Os autores declaram explicitamente que o arcabouço pretende não apenas ser um relato da predição de sequências, mas uma linguagem formal universal para quantificar a aleatoriedade e o processamento de informação em sistemas cognitivos, desde que esses processos possam ser descritos em termos de sequências binárias.