Resumen Técnico: Teoría de la Entropía Subjetiva

Planteamiento del Problema

La teoría de la información clásica, específicamente la entropía de Shannon, define la aleatoriedad basándose en la distribución de la fuente abstracta que genera una secuencia. Sin embargo, este marco es insuficiente para explicar cómo los agentes cognitivos perciben y predicen secuencias finitas, particularmente cuando una secuencia generada por una fuente aleatoria (por ejemplo, una moneda justa) contiene estructuras localmente compresibles que un agente puede explotar. Los autores argumentan que la aleatoriedad aparente no es una propiedad intrínseca de la fuente por sí sola, sino una propiedad relacional entre la secuencia y el modelo interno del agente. El problema central abordado es la falta de un marco formal y computable para cuantificar la "entropía subjetiva" —el grado en que una secuencia es compresible en relación con el modelo interno específico de un agente— y para explicar cómo esto se relaciona con la precisión predictiva en la cognición humana.

Metodología

Marco Teórico

El artículo unifica la Teoría de la Información Algorítmica (AIT), la Teoría de la Información Clásica y la Inferencia Activa.

• Entropía Subjetiva: Definida como la longitud de código relativa al modelo (o complejidad algorítmica) de una secuencia binaria finita. Una secuencia es "subjetivamente aleatoria" si es incompresible bajo el modelo interno del agente.
• Umbral de Compresión ($\tau$): Establecido en 1 bit/bit (la tasa de entropía de una moneda justa). Las secuencias con una longitud de código promedio $K < 1$ son sub-entrópicas (compresibles); aquellas con $K \ge 1$ son super-entrópicas (incompresibles).
• El Algoritmo CTW: Los autores operacionalizan la entropía subjetiva utilizando el algoritmo Context-Tree Weighting (CTW). El CTW sirve como una aproximación computable de la Inducción de Solomonoff, proporcionando una mezcla bayesiana sobre todos los árboles de contexto hasta una profundidad finita $D$. Incorpora la Navaja de Occam (penalizando árboles más profundos) y el Principio de Epicuro (manteniendo todos los modelos consistentes).
• Regiones Entrópicas: Los autores introducen una nueva unidad de análisis: las regiones entrópicas. Estas son subsecuencias contiguas máximas donde la pérdida de logaritmo (log-loss) de CTW por ensayo ($K_t$) permanece consistentemente por debajo o por encima del umbral $\tau$. Esto permite la identificación de estructuras localmente compresibles dentro de secuencias globalmente aleatorias.
• Vínculo con la Inferencia Activa: El marco postula que los agentes minimizan la energía libre variacional. Minimizar la energía libre corresponde a maximizar la precisión predictiva (término de exactitud) mientras se controla la complejidad del modelo. En este contexto, comprimir una secuencia (reducir $K_{CTW}$) es equivalente a minimizar la energía libre, lo que proporciona una explicación normativa de por qué los agentes deberían explotar la estructura local.

Diseño Experimental

Se realizaron dos experimentos en línea (A y B) con una muestra combinada de 159 participantes (148 incluidos en el análisis final) a través de la plataforma Prolific.

• Tarea: Los participantes debían predecir el color (azul/1 u naranja/0) de un cuadrado en una tarea de predicción de secuencias binarias de elección forzada con retroalimentación.
• Estímulos: Las secuencias fueron generadas para tener una entropía de Shannon casi máxima (globalmente aleatorias) pero fueron diseñadas para contener un número equilibrado de regiones sub-entrópicas y super-entrópicas basadas en el modelo CTW.
  • El Experimento A utilizó un procedimiento de generación donde las complejidades se agrupaban cerca del umbral.
  • El Experimento B empleó una banda $\epsilon$ alrededor del umbral para asegurar una distribución simétrica de regiones sub y super-entrópicas.
• Análisis: El estudio utilizó Modelos Mixtos Lineales Generalizados (GLMM) con enfoques bayesianos y frecuentistas.
  • Análisis a nivel de ensayo: Evaluó si la complejidad de CTW por ensayo ($K_t$) predecía la corrección, controlando por un estimador Krichevsky-Trofimov (KT) simple (modelo de Markov de orden 0).
  • Análisis a nivel de región: Evaluó si la compresibilidad acumulada (Área, $A_r$), la profundidad ($d_r$) y la longitud ($L_r$) de las regiones entrópicas predecían la exactitud y el acuerdo entre el modelo y el humano.

Contribuciones Clave

1. Formalización de la Entropía Subjetiva: El artículo propone una definición rigurosa de la aleatoriedad como una propiedad de la relación entre una secuencia y un modelo interno, en lugar de la fuente misma. Lo operacionaliza utilizando la complejidad CTW.
2. Regiones Entrópicas: La introducción de las "regiones entrópicas" permite la descomposición de secuencias globalmente aleatorias en segmentos localmente compresibles (sub-entrópicos) e incompresibles (super-entrópicos). Esto proporciona una interpretación geométrica de la compresibilidad ($Área = Longitud \times Profundidad$).
3. Explicación Mecanicista vía Inferencia Activa: Los autores vinculan la compresión algorítmica con el Principio de Energía Libre, argumentando que explotar la estructura sub-entrópica es una estrategia racional para minimizar la energía libre (maximizar el ajuste predictivo).
4. Aplicabilidad Universal: El marco se presenta como un lenguaje formal universal para cuantificar el procesamiento de información en sistemas cognitivos, aplicable a cualquier secuencia binaria independientemente de la fuente, siempre que la secuencia pueda describirse en términos binarios.

Resultados

Hallazgos a Nivel de Ensayo

• La Complejidad Predice la Exactitud: Una mayor complejidad de CTW por ensayo ($K_t$) predijo significativamente una menor probabilidad de una respuesta correcta.
• Más allá del Seguimiento de Frecuencia: Los modelos de control que utilizan el estimador KT (que solo rastrea las frecuencias de los símbolos) mostraron que, si bien el seguimiento de la frecuencia explica parte de la varianza, la ganancia específica de CTW (la compresión adicional proporcionada por árboles de contexto más profundos) mejoró significativamente la predicción de la corrección por ensayo. Esto indica que los humanos utilizan patrones estructurales más profundos, no solo conteos simples.

Hallazgos a Nivel de Región

• Ventaja Sub-Entrópica: En las regiones sub-entrópicas, una mayor compresibilidad acumulada (Área, $A_r$) y una mayor profundidad ($d_r$) predijeron significativamente una mayor exactitud predictiva. El efecto de la longitud de la región también fue positivo, sugiriendo que la predictibilidad se potencia a lo largo de extensiones de estructura más largas.
• Desventaja Super-Entrópica: En las regiones super-entrópicas, la relación fue diferente. Las regiones super-entrópicas más largas se asociaron con una disminución en el acuerdo entre el modelo y el humano. Esto sugiere que, a medida que los agentes persisten en una región engañosa (super-entrópica), pueden eventualmente revertir a un modelo base (por ejemplo, una apuesta de moneda justa) o cambiar de modelo, reduando la adherencia a la regla de predicción de CTW.
• Interpretación Geométrica: La interacción entre longitud y profundidad confirmó que los beneficios de la compresibilidad son más pronunciados cuando la estructura profunda se mantiene durante regiones más largas.

Comparación de Modelos

• Los modelos basados en CTW superaron significativamente tanto al estimador KT simple como a una línea base de solo intercepto (nivel de azar) en la explicación de los datos, como lo evidencian los puntajes AIC/BIC más bajos y las pruebas de razón de verosimilitud significativas.

Significancia y Reivindicaciones

El artículo sostiene que la Teoría de la Entropía Subjetiva ofrece un enfoque más informativo para comprender la predicción de secuencias que la teoría de la información clásica por sí sola.

• Aleatoriedad Local vs. Global: Los hallazgos apoyan la afirmación de que incluso las secuencias globalmente aleatorias (alta entropía de Shannon) contienen estructuras localmente compresibles que no son subjetivamente aleatorias para un agente con un modelo interno suficientemente complejo.
• Base Normativa: Al anclar la teoría en la Inferencia Activa, los autores proporcionan una explicación normativa de por qué los agentes deberían y lo hacen explotar estas estructuras locales: hacerlo minimiza la energía libre.
• Implicaciones Metodológicas: Los autores advierten que, en la psicología experimental, las variaciones no controladas de la entropía subjetiva a través de las secuencias de los ensayos pueden conducir a falsos positivos. Si un experimento utiliza secuencias con regiones sub-entrópicas ocultas, los participantes pueden realizar por encima del azar no debido a la manipulación experimental, sino debido a la explotabilidad de la estructura de la secuencia.
• Lenguaje Universal: El artículo concluye modestamente, posicionando la teoría como un "paso modesto" hacia un relato universal de la cognición como la compresión de la información. Afirma que, al formalizar conceptos como patrones y estructura a través de secuencias binarias y complejidad algorítmica, la psicología cognitiva puede anclarse en principios fundamentales.

Los autores declaran explícitamente que el marco está destinado no meramente a ser un relato de la predicción de secuencias, sino un lenguaje formal universal para cuantificar la aleatoriedad y el procesamiento de información en sistemas cognitivos, siempre que estos procesos puedan describirse en términos de secuencias binarias.