Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty

Los autores presentan un marco normativo y computacional basado en modelos ocultos de Markov y filtrado de partículas para inferir la volatilidad y la estocasticidad a partir de resultados binarios, validando experimentalmente que los seres humanos ajustan sus tasas de aprendizaje de manera consistente con estas predicciones teóricas.

Lo esencial

Imagina que estás intentando adivinar el clima de una ciudad donde nunca has estado. Solo tienes dos formas de obtener información: mirando por la ventana (que a veces está empañada) o preguntándole a un vecino (que a veces miente o se equivoca).

Este artículo de investigación trata sobre cómo nuestro cerebro aprende cuando la información es confusa y solo nos da resultados de "sí" o "no" (como ganar o perder, llover o no llover).

Aquí tienes la explicación sencilla, usando analogías:

1. El Gran Problema: ¿Es el mundo loco o es mi suerte mala?

Cuando algo sale mal o no es como esperabas, tu cerebro se hace una pregunta crucial:

• Opción A (Volatilidad): "¿El mundo ha cambiado?" (Ejemplo: El vecino de antes era amable, pero hoy es grosero. ¡El clima ha cambiado! Necesito aprender rápido y ajustar mis expectativas).
• Opción B (Estocasticidad/Ruido): "¿Fue solo un accidente?" (Ejemplo: El vecino siempre es amable, pero hoy estaba de mal humor por un dolor de cabeza. El mundo no cambió, fue solo un ruido. No debo cambiar mi opinión, debo ser paciente).

El problema es que, a veces, ambas cosas se ven igual. Si el vecino te grita, no sabes si es porque se volvió loco (volatilidad) o porque tuvo un mal día (ruido). Si no distingues entre los dos, aprendes mal: o te vuelves demasiado nervioso y cambias de opinión por todo, o te vuelves demasiado rígido y no te adaptas cuando el mundo realmente cambia.

2. Lo que hacían los científicos antes (y por qué fallaba)

Antes, los científicos usaban fórmulas matemáticas diseñadas para cosas que tienen muchos valores (como la temperatura: 20°C, 20.5°C, 21°C...). Pero la vida real a menudo es binaria: "Lluvia" o "No lluvia".
Usar esas fórmulas antiguas para datos binarios es como intentar medir el volumen de un vaso de agua usando una regla de centímetros en lugar de una taza de medir. Funciona "más o menos", pero introduce errores y confusiones. Los modelos anteriores no podían separar bien si el error venía del mundo cambiante o de la mala suerte.

3. La Nueva Solución: El "Detective de Partículas" (PF-HMM)

Los autores (Xiaotong Fang y Payam Piray) crearon un nuevo modelo llamado PF-HMM. Imagínalo así:

• El HMM (El Mapa): Es como tener un mapa mental que dice: "Si el vecino es amable, hay un 80% de probabilidad de que me sonría. Si es grosero, hay un 20%". Este mapa es perfecto para situaciones de "sí/no".
• El PF (Las Partículas): Como no sabemos si el vecino es realmente amable o grosero, ni si el clima cambia rápido o lento, el modelo crea miles de "detectives imaginarios" (partículas).
  • Algunos detectives creen: "¡El vecino es amable y el clima es estable!"
  • Otros creen: "¡El vecino es grosero y el clima cambia cada minuto!"
  • Otros creen: "¡El vecino es amable pero hoy tiene un mal día!"

Cada vez que ocurre un evento (el vecino grita), el modelo mira a todos sus detectives. ¿Cuáles tenían razón?

• Si gritó porque el clima cambió, los detectives que creían en "cambio de clima" ganan puntos.
• Si gritó porque fue un mal día, los detectives que creían en "ruido" ganan puntos.

Con el tiempo, los detectives equivocados se desvanecen y los correctos toman el control. Así, el modelo aprende a distinguir si el mundo cambió o si fue solo un accidente.

4. La Experimentación: El Juego de la Playa

Para probar esto, hicieron un experimento con humanos.

• La historia: Los participantes tenían que adivinar por qué lado de la playa iría un león marino a buscar tesoros.
• Las reglas ocultas:
  1. A veces el león cambiaba de lado muy a menudo (Alta Volatilidad).
  2. A veces las olas movían el tesoro al lado contrario por accidente (Alta Estocasticidad).
  3. Combinaron estas reglas en 4 escenarios diferentes.

El resultado: ¡Funcionó! Los humanos son genios naturales.

• Cuando el león cambiaba mucho (alta volatilidad), la gente aprendía rápido (cambiaba de opinión rápido).
• Cuando las olas hacían travesuras (alta estocasticidad), la gente aprendía lento (esperaba a ver más datos antes de cambiar de opinión).
• Además, cuando era difícil saber si era el león o las olas (ambos confundidos), la gente tardaba más en responder, como si su cerebro estuviera "pensando más duro" para resolver el misterio.

5. ¿Por qué importa esto? (Más allá del laboratorio)

Esto es vital para entender la salud mental.

• Depresión y ansiedad: A veces, las personas con depresión pueden interpretar un "ruido" (un error aleatorio, como que un amigo no conteste el teléfono) como un "cambio en el mundo" ("¡Me odian, soy un fracaso!").
• Nuestro modelo sugiere que si el cerebro no sabe distinguir entre "ruido" y "cambio real", puede crear ciclos de pensamiento negativo. Si pudiéramos entender mejor cómo el cerebro hace esta distinción, podríamos ayudar a tratar estas condiciones.

En resumen

Este paper nos dice que nuestro cerebro tiene una capacidad increíble para ser un "detective de probabilidades". No solo aprende de los errores, sino que intenta adivinar por qué ocurrió el error: ¿fue porque el mundo cambió o fue solo mala suerte? Los autores crearon una nueva herramienta matemática (PF-HMM) que imita perfectamente este proceso humano, ayudándonos a entender cómo aprendemos en un mundo lleno de incertidumbre y cómo a veces fallamos al hacerlo.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Inferring the causes of noise from binary outcomes: A normative theory of learning under uncertainty" (Inferencia de las causas del ruido a partir de resultados binarios: Una teoría normativa del aprendizaje bajo incertidumbre), escrito por Xiaotong Fang y Payam Piray.

1. El Problema: Inferencia de Fuentes de Ruido en Entornos Binarios

El aprendizaje bajo incertidumbre es fundamental para la toma de decisiones, pero presenta un desafío computacional crítico: distinguir entre dos fuentes distintas de ruido que generan resultados inesperados:

• Volatilidad: Cambios reales en el estado oculto del entorno (el entorno cambia).
• Estocasticidad: Ruido en la observación o en la generación de resultados, donde el estado oculto es estable pero las observaciones son inexactas (el entorno es ruidoso).

La limitación de los modelos existentes:
La mayoría de los modelos previos para inferir estas variables se basan en el Filtro de Kalman, diseñado para resultados continuos. Para aplicarlos a datos binarios (éxito/fracaso, premio/sin premio), estos modelos utilizan aproximaciones ad hoc (como transformaciones sigmoides). Esto introduce inconsistencias teóricas:

1. No separan explícitamente la estocasticidad como un parámetro independiente.
2. Predicen erróneamente que la tasa de aprendizaje aumenta ante cualquier sorpresa, incluso cuando la volatilidad es cero (confundiendo el ruido estocástico con cambios de estado).
3. Fallos para inferir simultáneamente ambas variables cuando ambas son desconocidas.

El objetivo del artículo es desarrollar un marco normativo que infiera la causa del ruido (volatilidad vs. estocasticidad) directamente desde resultados binarios, respetando su naturaleza discreta.

2. Metodología y Marco Teórico

Los autores proponen un nuevo enfoque basado en Modelos Ocultos de Markov (HMM) combinados con Filtrado de Partículas (PF).

A. Modelo Generativo (HMM para Resultados Binarios)

En lugar de adaptar modelos continuos, construyen un modelo generativo nativo para variables binarias:

• Estado Oculto ($x_t$): Binario (0 o 1), que evoluciona en el tiempo.
• Volatilidad ($v$): Probabilidad de que el estado oculto cambie entre pasos de tiempo.
• Estocasticidad ($s$): Probabilidad de que la observación ($o_t$) sea incorrecta respecto al estado oculto real.
• Inferencia Óptima: Cuando $v$ y $s$ son conocidos, la inferencia del estado oculto es analíticamente tratable mediante ecuaciones de actualización recursiva (Bayesiana exacta) dentro del marco HMM, sin necesidad de aproximaciones.

B. El Modelo PF-HMM (Inferencia de Parámetros Desconocidos)

En escenarios reales, ni la volatilidad ni la estocasticidad son conocidas a priori. Para resolver esto, los autores desarrollan el modelo PF-HMM:

• Extensión: Se asume que tanto $v_t$ como $s_t$ son variables latentes que evolucionan dinámicamente (procesos de difusión).
• Algoritmo: Utilizan Filtrado de Partículas (Particle Filtering) para estimar la distribución posterior de los parámetros de ruido ($v$ y $s$) en cada ensayo.
• Rao-Blackwellized PF: Combinan la eficiencia del HMM (para inferir el estado oculto dado un par de parámetros) con el PF (para inferir los parámetros mismos). Esto permite un aprendizaje online y adaptativo de ambas fuentes de incertidumbre.

C. Validación Experimental

Se diseñó una tarea de aprendizaje de reversión probabilística con un diseño factorial 2x2:

• Tarea "Sea Lion" (León Marino): 73 participantes humanos. Predicción de dónde aparecerá un tesoro basado en el comportamiento de un león marino (volatilidad) y las olas (estocasticidad).
• Tarea "Turtle" (Tortuga): 30 participantes. Tarea idéntica estructuralmente pero enfocada en la evitación de pérdidas.
• Manipulación: Se variaron sistemáticamente los niveles de volatilidad y estocasticidad en cuatro bloques distintos.

3. Contribuciones Clave

1. Marco Normativo para Datos Binarios: Se establece un modelo generativo basado en HMM que es matemáticamente exacto para resultados binarios, evitando las inconsistencias de las aproximaciones del Filtro de Kalman.
2. Algoritmo PF-HMM: Se introduce un modelo computacional capaz de inferir simultáneamente la volatilidad y la estocasticidad a partir de resultados binarios sin conocimiento previo de los parámetros.
3. Diseño Experimental 2x2: Se demuestra empíricamente que los humanos pueden disociar estas dos fuentes de ruido, algo que modelos anteriores no podían predecir ni explicar adecuadamente.
4. Análisis de "Lesiones" (Ablation): Se simulan modelos donde se elimina la capacidad de inferir uno de los dos tipos de ruido, prediciendo patrones de aprendizaje maladaptativos (e.g., si no se infiere estocasticidad, el modelo atribuye todo el ruido a volatilidad, aumentando la tasa de aprendizaje de forma patológica).

4. Resultados Principales

Simulaciones Computacionales

• Tasas de Aprendizaje Óptimas: El modelo HMM óptimo (con parámetros conocidos) predice que la tasa de aprendizaje debe aumentar con la volatilidad (para adaptarse rápido a cambios) y disminuir con la estocasticidad (para promediar más datos y filtrar el ruido).
• Desempeño del PF-HMM: El modelo PF-HMM (sin parámetros conocidos) logra recuperar con precisión los valores reales de volatilidad y estocasticidad, mostrando una sensibilidad selectiva (la estimación de volatilidad no se ve afectada por cambios en la estocasticidad y viceversa).
• Efectos de Ablación: Los modelos lesionados muestran patrones inversos y erróneos, atribuyendo el ruido de la fuente eliminada a la fuente restante, lo que sugiere mecanismos de disfunción en trastornos psiquiátricos.

Resultados Conductuales (Humanos)

• Dissociación Conductual: Los participantes ajustaron sus tasas de aprendizaje consistentemente con las predicciones del modelo normativo:
  • Alta Volatilidad: Aumentaron la tasa de aprendizaje ($t(72) = +5.286, p < 0.001$).
  • Alta Estocasticidad: Disminuyeron la tasa de aprendizaje ($t(72) = -4.302, p < 0.001$).
• Tiempo de Respuesta (RT): Se encontró una relación significativa entre la dificultad de inferencia y la velocidad de respuesta. Cuando la variabilidad de la verosimilitud entre partículas era baja (dificultad para distinguir la fuente de ruido), los participantes respondieron más lentamente, lo que valida el mecanismo computacional subyacente del modelo.
• Generalización: Los resultados se replicaron en la tarea de "Tortuga" (aprendizaje de pérdidas), demostrando que el mecanismo es independiente de la valencia (premio vs. castigo).

Comparación de Modelos

• Mediante selección de modelos bayesianos, el PF-HMM superó significativamente a modelos alternativos como el Filtro Gaussiano Jerárquico (HGF) binario y el modelo de Asociabilidad de Pearce-Hall (PHA).
• El PF-HMM fue el modelo más frecuente en todos los conjuntos de datos probados (incluyendo datos públicos previos), con probabilidades de excedencia protegida de 1.00.

5. Significado e Implicaciones

• Teoría del Aprendizaje: Proporciona una solución teórica rigurosa al problema de la inferencia de ruido en entornos binarios, corrigiendo las limitaciones de los modelos basados en Kalman.
• Psiquiatría Computacional: El marco ofrece una nueva lente para entender trastornos como la depresión, la ansiedad y la esquizofrenia.
  • Se sugiere que la depresión podría estar relacionada con una incapacidad para inferir la estocasticidad, llevando a que los errores aleatorios se atribuyan erróneamente a cambios en el entorno (volatilidad) o a fallos personales, perpetuando el auto-culpa.
  • Los modelos lesionados del PF-HMM sirven como hipótesis computacionales para disfunciones transdiagnósticas.
• Aprendizaje Latente y Estructural: La capacidad de disociar volatilidad y estocasticidad es crucial para la inferencia de causas latentes y el aprendizaje estructural, permitiendo agrupar observaciones bajo causas compartidas correctamente.
• Planificación y Control: El trabajo sienta las bases para integrar la estimación de incertidumbre en marcos de aprendizaje por refuerzo y planificación, un desafío abierto en la neurociencia cognitiva.

En conclusión, el artículo establece un nuevo estándar para modelar el aprendizaje bajo incertidumbre en entornos binarios, demostrando que los humanos poseen mecanismos computacionales sofisticados para disociar la volatilidad del entorno del ruido de la observación, y ofreciendo un marco para estudiar cómo estos mecanismos fallan en condiciones clínicas.