🧬 biology

ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

Este artículo presenta ML-PWS, un método que combina el aprendizaje automático con el Muestreo de Pesos de Trayectoria para estimar un límite inferior riguroso de las tasas de transmisión de información a partir de datos de series temporales experimentales sin requerir un modelo estocástico previo.

Autores originales: Manuel Reinhardt, Gašper Tkačik, Pieter Rein ten Wolde

Publicado 2026-08-11

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manuel Reinhardt, Gašper Tkačik, Pieter Rein ten Wolde

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar cuánto se está transmitiendo un mensaje secreto entre dos personas, Alice y Bob, que hablan a través de un walkie-talkie con mucho ruido. En el mundo de la ciencia, esto se llama "transmisión de información". Ya sean neuronas en un cerebro disparando señales, un mercado de valores reaccionando a las noticias o una célula detectando su entorno, los científicos quieren saber: ¿Qué tan rápido y qué tan claramente se está transmitiendo la historia? La forma estándar de medir esto se llama "tasa de información". Es como contar cuántas palabras únicas puede decir Alice por segundo que Bob realmente entiende, ignorando la estática y los malentendidos.

El problema es que los señales de la vida real no son palabras simples; son trayectorias de datos complejas y sinuosas que cambian cada milisegundo. Intentar calcular la tasa de información para estas trayectorias desordenadas y de alta dimensión es como intentar contar cada grano de arena en una playa mientras sopla un huracán. Los métodos matemáticos tradicionales a menudo fallan porque los datos son demasiado complicados, y o bien adivinan demasiado o se quedan atrapados en el ruido. Los científicos han estado buscando una manera de medir esta "tasa de información" directamente desde los datos mismos, sin necesidad de conocer las reglas exactas del juego de antemano.

Aquí es donde entra en escena un nuevo método llamado ML-PWS, desarrollado por los investigadores Manuel Reinhardt, Gašper Tkačik y Pieter Rein ten Wolde. Piensa en su enfoque como un truco de magia ingenioso de dos pasos. Primero, utilizan un "modelo generativo" —un tipo de inteligencia artificial que actúa como un estudiante superinteligente— para estudiar los datos desordenados y aprender cómo se comporta el sistema. Es como si el estudiante observara a Alice y Bob hablar durante horas y luego construyera una simulación perfecta de su estilo de conversación. Pero aquí está el giro: tener solo una simulación no es suficiente para obtener un número preciso.

Ahí es donde el segundo paso, llamado Path Weight Sampling (PWS), entra en escena. Imagina que el estudiante de IA ha construido un mapa de todas las conversaciones posibles. PWS es una técnica matemática rigurosa que recorre este mapa, comprobando cada trayectoria posible que la conversación podría haber tomado para ver qué tan probable es. Al combinar el "mapa" aprendido por la IA con este cuidadoso recorrido matemático, los investigadores pueden calcular un límite inferior riguroso de la tasa de información. En lenguaje sencillo, esto significa que pueden decir con absoluta certeza: "La información fluye a al menos esta velocidad". Demostraron que esto funciona probándolo en datos falsos donde ya conocían la respuesta exacta, y su método dio en el blanco perfectamente, mientras que otros métodos populares o adivinaban demasiado bajo o obtenían la respuesta incorrecta. Incluso lo aplicaron a datos reales de neuronas de salamandra, mostrando que esta nueva herramienta puede medir cuánta información está compartiendo realmente un grupo de células cerebrales, revelando que cuando las células trabajan juntas, a veces se repiten, lo que reduce la velocidad total de la información.

La idea central: Aprender las reglas para contar los secretos

El artículo aborda un problema difícil: ¿cómo se mide cuánta información fluye a través de un sistema cuando no conoces las reglas subyacentes? Normalmente, para calcular la "tasa de información", necesitas conocer la probabilidad exacta de cada resultado posible. Si tienes un modelo matemático del sistema (como un conjunto de ecuaciones que describen cómo dispara una neurona), puedes usar una técnica llamada Path Weight Sampling (PWS) para obtener una respuesta exacta. Es como tener el libro de reglas de un juego de mesa; puedes calcular las probabilidades de ganar perfectamente.

Pero en el mundo real, rara vez tenemos el libro de reglas. Solo tenemos los "datos de series temporales" —una grabación de lo que sucedió. Vemos la entrada (el estímulo) y la salida (la respuesta), pero no conocemos la matemática oculta que los conecta. Los métodos anteriores intentaron adivinar las reglas usando aproximaciones (como asumir que todo es una simple curva de campana) o mediante otros trucos de aprendizaje automático que a menudo daban resultados poco fiables, ya fuera subestimando la información o fallando por completo cuando los datos se volvían demasiado complejos.

La solución: La IA como detective, la matemática como juez

Los autores proponen ML-PWS, un método híbrido que combina lo mejor de dos mundos.

El Detective (Aprendizaje Automático): Primero, introducen los datos de series temporales experimentales en una red neuronal. Esta red es entrenada para ser un "modelo generativo". No solo memoriza los datos; aprende la probabilidad condicional. En nuestra analogía del walkie-talkie, aprende: "Si Alice dice esta frase específica, ¿cuál es la probabilidad de que Bob escuche esa frase específica?". La red aprende a predecir la salida basándose en todo el historial de la entrada y las salidas previas. Es como si la IA aprendiera el "estilo" de la conversación tan bien que puede predecir la siguiente palabra con alta precisión.
El Juez (Path Weight Sampling): Una vez que la IA ha aprendido este estilo, los investigadores no se detienen ahí. Utilizan las predicciones de la IA como el "libro de reglas" para la técnica PWS. Debido a que la IA ha aprendido la probabilidad condicional (la probabilidad de una salida dado un input), el método PWS puede ahora "marginalizar" sobre los inputs. Esta es una forma elegante de decir que pueden calcular la probabilidad total de que ocurra la salida, independientemente de cuál fuera la entrada, sumando todas las posibilidades que la IA predijo.

Por qué esto es importante: La garantía del "Límite Inferior"

La parte más emocionante de este artículo es la garantía. Muchos métodos de aprendizaje automático para medir la información son "cajas negras". Los ejecutas, te dan un número, pero no sabes si ese número es demasiado alto, demasiado bajo o simplemente tiene suerte.

Los autores demuestran matemáticamente que su método proporciona un límite inferior riguroso. Esto significa que el número que calculan es siempre menor o igual a la verdadera tasa de información. Puede ser un poco conservador (subestimando la verdad), pero nunca mentirá diciendo que hay más información de la que realmente existe. Esto es crucial para la ciencia porque ofrece a los investigadores un suelo seguro y fiable sobre el cual pararse. Si dicen "la tasa de información es de al menos 5 bits por segundo", saben con certeza que no es cero.

Lo probaron en tres sistemas sintéticos (datos falsos generados por modelos matemáticos conocidos) donde conocían la "verdad fundamental" (la respuesta real).

La Prueba: Compararon ML-PWS contra otros métodos populares como la aproximación Gaussiana (que asume que todo es una curva simple), DoE (Diferencia de Entropías) y estimadores variacionales como MINE e InfoNCE.
El Resultado: En casi todos los casos, ML-PWS fue el más preciso. Se mantuvo increíblemente cerca de la verdad fundamental.
- La aproximación Gaussiana falló cuando el sistema era no lineal (cuando la relación entre la entrada y la salida no era una línea recta).
- Los estimadores variacionales (como MINE e InfoNCE) chocaron con un "techo". No pudieron medir tasas de información altas porque su matemática se queda estancada cuando los datos se vuelven demasiado complejos o las trayectorias demasiado largas. Básicamente se rindieron y dijeron: "es a lo sumo esto", incluso cuando era mucho mayor.
- DoE a veces sobreestimó la información, dando un número demasiado alto y, por lo tanto, poco fiable.

Aplicación en el mundo real: Escuchando neuronas

Para demostrar que esto no es solo un experimento de juguete, los autores aplicaron ML-PWS a datos biológicos reales: grabaciones de 50 células ganglionares retinianas del ojo de una salamandra. Estas células observaban una barra moviéndose de arriba abajo en una pantalla.

La Configuración: Entrenaron una red neuronal para predecir los patrones de disparo de estas neuronas basándose en el movimiento de la barra.
El Hallazgo: Calcularon la tasa de información para neuronas individuales y para el grupo completo trabajando en conjunto.
La Sorpresa: Cuando observaron al grupo, descubrieron que la tasa de información total era menor que la suma de las tasas individuales. Esto se debe a que las neuronas eran "redundantes": todas estaban diciendo lo mismo. El grupo no estaba añadiendo nueva información; simplemente la estaba repitiendo.
Capacidad del Canal: También utilizaron el modelo para preguntar: "¿Qué tipo de barra en movimiento podría transportar la mayor cantidad de información?". Al optimizar la entrada (el movimiento de la barra), encontraron un patrón específico que podía transportar significativamente más información que el utilizado en el experimento. Esto sugiere que el sistema visual de la salamandra podría ser mucho más eficiente si el mundo se moviera de una manera diferente.

Conclusión

Este artículo no solo ofrece una nueva forma de adivinar; ofrece una nueva forma de saber. Al enseñar a una máquina a aprender las reglas de un sistema y luego usar matemáticas rigurosas para contar la información basada en esas reglas aprendidas, los autores han creado una herramienta que es tanto poderosa como honesta. Admite cuando no sabe todo (al proporcionar un límite inferior) pero garantiza que lo que sabe es sólido. Para cualquiera que intente entender cómo fluye la información a través de sistemas complejos —desde cerebros hasta mercados bursátiles o dispositivos de ingeniería— este método proporciona una brújula fiable en un mar de datos.

Resumen Técnico: ML-PWS: Estimación de la Información Mutua entre Series Temporales Experimentales mediante Redes Neuronales

Planteamiento del Problema
Cuantificar la transmisión de información en sistemas impulsados por señales variables en el tiempo es fundamental para analizar sistemas naturales e ingenieriles, desde la señalización bioquímica hasta la codificación neuronal. La métrica estándar para esto es la tasa de transmisión de información, definida como la tasa de crecimiento asintótico de la información mutua (MI, por sus siglas en inglés) de trayectoria entre la entrada y la salida. Calcular esta tasa directamente a partir de datos de series temporales experimentales es notoriamente difícil debido a la alta dimensionalidad de los espacios de trayectoria. Los métodos no paramétricos convencionales (p. ej., histogramas, estimación de densidad de kernel) fallan en dimensiones altas, mientras que los estimadores avanzados como el de k-vecinos más cercanos (KNN) sufren de sesgos incontrolados. Los enfoques de aprendizaje automático existentes, como los estimadores variacionales neuronales (MINE, InfoNCE) o los estimadores de diferencia de entropías (DoE), a menudo proporcionan límites laxos, sufren efectos de saturación (p. ej., el techo de $\ln N$ en InfoNCE) o no proporcionan límites rigurosos cuando las distribuciones marginales están mal especificadas. Además, la técnica de Muestreo de Pesos de Trayectoria (PWS) permite el cálculo exacto de las tasas de información para modelos estocásticos, pero requiere un modelo mecanístico conocido y no puede aplicarse directamente a datos experimentales que carecen de dicho modelo.

Metodología: ML-PWS
Los autores proponen ML-PWS, un método híbrido que combina el aprendizaje automático con el marco de trabajo de Muestreo de Pesos de Trayectoria (PWS) para estimar tasas de información directamente a partir de series temporales experimentales sin un modelo mecanístico previo. La metodología procede en tres etapas principales:

Aprendizaje de la Verosimilitud de la Trayectoria Condicional: El método emplea un modelo generativo autorregresivo (específicamente, una red neuronal profunda) entrenado en pares de entrada-salida experimentales $(s_{1:n}, x_{1:n})$ . Esta red aprende a predecir la verosimilitud de la trayectoria condicional $Q(x_{1:n}|s_{1:n})$ factorizándola en un producto de probabilidades condicionales paso a paso: $Q(x_{1:n}|s_{1:n}) = \prod_i Q(x_i | s_{1:i}, x_{1:i-1})$ . La red predice la media y la varianza de una distribución gaussiana para cada paso de tiempo, condicionada a la historia completa de entradas y salidas.
Marginalización Exacta mediante PWS: A diferencia de los métodos que entrenan una red separada para aproximar la distribución marginal $Q(x_{1:n})$ , ML-PWS calcula esta cantidad mediante la marginalización exacta sobre la distribución de entrada conocida $P(s_{1:n})$ . Dado que la distribución de entrada es controlada o caracterizada por el experimentador, la marginal se estima como $Q(x_{1:n}) = \int ds_{1:n} P(s_{1:n}) Q(x_{1:n}|s_{1:n})$ . Este integral se evalúa eficientemente utilizando técnicas de Monte Carlo Secuencial (SMC) (específicamente, el esquema RR-PWS), que propagan un conjunto de trayectorias de entrada y las reponderan para enfocarse en regiones de alta verosimilitud, evitando así la ineficiencia exponencial del muestreo de fuerza bruta.
Estimación del Límite Inferior: La información mutua se estima como la diferencia entre la entropía marginal y la entropía condicional, ambas computadas como entropías cruzadas con respecto al modelo aprendido $Q$ . Los autores demuestran que, debido a que la marginal $Q(x_{1:n})$ se deriva exactamente de la condicional $Q(x_{1:n}|s_{1:n})$ a través de la conocida $P(s_{1:n})$ , el estimador resultante $\hat{I}_Q$ constituye un límite inferior riguroso de la verdadera información mutua $I(S; X)$ . El sesgo de este límite es no negativo y desaparece a medida que el modelo generativo $Q$ converge a la verdadera distribución condicional $P$ .

Contribuciones Clave y Benchmarks
El artículo valida ML-PWS frente a resultados de verdad de terreno (obtenidos aplicando PWS directamente a modelos estocásticos conocidos) y frente a otros estimadores (aproximación gaussiana, DoE, MINE, InfoNCE, SMILE) a través de tres benchmarks sintéticos:

Canal No Lineal Mínimo (Ejemplo II): En un sistema con una no linealidad sigmoidea saturante, ML-PWS supera significativamente a los límites variacionales (InfoNCE, MINE, SMILE), los cuales subestiman severamente la MI en regímenes de alta información debido a limitaciones de tamaño de muestra. También supera a la aproximación gaussiana, que se vuelve laxa a medida que aumenta la no linealidad, y al estimador DoE, que sobreestima la MI debido a errores en el aprendizaje de la distribución marginal. ML-PWS permanece indistinguible de la verdad de terreno a través de diversas relaciones señal-ruido y fuerzas de no linealidad.
Salida de Dos Canales con Modulación de Varianza (Ejemplo III): En un sistema donde la señal se codifica enteramente en la covarianza de la salida (dejando la media sin correlación), las aproximaciones gaussianas fallan completamente. Aquí, la distribución marginal es una mezcla de gaussianas de cola pesada. ML-PWS converge a la verdad de terreno a medida que aumentan los datos de entrenamiento, mientras que DoE se estanca en una sobreestimación porque su red marginal separada no puede capturar la naturaleza de cola pesada de los datos. Crucialmente, ML-PWS proporciona un límite inferior válido incluso cuando el modelo generativo está mal especificado (p. ej., asumiendo covarianza diagonal), mientras que DoE falla en tales casos.
Aplicación a Datos Neurales: El método se aplica a datos de ráfagas (spike-trains) de 50 células ganglionares de la retina de una salamandra respondiendo a una barra en movimiento. Los autores entrenaron modelos de neurona única y de población colectiva. Los modelos generativos reprodujeron con precisión las ráfagas experimentales (alcanzando aproximadamente el 95% del techo de ruido). El análisis reveló que la tasa de información de la población colectiva es significativamente menor que la suma de las tasas individuales debido a la codificación redundante. Además, al optimizar las estadísticas del estímulo dentro del modelo aprendido, los autores estimaron una capacidad de canal (38.0 bit/s) que es sustancialmente mayor que la tasa alcanzada con el estímulo experimental, demostando la utilidad de ML-PWS para la optimización de estímulos.

Significancia y Reivindicaciones
El artículo afirma que ML-PWS ofrece una alternativa robusta y rigurosa para estimar tasas de información a partir de datos experimentales donde no hay modelos mecanísticos disponibles. Su principal significancia radica en proporcionar un límite inferior estricto de la información mutua que no está sujeto a los límites de saturación de los estimadores contrastivos ni a los errores de marginalización de los métodos de diferencia de entropías. Al aprovechar la distribución de entrada conocida para realizar una marginalización exacta mediante SMC, ML-PWS desacopla la precisión del límite de la dificultad de aprender la distribución marginal directamente. Los autores señalan que el método es particularmente efectivo en regímenes de alta dimensión y no lineales, y puede extenderse para estimar entropías de transferencia y de causalidad. El código para la implementación se pone a disposición de forma abierta.

La idea central: Aprender las reglas para contar los secretos

La solución: La IA como detective, la matemática como juez

Por qué esto es importante: La garantía del "Límite Inferior"

Aplicación en el mundo real: Escuchando neuronas

Conclusión

Más como este