Implications of hierarchical Markov models of behavior: on irreversibility, predictability, and dimensionality

Resumen Técnico: Implicaciones de los Modelos de Markov Jerárquicos del Comportamiento

Planteamiento del Problema
La maduración de las herramientas cuantitativas para el estudio del comportamiento animal ha permitido la representación del comportamiento espontáneo como secuencias de "sílabas" estereotipadas y neuralmente bien definidas. Si bien los modelos de cadenas de Markov se han ajustado con éxito a datos reales (por ejemplo, en C. elegans, el pez cebra larval y ratones) al contabilizar explícitamente los estados latentes, persiste una pregunta teórica fundamental: si la estructura gruesa del comportamiento puede ser descrita con precisión mediante modelos de Markov, ¿qué revelan realmente estos modelos sobre la estructura de alto nivel del comportamiento? Específicamente, los autores buscan esclarecer el significado teórico del progreso en la cuantificación del comportamiento, centrándose en la naturaleza secuencial de las acciones y en la dimensionalidad efectiva de la dinámica conductual.

Metodología
Los autores emplean un análisis matemático de cadenas de Markov de tiempo continuo aplicadas a datos de comportamiento. Su enfoque consiste en:

1. Formulación del Modelo: Tratar el comportamiento como un conjunto discreto de $N_B$ sílabas gobernadas por una matriz de transición infinitesimal estocástica $H$. Asumen la inclusión de estados latentes (por ejemplo, hambre, compromiso social) para resolver las firmas no markovianas en el comportamiento observable.
2. Análisis de Irreversibilidad: Definir la irreversibilidad a través de la cadena de tiempo revertido (matriz adjunta $\tilde{H}$) y cuantificar la desviación del equilibrio de detalle mediante la Tasa de Producción de Entropía (EPR, por sus siglas en inglés).
3. Análisis de Dimensionalidad: Investigar dos nociones distintas de dimensionalidad:
   • Dimensionalidad Dinámica: Derivada de la descomposición espectral de $H$ (autovalores $\lambda_k$ y autovectores $v_k$). Esta mide el número de modos requeridos para describir la trayectoria de la distribución de comportamiento $p(t)$ sobre una escala de tiempo específica $\tau$.
   • Dimensionalidad Predictiva: Derivada de los autovalores del núcleo pasado-futuro $K(\tau)$. Esta mide el número de vectores ortogonales requeridos para capturar un umbral (por ejemplo, 90%) de la información mutua (aproximada como varianza) entre los estados pasados y futuros.
4. Estructura Jerárquica: Analizar modelos donde los estados latentes modulan las transiciones de comportamiento, utilizando la teoría de perturbación singular para comprender cómo la estructura espectral del sistema completo se relaciona con sus componentes.
5. Aplicación de Datos: Los conceptos teóricos se ilustran mediante modelos de juguete (modelos de bolsa, modelos cíclicos) y un modelo de Markov jerárquico ajustado a datos de comportamiento de ratones en campo abierto de Weinreb et al. (2026).

Contribuciones Clave y Resultados

• Irreversibilidad y Estructura de Secuencia:
  Los autores demuestran que la irreversibilidad es una propiedad cuantificable de las cadenas de Markov del comportamiento. Al definir la cadena de tiempo revertido, muestran que el comportamiento es "semejante a una secuencia" si la cadena hacia adelante difiere significativamente de su reversa.

  • Resultado: El comportamiento animal real exhibe una Tasa de Producción de Entropía (EPR) no nula, confirmando que es irreversible. En los datos de ratones, la EPR varió según el estado latente, siendo el estado de "compromiso social" aproximadamente el doble de la EPR de otros estados (como el aseo o la locomoción), lo que sugiere una complejidad de secuencia dependiente del contexto.

• Dimensionalidad Efectiva vía Dinámica y Predictibilidad:
  El artículo distingue entre dos formas de definir la dimensionalidad del comportamiento:

  • Dimensionalidad Dinámica: Basada en las escalas de tiempo ($\tau_k = -1/\text{Re}(\lambda_k)$) de la matriz de transición $H$. Refleja cuántos autovectores están activos en una escala de tiempo dada.
  • Dimensionalidad Predictiva: Basada en el núcleo $K(\tau)$, reflejando la complejidad necesaria para predecir estados futuros.
  • Resultado: Para sistemas que obedecen el equilibrio de detalle, estas dos dimensiones son similares. Sin embargo, para sistemas altamente irreversibles (como los datos de ratones), la dimensionalidad predictiva es significativamente mayor que la dimensionalidad dinámica. Esto ocurre porque la dinámica no normal (donde los autovectores están casi alineados) requiere más vectores ortogonales para capturar la misma cantidad de predictibilidad.

• Estructura Espectral Jerárquica:
  En modelos jerárquicos donde los estados latentes modulan el comportamiento, la estructura espectral del sistema completo es aproximadamente la unión de los espectros de las cadenas de solo comportamiento dentro de cada estado latente, más los modos adicionales lentos correspondientes a las transiciones de los estados latentes.

  • Resultado: El análisis de los datos de ratones muestra que el grueso del espectro coincide con la unión de los espectros de los estados latentes individuales. Sin embargo, las escalas de tiempo más largas (dinámicas más lentas) en el modelo completo surgen exclusivamente de las transiciones entre estados latentes, no de las transiciones de comportamiento dentro de un solo estado.

• Propiedades Globales vs. Locales:
  Los autores destacan que los autovalores y autovectores proporcionan resúmenes "globales" del comportamiento. Dependen de la estructura completa del grafo de transición en lugar de solo de las tasas de transición locales, ofreciendo escalas de tiempo e interpretables modos de comportamiento (por ejemplo, la equilibración de estados de vigilia frente a las transiciones al sueño).

Significancia y Reivindicaciones
Los autores afirman que su trabajo no propone un nuevo modelo de comportamiento, sino que clarifica las implicaciones teóricas de los modelos de Markov existentes.

• Clarificación Conceptual: Tomar los modelos de Markov seriamente como descripciones del comportamiento (en lugar de solo resúmenes descriptivos) ayuda a descubrir problemas conceptuales, como la distinción entre la dimensionalidad dinámica y la predictiva.
• Estadística Cuantitativa: Las métricas propuestas (EPR, dimensionalidad, escalas de tiempo) sirven como "estadísticas del comportamiento" que permiten comparaciones precisas y cuantitativas entre diferentes contextos, estados latentes o especies, yendo más allá de las descripciones cualitativas.
• Limitaciones y Alcance: Los autores señalan explícitamente que sus hallazgos dependen de la granularidad elegida del comportamiento (parcelación). Argumentan que, si bien los resultados dependen de la partición, los principios de parsimonia y el análisis multiescala (similares a los "códigos de barras" del análisis de datos topológicos) pueden mitigar esto. También advierten que en entornos altamente complejos, el espacio de estados puede volverse prohibitivamente grande para que estos análisis espectrales sean factibles.
• Aplicabilidad Amplia: El marco se presenta como agnóstico respecto al animal específico o la escala de tiempo, lo que sugiere aplicabilidad a agentes artificiales y otros sistemas donde las acciones de alto nivel pueden modelarse como cadenas de Markov.