Implications of hierarchical Markov models of behavior: on irreversibility, predictability, and dimensionality

Resumo Técnico: Implicações de Modelos de Markov Hierárquicos do Comportamento

Enunciado do Problema
A maturação de ferramentas quantitativas para o estudo do comportamento animal permitiu a representação do comportamento espontâneo como sequências de "sílabas" estereotipadas e neuralmente bem definidas. Embora modelos de cadeias de Markov tenham sido aplicados com sucesso a dados reais (ex: C. elegans, zebrafish larval e camundongos) ao contabilizar explicitamente estados latentes, uma questão teórica fundamental permanece: se a estrutura grosseira do comportamento pode ser descrita com precisão por modelos de Markov, o que esses modelos realmente revelam sobre a estrutura de alto nível do comportamento? Especificamente, os autores buscam esclarecer o significado teórico do progresso na quantificação do comportamento, focando na natureza sequencial das ações e na dimensionalidade efetiva da dinâmica comportamental.

Metodologia
Os autores empregam uma análise matemática de cadeias de Markov de tempo contínuo aplicadas a dados comportamentais. Sua abordagem envolve:

1. Formulação do Modelo: Tratar o comportamento como um conjunto discreto de $N_B$ sílabas governadas por uma matriz de transição estocástica infinitesimal $H$. Eles assumem a inclusão de estados latentes (ex: fome, engajamento social) para resolver assinaturas não-markovianas no comportamento observável.
2. Análise de Irreversibilidade: Definir a irreversibilidade via a cadeia de tempo revertido (matriz adjunta $\tilde{H}$) e quantificar o desvio do balanço detalhado usando a Taxa de Produção de Entropia (EPR).
3. Análise de Dimensionalidade: Investigar duas noções distintas de dimensionalidade:
   • Dimensionalidade Dinâmica: Derivada da decomposição espectral de $H$ (autovalores $\lambda_k$ e autovetores $v_k$). Isso mede o número de modos necessários para descrever a trajetória da distribuição de comportamento $p(t)$ ao longo de uma escala de tempo específica $\tau$.
   • Dimensionalidade Preditiva: Derivada dos autovalores do núcleo passado-futuro $K(\tau)$. Isso mede o número de vetores ortogonais necessários para capturar um limiar (ex: 90%) da informação mútua (aproximada como variância) entre estados passados e futuros.
4. Estrutura Hierárquica: Analisar modelos onde estados latentes modulam as transições comportamentais, utilizando a teoria de perturbação singular para entender como a estrutura espectral do sistema completo se relaciona com seus componentes.
5. Aplicação de Dados: Conceitos teóricos são ilustrados usando modelos de brinquedo (modelos de sacola, modelos cíclicos) e um modelo de Markov hierárquico ajustado a dados de comportamento de camundongos em campo aberto de Weinreb et al. (2026).

Principais Contribuições e Resultados

• Irreversibilidade e Estrutura de Sequência:
  Os autores demonstram que a irreversibilidade é uma propriedade quantificável de cadeias de Markov comportamentais. Ao definir a cadeia de tempo revertido, eles mostram que o comportamento é "semelhante a uma sequência" se a cadeia direta diferir significativamente de sua reversa.

  • Resultado: O comportamento animal real exibe uma Taxa de Produção de Entropia (EPR) não nula, confirmando que é irreversível. Nos dados de camundongos, a EPR variou conforme o estado latente, com o estado de "engajamento social" apresentando aproximadamente o dobro da EPR de outros estados (ex: limpeza/grooming ou locomoção), sugerindo uma complexidade de sequência dependente do contexto.

• Dimensionalidade Efetiva via Dinâmica e Previsibilidade:
  O artigo distingue duas formas de definir a dimensionalidade do comportamento:

  • Dimensionalidade Dinâmica: Baseada nas escalas de tempo ($\tau_k = -1/\text{Re}(\lambda_k)$) da matriz de transição $H$. Reflete quantos autovetores estão ativos em uma determinada escala de tempo.
  • Dimensionalidade Preditiva: Baseada no núcleo $K(\tau)$, refletindo a complexidade necessária para prever estados futuros.
  • Resultado: Para sistemas que obedecem ao balanço detalhado, essas duas dimensões são semelhantes. No entanto, para sistemas altamente irreversíveis (como os dados de camundongos), a dimensionalidade preditiva é significativamente maior que a dimensionalidade dinâmica. Isso ocorre porque dinâmicas não-normais (onde os autovetores são quase alinhados) requerem mais vetores ortogonais para capturar a mesma quantidade de previsibilidade.

• Estrutura Espectral Hierárquica:
  Em modelos hierárquicos onde estados latentes modulam o comportamento, a estrutura espectral do sistema completo é aproximadamente a união dos espectros das cadeias de comportamento-apenas dentro de cada estado latente, mais modos adicionais lentos correspondentes às transições de estados latentes.

  • Resultado: A análise dos dados de camundongos mostra que o grosso do espectro corresponde à união dos espectros de estados individuais latentes. No entanto, as escalas de tempo mais longas (dinâmicas mais lentas) no modelo completo surgem exclusivamente das transições entre estados latentes, e não das transições comportamentais dentro de um único estado.

• Propriedades Globais vs. Locais:
  Os autores destacam que autovalores e autovetores fornecem resumos "globais" do comportamento. Eles dependem de toda a estrutura do grafo de transição em vez de apenas taxas de transição locais, oferecendo escalas de tempo interpretáveis e modos comportamentais (ex: equilíbrio de estados de vigília vs. transições para o sono).

Significância e Alegações
Os autores afirmam que seu trabalho não propõe um novo modelo de comportamento, mas sim esclarece as implicações teóricas dos modelos de Markov existentes.

• Esclarecimento Conceitual: Levar os modelos de Markov a sério como descrições do comportamento (em vez de apenas resumos descritivos) ajuda a descobrir questões conceituais, como a distinção entre dimensionalidade dinâmica e preditiva.
• Estatística Quantitativa: As métricas propostas (EPR, dimensionalidade, escalas de tempo) servem como "estatísticas do comportamento" que permitem comparações precisas e quantitativas entre diferentes contextos, estados latentes ou espécies, indo além de descrições qualitativas.
• Limitações e Escopo: Os autores observam explicitamente que suas descobertas dependem da granularidade escolhida do comportamento (coarse-graining/agrupamento). Eles argumentam que, embora o particionamento influencie os resultados, princípios de parcimônia e análise multiescala (semelhante aos "códigos de barras" da análise de dados topológicos) podem mitigar isso. Eles também alertam que, em ambientes altamente complexos, o espaço de estados pode tornar a análise espectral proibitivamente grande para ser viável.
• Aplicabilidade Ampla: O framework é apresentado como agnóstico ao animal específico ou escala de tempo, sugerindo aplicabilidade a agentes artificiais e outros sistemas onde ações de alto nível podem ser modeladas como cadeias de Markov.