Resumo Técnico: Codificação Preditiva Generalizada Online

Declaração do Problema

O artigo aborda o desafio da estimativa tripla online em ambientes dinâmicos. No contexto da computação inspirada no cérebro, isso envolve realizar simultaneamente três tarefas em tempo real à medida que os dados sensoriais chegam:

1. Inferência de estado oculto online: Estimativa dos estados dinâmicos latentes do mundo.
2. Aprendizado de parâmetros online: Inferência dos parâmetros desconhecidos do modelo gerador (MG).
3. Estimativa de incerteza online: Estimativa da precisão (inverso da variância) do ruído de estado e de observação.

A principal dificuldade reside na natureza online do problema: ao contrário de esquemas offline que podem revisar toda a série temporal para convergir para uma solução, um sistema online deve processar cada dado exatamente uma vez. Ele não pode refinar iterativamente estados internos ou parâmetros antes que a próxima observação chegue. Isso exige esquemas computacionais capazes de atualizações rápidas e precisas sob restrições temporais rigorosas, particularmente quando a forma funcional do verdadeiro processo gerador (PG) difere do modelo utilizado para inferência.

Metodologia

Estrutura Teórica

O método proposto, Maximização de Expectativa Dinâmica Online (ODEM), fundamenta-se no Princípio da Energia Livre (PEF) e na Inferência Variacional (IV). Ele enquadra a percepção como a minimização da Energia Livre Variacional (EFV), que serve como um limite superior para o log-verossimilhança negativo do modelo. A EFV é decomposta em um termo de precisão (ajuste aos dados) e um termo de complexidade (penalizando a divergência das crenças prévias), aderindo à navalha de Occam.

Para tornar a EFV tratável para dinâmicas de tempo contínuo, os autores empregam a aproximação de Laplace, aproximando a distribuição posterior por uma Gaussiana. Isso reduz a EFV a uma soma de erros de previsão ponderados pela precisão.

Coordenadas Generalizadas do Movimento (CGM)

Um componente central do ODEM é o uso de Coordenadas Generalizadas do Movimento (CGM). Em vez de modelar apenas a posição dos estados ocultos ($x_t$), o modelo infere um vetor de derivadas temporais de ordem superior (velocidade, aceleração, jerk, etc.): $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$.

• Isso permite que o modelo capture a dinâmica suave do sistema sem exigir densidades de transição de forma fechada ou simulações de Monte Carlo (diferentemente dos filtros de Kalman ou de Partículas).
• O modelo assume que flutuações aleatórias no PG possuem um grau de suavidade, relaxando a suposição padrão do processo de Wiener.
• Observações generalizadas ($\tilde{y}_t$) são construídas aproximando derivadas de ordem superior da entrada sensorial via diferenças finitas.

Separação de Escalas Temporais

O ODEM implementa uma separação crucial de escalas temporais, inspirada na Sinergética de Haken, para gerenciar as três tarefas de estimativa:

1. Passo D Rápido (Inferência de Estado): Ocorre a cada observação. Atualiza continuamente os estados ocultos usando minimização baseada em gradiente da EFV, regularizada pela curvatura da superfície da EFV (esquema de Ozaki). Isso rastreia estados externos em movimento rápido.
2. Passo E Lento (Aprendizado de Parâmetros): Ocorre com menos frequência (a cada interEM observações). Atualiza os parâmetros do modelo ($\theta$) usando gradientes acumulados sobre uma janela de dados. Isso reflete a escala de tempo mais lenta da plasticidade sináptica ou de contextos em mudança.
3. Passo M Lento (Estimativa de Incerteza/Precisão): Ocorre na mesma escala de tempo lenta do passo E. Atualiza os hiperparâmetros de precisão ($\lambda$) para o ruído de estado e de observação. Isso é interpretado como um mecanismo atencional, modulando o peso dos erros de previsão.

Algoritmo

O algoritmo ODEM itera através das observações $y_t$:

1. Generaliza a observação para $\tilde{y}_t$.
2. Realiza o Passo D: Atualiza a média da posterior de estado ($\tilde{\mu}_x$) usando uma regra de atualização baseada em Jacobiano.
3. Acumula gradientes para parâmetros e precisões.
4. Em intervalos definidos por interEM, realiza o Passo E e o Passo M: Atualiza as médias e covariâncias das posteriors de parâmetro ($\theta$) e precisão ($\lambda$) usando taxas de aprendizado de Robbins-Monro, e depois redefina os acumuladores de gradiente.

Contribuições Principais

1. Algoritmo ODEM: A introdução de uma variante online do algoritmo de Maximização de Expectativa Dinâmica (DEM), especificamente projetada para estimativa tripla em sistemas não lineares e potencialmente caóticos.
2. Implementação de Codificação Preditiva Generalizada: Uma implementação em Python/PyTorch do ODEM que utiliza CGM para modelar dinâmicas sem densidades de transição de forma fechada.
3. Robustez a Incompatibilidade de Modelo: Demonstração de que o ODEM pode rastrear com sucesso estados latentes mesmo quando a forma funcional do MG difere fundamentalmente do PG (por exemplo, usando um modelo de Lorenz para inferir um processo de Lotka-Volterra Generalizado), desde que ordens superiores do movimento sejam utilizadas.

Resultados Experimentais

Os autores validaram o ODEM usando um processo gerador (PG) de Lotka-Volterra Generalizado (GLV) com ruído suave e correlacionado. Eles testaram dois MGs:

• Cenário-Igual: Um MG-GLV (correspondente ao PG).
• Cenário-Diferente: Um MG-Lorenz (forma funcional incompatível).

Principais Descobertas:

• Impacto da Ordem da CGM: O aumento da ordem do movimento ($k_x$) de 2 para 3 melhorou significativamente o desempenho de rastreamento, particularmente no caso Cenário-Diferente. Com $k_x=2$, o MG-Lorenz lutou para rastrear o PG-GLV; com $k_x=3$, o rastreamento melhorou substancialmente. No caso Cenário-Igual, o MG-GLV performou bem com ambas as ordens, sugerindo que a CGM é mais crítica quando as suposições estruturais não coincidem.
• Convergência: As estimativas posteriores para parâmetros ($\mu_\theta$) e precisões ($\mu_\lambda$) estabilizaram ao longo do tempo. A incerteza (intervalos de credibilidade) em torno das estimativas de parâmetros reduziu-se mais rapidamente com ordens superiores de movimento.
• Ação Livre (AF): Os valores de AF (um proxy para evidência do modelo) foram menores para o Cenário-Igual (MG-GLV) do que para o Cenário-Diferente (MG-Lorenz). Embora ordens superiores de movimento tenham melhorado a precisão, elas também aumentaram a complexidade, resultando em valores de AF globais semelhantes entre as ordens.
• Sensibilidade à Razão de Precisão: O desempenho foi altamente sensível à razão de precisão prévia $C$ (a razão entre a precisão esperada do ruído de observação e a precisão do ruído de estado), destacando a importância de ajustar a confiança relativa nos dados sensoriais versus dinâmicas internas.

Significado e Alegações

O artigo alega que o ODEM oferece uma solução inspirada biologicamente para inferência online, aprendizado e estimativa de incerteza. Ao separar escalas temporais, ele imita a capacidade do cérebro de realizar estimativa de estado rápida (dinâmicas neuronais rápidas) enquanto adapta simultaneamente parâmetros mais lentos (plasticidade sináptica) e atenção (neuromodulação).

Os autores afirmam que o ODEM fornece uma estrutura escalável para estudar inferência adaptativa em agentes biológicos e artificiais. Crucialmente, eles demonstram que a inferência em Coordenadas Generalizadas do Movimento permite que um modelo rastreie dinâmicas complexas e não lineares mesmo quando as suposições estruturais do modelo diferem do verdadeiro processo gerador, desde que o modelo possa capturar a suavidade das dinâmicas através de derivadas de ordem superior. O trabalho conecta codificação preditiva, inferência variacional e modelagem de sistemas dinâmicos online, oferecendo um método que não requer otimização em lote ou suavização retrospectiva.