🤖 machine learning

From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

O artigo propõe os Modelos de Mundo Kalman (KWM), uma abordagem de aprendizado sem gradiente baseada em filtragem bayesiana recursiva e teoria de controle que substitui a retropropagação por adaptação de ganho estilo Kalman, permitindo treinamento online e adaptação contínua em modelos de linguagem com desempenho competitivo e maior robustez.

Autores originais: Andrew Kiruluta

Publicado 2026-03-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andrew Kiruluta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a dirigir um carro.

A forma tradicional (Backpropagation):
Hoje em dia, quase todos os robôs aprendem assim: o robô dirige, bate no muro, e então o sistema "volta no tempo" (como um filme sendo rebobinado) para analisar exatamente onde ele errou. Ele calcula quanto cada parafuso e cada engrenagem contribuiu para o acidente e ajusta tudo de uma vez só.

O problema: Para fazer isso, o robô precisa lembrar de tudo o que aconteceu durante a viagem inteira. Se a viagem for longa, ele precisa de uma memória gigantesca. Além disso, ele só aprende quando o filme acaba e ele rebobina. É como se você só pudesse aprender a andar de bicicleta depois de cair, analisando o acidente por horas antes de tentar de novo.

A nova ideia do artigo (Kalman World Models):
O autor, Andrew Kiruluta, propõe uma abordagem diferente, baseada em como navegamos no mundo real: aprendizado em tempo real, sem rebobinar.

Ele chama isso de Modelos Mundiais Kalman. Vamos usar algumas analogias para entender:

1. O Piloto e o GPS (Filtro de Kalman)

Imagine que o robô é um piloto e o mundo é um mapa.

Na forma antiga: O piloto dirige, chega ao destino, olha para o mapa, percebe que errou a rota inteira, e então tenta "reparar" o passado mentalmente para ajustar o futuro.
Na nova forma (Kalman): O piloto tem um GPS inteligente. A cada segundo, ele olha pela janela (observação), compara com o que o GPS previa (estado latente) e faz uma pequena correção imediata.
- Se o GPS diz "vire à direita" e o piloto vê um muro, ele não entra em pânico. Ele ajusta a direção agora, baseado na confiança que tem no GPS.
- Se o GPS está muito confiante (alta certeza), ele ajusta pouco. Se o GPS está inseguro (baixa certeza), ele ajusta muito.
- A mágica: Não há necessidade de rebobinar o filme. O aprendizado acontece passo a passo, no momento em que os dados chegam.

2. O "Susto" que Corrige o Robô (Inovação)

No artigo, eles usam uma palavra técnica: Inovação.
Pense nela como um "susto" ou uma "surpresa".

Se o robô espera ver um gato e vê um cachorro, essa diferença é a "inovação".
Em vez de calcular gradientes complexos (matemática pesada de volta), o robô usa esse "susto" para corrigir sua visão interna imediatamente.
Analogia do Espelho: Imagine que você está dançando. Na forma antiga, você dança a música toda, grava, assiste ao vídeo, vê que errou o passo 3, e tenta consertar. Na nova forma, você tem um espelho mágico que te diz "o pé esquerdo está um pouco torto" enquanto você dança, e você corrige instantaneamente sem parar a música.

3. A Memória que Não Enche (Covariância)

O maior problema dos robôs modernos é que eles precisam de muita memória para guardar o "filme" para rebobinar.

O novo método usa uma memória de incerteza. Em vez de guardar cada frame do vídeo, o robô guarda apenas um "resumo" de quão confiante ele está em cada parte do seu conhecimento.
É como se, em vez de guardar todo o diário de viagem, o robô guardasse apenas um caderno de anotações com "o que eu sei com certeza" e "onde eu estou inseguro". Isso economiza muito espaço e permite que o robô aprenda coisas novas sem esquecer as antigas (evitando o "esquecimento catastrófico").

4. O Robô que Aprende a "Pensar" (Correção de Ativação)

A parte mais inovadora para os modelos de linguagem (como o ChatGPT) é que eles não mudam apenas os "pesos" (os parafusos do cérebro), mas também corrigem os pensamentos momentâneos.

Imagine que o robô está escrevendo uma história. Ele pensa em uma frase, mas percebe que o que ele acabou de ouvir contradiz o que ele pensou.
Em vez de esperar terminar o livro para corrigir, ele usa a "inovação" para ajustar o pensamento naquele exato momento. Isso torna o robô muito mais resistente a mudanças de contexto e menos propenso a alucinar (inventar coisas).

5. A "Lente Mágica" (Koopman)

Para lidar com a complexidade do mundo (que é não-linear e bagunçado), o artigo usa uma ideia chamada Operador de Koopman.

Analogia: Imagine que você está tentando prever o movimento de uma bola de bilhar que quica em paredes curvas e estranhas. É difícil prever.
Mas, se você colocar uma lente mágica (o operador Koopman) na frente dos seus olhos, o mundo parece se tornar uma linha reta e simples.
O robô aprende a usar essa "lente" para transformar problemas difíceis em problemas fáceis, onde o filtro de Kalman funciona perfeitamente, sem precisar de cálculos complicados de "rebobinar".

Resumo Simples

Este artigo diz: "Pare de tentar consertar o passado rebobinando o filme. Em vez disso, aprenda a ajustar sua visão e suas ações em tempo real, baseado no quanto você tem certeza do que está vendo."

É uma mudança de paradigma:

De: "Otimização determinística" (tentar achar o caminho perfeito no final).
Para: "Estimativa Bayesiana recursiva" (ajustar a rota a cada passo, lidando com a incerteza).

Isso torna os robôs mais rápidos, mais econômicos em memória e, principalmente, mais capazes de aprender continuamente, como humanos, sem precisar de um "modo de revisão" pesado.

Título: De Gradientes a Geometria Riccati: Modelos Mundiais Kalman para Aprendizado de Passada Única

Autor: Andrew J. Kiruluta (UC Berkeley School of Information)
Data: 17 de Março de 2026

1. O Problema

O aprendizado de máquina moderno é dominado pela retropropagação (backpropagation) e pelo descenso de gradiente estocástico (SGD/Adam). Embora eficazes, esses métodos impõem limitações estruturais e computacionais significativas:

Dependência de Passada Reversa: Requerem a retenção de todas as ativações intermediárias durante a passagem frontal para calcular gradientes na passagem reversa, gerando um custo de memória proporcional à profundidade da rede e ao comprimento da sequência.
Estática vs. Dinâmica: Tratam os parâmetros como quantidades fixas a serem otimizadas em um objetivo estático, ignorando a natureza sequencial e não estacionária dos dados em cenários de aprendizado contínuo (continual learning).
Falta de Incerteza: Métodos de primeira ordem não quantificam explicitamente a incerteza nos parâmetros, o que é crucial para robustez e adaptação online.
Limitações de Escala: A sincronização de gradientes em ambientes distribuídos e o custo de memória em modelos grandes (LLMs) tornam-se gargalos.

O artigo propõe abandonar a otimização baseada em gradiente reverso em favor de uma abordagem baseada em teoria de controle e filtragem bayesiana recursiva.

2. Metodologia: Modelos Mundiais Kalman (KWM)

Os autores propõem os Kalman World Models (KWM), uma reformulação onde o treinamento de redes neurais é tratado como um problema de estimação de estado em sistemas dinâmicos estocásticos, em vez de minimização de perda determinística.

Princípios Fundamentais:

Modelo de Espaço de Estados: A rede neural é modelada como um sistema dinâmico:
- $x_{t+1} = f_\theta(x_t, u_t) + w_t$ (Evolução do estado latente)
- $y_t = h_\theta(x_t) + v_t$ (Observação)
- Os parâmetros $\theta$ não são fixos, mas são tratados como estados latentes dinâmicos que evoluem no tempo (aprendizado contínuo).
Substituição de Gradientes por Ganhos Kalman:
- Em vez de atualizações de gradiente ( $\theta \leftarrow \theta - \eta \nabla L$ ), utiliza-se a atualização de filtro de Kalman:
  $\theta_{t+1} = \theta_t + K_t (y_t - \hat{y}_t)$
- O termo $(y_t - \hat{y}_t)$ é a inovação (erro de previsão).
- $K_t$ é o Ganho de Kalman, calculado dinamicamente a partir da propagação da covariância (incerteza), atuando como um pré-condicionador principiado e adaptativo.
Correção de Ativação (Innovation Correction):
- Estendendo o conceito para LLMs (Transformers), as ativações internas ( $h_t$ ) também são tratadas como estados latentes.
- Durante a inferência/decodificação, as representações ocultas são corrigidas online com base no resíduo do token observado, atuando como um observador não linear. Isso permite adaptação em tempo real sem alterar os pesos globais.
Lifting de Koopman:
- Para evitar a linearização local repetida (como no Filtro de Kalman Estendido - EKF clássico), o método utiliza a Teoria do Operador de Koopman.
- O sistema não-linear é "levantado" (lifted) para um espaço de características de dimensão superior onde a evolução é exatamente linear. O filtro de Kalman opera exatamente neste espaço levantado, eliminando erros de aproximação de Taylor.

3. Contribuições Principais

Equivalência Kalman-Gradiente Natural:
- O artigo prova que, sob modelos de observação Gaussianos locais, a atualização do ganho de Kalman é matematicamente equivalente a um passo de Gradiente Natural com pré-condicionamento pela matriz de Informação de Fisher.
- A covariância $P_t$ atua como a inversa da métrica de Fisher, unificando filtragem recursiva e otimização geométrica da informação.
Princípio de "Filtragem como Treinamento":
- Reinterpreta o aprendizado como inferência bayesiana sequencial sobre estados e parâmetros. Isso elimina a necessidade de armazenar o grafo computacional para a passagem reversa, transformando o treinamento em um processo de atualização de estado em tempo real (single-pass).
Correção de Ativação em Nível de LLM:
- Introduz a correção de estados ocultos em Transformers baseada em inovação. Isso mitiga hallucinations e desvios de distribuição (distribution shift) ajustando as representações internas dinamicamente, algo impossível com backpropagation padrão.
Estabilidade e Escalabilidade:
- Deriva condições de estabilidade (baseadas na equação de Riccati) e garante convergência exponencial sob condições de excitação persistente.
- Propõe aproximações de covariância estruturada (baixo rank, blocos diagonais, fatoração de Kronecker) para tornar o método viável para redes com milhões/bilhões de parâmetros, reduzindo a complexidade de $O(p^2)$ para $O(pr)$.

4. Resultados Empíricos

Os experimentos compararam KWM com SGD, Adam, K-FAC e EKF clássico em três regimes:

MNIST Sequencial (Memória de Longo Prazo): O KWM convergiu em taxa comparável ao Adam, mas com sensibilidade significativamente reduzida à inicialização da taxa de aprendizado. A covariância estabilizou-se rapidamente, indicando convergência para uma solução de Riccati.
Modelagem de Linguagem (WikiText-2): Um Transformer de 6 camadas treinado com KWM alcançou perplexidade final comparável ao Adam. Sob deslocamento de distribuição (simulado por dropout de tokens e perturbação de vocabulário), o KWM com correção de ativação demonstrou maior estabilidade e menor degradação de desempenho.
Aprendizado Contínuo (Benchmarks Online): Em tarefas de continual learning (ex: MNIST permutado), o KWM reduziu o esquecimento catastrófico em aproximadamente 30% em relação ao Adam e 18% em relação ao K-FAC. A matriz de covariância atua como um regularizador que protege parâmetros já consolidados (alta confiança) de atualizações drásticas.

Tabela de Comparação Resumida:
O KWM superou o EKF clássico em robustez e desempenho, destacando-se pela correção de ativação e covariância estruturada.

5. Significado e Impacto

Mudança de Paradigma: O trabalho desloca a visão de redes neurais como aproximadores de funções estáticos para estimadores estocásticos dinâmicos. O treinamento deixa de ser minimização de perda para ser inferência de estado bayesiana.
Geometria Riccati: Introduz a "Geometria Riccati" como fundamento para o aprendizado, onde a evolução da incerteza (covariância) dita a dinâmica de aprendizado, substituindo heurísticas de taxa de aprendizado.
Aprendizado Online e Robusto: Oferece uma via principial para sistemas que aprendem continuamente sem esquecer, adaptando-se a mudanças de distribuição em tempo real, essencial para agentes autônomos e LLMs em produção.
Superação do EKF Clássico: Diferente das tentativas dos anos 90 de usar EKF para redes neurais, este framework resolve os problemas de escalabilidade (via aproximações de baixo rank) e não-linearidade (via Koopman lifting), tornando-o viável para a era dos grandes modelos.

Conclusão

Os "Kalman World Models" apresentam uma alternativa teórica e prática robusta à retropropagação. Ao fundir teoria de controle, geometria da informação e arquiteturas profundas, o método oferece treinamento sem gradiente reverso, quantificação de incerteza nativa e adaptação online, estabelecendo uma nova base para sistemas de aprendizado de máquina escaláveis e resilientes.