🤖 machine learning

Closed-form predictive coding via hierarchical Gaussian filters

Este artigo apresenta uma estrutura de codificação preditiva de forma fechada baseada em filtros gaussianos hierárquicos que restaura a passagem de mensagens ponderadas por precisão, permitindo que redes profundas aprendam ativações, pesos e incertezas simultaneamente, sem inferência iterativa ou sinais de erro globais, igualando assim a eficiência da retropropagação enquanto supera-a em tarefas online e com eficiência de dados.

Autores originais: Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Cérebro "Lento e Rígido"

Imagine que você está tentando ensinar um robô a reconhecer imagens (como um gato versus um cachorro). O método padrão atual, chamado de Retropropagação, é como um professor rigoroso que fica no fundo da sala de aula. Quando um aluno erra uma resposta, o professor grita o erro até o fundo, e todos os alunos têm que parar, pensar e ajustar sua resposta com base nesse grito.

Isso funciona bem, mas tem duas grandes falhas:

É lento: O robô tem que esperar o "grito" viajar todo o caminho para baixo e voltar para cima antes de poder aprender.
É não natural: Os cérebros humanos reais não funcionam assim. Nossos cérebros aprendem localmente, exatamente onde os neurônios estão, sem um "gritador" central.

Cientistas tentaram criar um método de aprendizado "semelhante ao cérebro" chamado Codificação Preditiva (CP). Neste sistema, cada camada do cérebro adivinha o que vem a seguir. Se a adivinhação estiver errada, um sinal de "erro de previsão" é enviado para cima. O cérebro então ajusta sua adivinhação para minimizar o erro.

No entanto, a versão antiga da Codificação Preditiva tinha um bug major: Era incrivelmente lenta e quebrava quando a rede ficava profunda (como um prédio muito alto). Por quê? Porque tratava cada erro como igualmente importante, independentemente de quão certa o cérebro estava sobre sua adivinhação. Era como um aluno entrando em pânico por um pequeno erro de digitação exatamente da mesma forma que por um erro factual grave.

A Solução: O "Filtro Inteligente"

Os autores deste artigo corrigiram esse bug tratando o processo de aprendizado do cérebro como um Filtro Gaussiano Hierárquico (HGF).

Pense no HGF não apenas como um adivinhador, mas como um Detetive Inteligente com um Medidor de Confiança.

O Jeito Antigo (Matriz Identidade): Imagine um detetive que trata cada pista como igualmente importante. Se ele tem 99% de certeza sobre uma pista, ele trata uma dica minúscula da mesma forma que trata um fato enorme e inegável. Isso causa confusão e o deixa lento.
O Novo Jeito (Ponderado por Precisão): O novo sistema dá ao detetive um Medidor de Confiança (chamado de "Precisão").
- Se o detetive está muito confiante (alta precisão), ele ignora pequenos erros ruidosos.
- Se o detetive está inseguro (baixa precisão), ele presta muita atenção aos erros para descobrir as coisas.

Ao adicionar esse "Medidor de Confiança", o sistema para de entrar em pânico com pequenos ruídos e foca no que realmente importa.

Como Funciona (A Analogia)

Imagine um prédio de escritórios de vários andares onde cada andar está tentando prever o que o andar de baixo está fazendo.

O Método Antigo de CP: Os andares discutiriam de um lado para o outro por horas (etapas iterativas) tentando concordar com uma única resposta. Eles continuariam ajustando suas adivinhações até finalmente se estabelecerem. Isso levava muito tempo.
O Novo Método HGF: Os autores perceberam que, se você sabe exatamente quão "confiante" cada andar é, você pode pular a discussão. Você pode calcular a resposta perfeita em um único passo (uma atualização de "forma fechada").

É como a diferença entre:

Jeito Antigo: "Acho que está chovendo. Não, espere, talvez seja apenas um irrigador. Deixe-me verificar novamente. Ok, tenho 50% de certeza. Deixe-me verificar novamente..." (Lento, repetitivo).
Jeito Novo: "Vejo que o irrigador está desligado, mas o chão está molhado. Meu medidor de confiança diz que tenho 90% de certeza de que está chovendo. Portanto, vou pegar meu guarda-chuva imediatamente." (Rápido, decisão de um só tiro).

O Que Eles Conseguiram

Os pesquisadores testaram esse novo sistema de "Detetive Inteligente" em uma tarefa padrão de reconhecimento de imagens (FashionMNIST, que envolve classificar imagens de roupas).

Velocidade: Aprendeu quase tão rápido quanto o método padrão de "Retropropagação", mas sem precisar da discussão lenta e repetitiva.
Melhor em Mudar: Quando as regras do jogo mudaram repentinamente (como se o computador de repente decidisse que "camisas" agora eram chamadas de "calças"), o novo sistema adaptou-se muito mais rápido que os antigos.
Menos Dados: Aprendeu bem mesmo quando mostrado muito poucos exemplos, enquanto os métodos antigos precisavam de quantidades enormes de dados.
Sem Gritador Global: Aprendeu inteiramente de forma local. Nenhum computador central disse às camadas o que fazer; elas apenas se ajustaram com base em sua própria "confiança" e erros locais.

O Problema (Limitações)

O artigo é honesto sobre o que não fez ainda:

Ainda é um pouco lento em computadores: O código atual processa imagens uma por uma, como um único caixa em um supermercado. O método padrão as processa em grandes lotes (como uma esteira rolante). Os autores dizem que seu método poderia ser tornado mais rápido com melhor programação, mas eles ainda não fizeram isso.
Ainda não está em fotos "reais": Eles o testaram em imagens simples de roupas. Eles ainda não o testaram em fotos complexas do mundo real (como gatos em florestas), embora planejem fazê-lo.
A "Confiança" é complicada: Em redes muito profundas, o "Medidor de Confiança" às vezes sai do eixo, tornando o sistema instável. Eles encontraram uma maneira de corrigir isso parcialmente, mas ainda é uma área para melhoria.

Resumo

O artigo apresenta uma nova maneira de treinar IA que é biologicamente realista (funciona como um cérebro, não como uma planilha), rápida (resolve problemas em um passo em vez de muitos) e inteligente (sabe quando confiar em suas próprias adivinhações e quando ouvir novos dados). Ela preenche a lacuna entre como os cérebros aprendem e como os computadores aprendem, tornando a IA mais eficiente e adaptável.

Resumo Técnico: Codificação Preditiva de Forma Fechada via Filtros Gaussianos Hierárquicos

Declaração do Problema

A codificação preditiva (CP) oferece uma alternativa biologicamente fundamentada à retropropagação (RP) para o treinamento de redes neurais artificiais, caracterizada por computação local, atualizações semelhantes às Hebbianas e a ausência de um sinal de erro global. No entanto, a escalabilidade da CP para arquiteturas profundas modernas tem sido impedida por duas limitações críticas:

Ineficiência Computacional: As redes de CP atuais dependem de descida de gradiente iterativa para relaxar as ativações em direção ao equilíbrio (tipicamente exigindo $T \approx 32\text{--}128$ passos por amostra), tornando-as significativamente mais lentas que a RP em hardware sequencial.
Degradação de Desempenho: À medida que a profundidade da rede aumenta, o desempenho degrada-se abruptamente.

Os autores traçam ambas as questões até uma simplificação específica nas implementações profundas existentes de CP: a fixação da matriz de precisão como identidade. Esta simplificação descarta os erros de previsão ponderados pela precisão exigidos pela derivação variacional da CP. Consequentemente, essas redes perdem a propriedade que torna a CP distinta no caso linear — equivalência formal à descida de gradiente natural — e falham em escalar adaptativamente os sinais de erro ou gerenciar a incerteza através das camadas.

Metodologia

O artigo propõe reformular as redes de codificação preditiva como Filtros Gaussianos Hierárquicos Generalizados (gHGF). Esta abordagem substitui a inferência de estado iterativa por atualizações variacionais de forma fechada, de um único tiro.

Mudanças Arquiteturais Principais:

Da Precisão Fixa para a Dinâmica: Ao contrário das redes de CP padrão que tratam a precisão como um hiperparâmetro fixo (matriz identidade), o gHGF trata a precisão ( $\pi$ ) como um estado de crença de primeira classe. O modelo infere tanto a média posterior ( $\mu$ ) quanto a precisão ( $\pi$ ) para cada nó em cada passo.
Acoplamento de Volatilidade: O framework introduz "acoplamento de volatilidade", onde um nó pai modula a taxa de mudança (log-variância) de seu filho. Isso permite que os erros de previsão modulem explicitamente as atualizações de precisão por meio de Erros de Previsão de Volatilidade (VOPE), um mecanismo ausente na CP acoplada a valores padrão.
Modelo Generativo: A rede é modelada como uma hierarquia de nós de crença. Nós de estado contínuos são gerados como Gaussianas com médias determinadas por acoplamentos de valores não lineares (por exemplo, ReLU) e variâncias determinadas por pais de volatilidade. Nós de saída binários geram previsões por meio de um sigmoide logístico, com surpresa medida como entropia cruzada binária.
Inferência e Aprendizado:
- Inferência: Em vez de relaxação iterativa, a expansão quadrática da energia variacional permite um ponto estacionário analítico, reduzindo a inferência a uma única varredura de atualização.
- Atualizações de Pesos: Pesos sinápticos (forças de acoplamento de valores) são atualizados por meio de regras Hebbianas locais. Os autores propõem três variantes, com o principal benchmark utilizando uma regra ponderada pela precisão: $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$ . Isso incorpora a precisão inferida como um peso de gradiente natural.

Contribuições Principais

Reformulação da CP: Os autores fornecem uma reformulação de redes profundas de CP como filtros Gaussianos hierárquicos, substituindo a inferência iterativa por atualizações variacionais de forma fechada.
Aprendizado de Precisão: Eles demonstram que a precisão pode ser inferida endogenamente online como crenças posteriores acopladas à hierarquia, em vez de ser tratada como hiperparâmetros fixos.
Atualizações Compatíveis com Hebb: O método produz regras de atualização de pesos que incorporam a precisão como um peso de gradiente natural, mantendo a plausibilidade biológica.
Benchmarks de Desempenho: A abordagem alcança convergência state-of-the-art no FashionMNIST, aproximando-se do custo de tempo de parede da retropropagação enquanto converge em menos épocas.

Resultados Experimentais

Os autores avaliaram seu método (HGF) contra Perceptrons Multicamada (MLP) treinados com retropropagação e Redes de Codificação Preditiva (PCN) padrão no conjunto de dados FashionMNIST.

Comparação Direta (FashionMNIST): Através de várias configurações de profundidade ( $d \in \{2, 8\}$ ) e largura, o HGF convergiu mais rápido e alcançou maior precisão de teste do que a PCN padrão. Embora a RP permanecesse competitiva, o HGF aproximou-se do desempenho da RP com significativamente menos épocas.
Aprendizado Online: Em um regime estritamente online (tamanho de lote 1), o HGF convergiu para um erro de estado estacionário mais baixo do que tanto a RP quanto as linhas de base PCN.
Eficiência de Dados: Em subconjuntos pequenos de dados ( $n \in \{60, 3000\}$ ), o HGF superou ambas as linhas de base, demonstrando superior eficiência de dados.
Deriva de Conceito: Em um ambiente não estacionário onde os rótulos de classe eram periodicamente permutados, o HGF manteve um erro de estado estacionário mais baixo e recuperou-se mais rapidamente de eventos de deriva em comparação com as linhas de base, aproveitando seus estados de crença acumulados sem redefinir a precisão.
Dinâmicas de Aprendizado de Precisão: Em uma tarefa de classificação de espiral sintética, redes com acoplamento de volatilidade (aprendizado de precisão) mostraram um aumento hierárquico na precisão esperada, efetivamente controlando o aprendizado e a inferência. No entanto, os autores observam que, em profundidades extremas (profundidade 16), a linha de base de precisão fixa ainda superou a variante acoplada à volatilidade, sugerindo que, embora o aprendizado de precisão estabilize os sinais de erro, os desequilíbrios de precisão intercamadas resultantes exigem investigação adicional.

Significado e Alegações

O artigo estabelece que inferência variacional de forma fechada com aprendizado de precisão online fornece uma base tratável para redes profundas de codificação preditiva. Ao resolver a necessidade de relaxação iterativa e sinais de erro globais, o método retém as vantagens biológicas e interpretativas da CP, abordando ao mesmo tempo seus principais gargalos de escalabilidade.

Os autores enquadram modestamente sua contribuição como um passo em direção a preencher a lacuna entre a CP teórica e o aprendizado profundo prático. Eles reconhecem que:

A implementação atual processa amostras sequencialmente em vez de em lotes, o que accounts pela maior parte da lacuna restante de tempo de parede em relação à RP.
O framework ainda não foi estendido para arquiteturas convolucionais ou conjuntos de dados de imagens naturais em grande escala (por exemplo, CIFAR, ImageNet).
A compensação entre a fidelidade da derivação variacional (precisão dinâmica) e escolhas de engenharia para escalabilidade (por exemplo, ePC, $\mu$ PC) requer comparação controlada adicional.

Em última análise, o trabalho argumenta que o aprendizado dinâmico de precisão é essencial para a CP profunda, oferecendo uma alça principista sobre a incerteza e permitindo plasticidade compatível com Hebb sem a sobrecarga computacional da inferência iterativa.