Resumo Técnico: Codificação Preditiva Meta-Representacional (MPC)

Problema

O aprendizado autossupervisionado (SSL) tornou-se um paradigma dominante na inteligência de máquina, mas as abordagens atuais dependem de mecanismos biologicamente implausíveis, especificamente a retropropagação de erros para atribuição de crédito e a inferência feedforward. Embora a codificação preditiva (PC) ofereça uma alternativa biologicamente plausível por meio de regras de plasticidade local e passagem de mensagens, as formulações de PC existentes enfrentam uma dicotomia:

1. PC Não Supervisionada: Aprende um modelo generativo de dados sensoriais brutos (ex: prevendo valores de pixels), o que é computacionalmente caro e semelhante à "IA generativa".
2. PC Supervisionada: Aprende um mapeamento de entradas para rótulos de alvos, exigindo anotação humana e sofrendo com as desvantagens do aprendizado supervisionado.

Existe uma lacuna para um framework de aprendizado autossupervisionado informado pela neurociência (NeuroSSL) que evite a retropropagação, não exija a reconstrução de entradas sensoriais de alta dimensão e não dependa de rótulos humanos ou amostragem de negativos contrastivos.

Metodologia: Codificação Preditiva Meta-Representacional (MPC)

Os autores propõem a Codificação Pritiva Meta-Representacional (MPC), um esquema de aprendizado de apenas codificador (encoder-only) fundamentado no Princípio da Energia Livre. Em vez de prever dados sensoriais brutos, a MPC aprende a prever representações latentes através de fluxos neuronais paralelos.

Princípios Arquiteturais Principais

1. Arquitetura de Apenas Codificador (Encoder-Only): A MPC inverte a premissa padrão do processamento preditivo. Em vez de um decodificador generativo top-down que prevê a entrada sensorial, o sistema foca na aquisição de representações bottom-up. Ele aprende um gerador de estados latentes (um codificador) sem um decodificador para pixels brutos.
2. Processamento de Múltiplos Fluxos (Foveal/Parafoveal/Periférico): Inspirada na anatomia funcional do sistema visual, a arquitetura compreende múltiplos fluxos paralelos:
   • Fluxos Foveais: Processam patches de alta resolução e detalhados (ex: 8x8 pixels).
   • Fluxos Parafoveais: Processam patches de resolução média (ex: 16x16 pixels).
   • Fluxos Periféricos: Processam patches de baixa resolução e grão grosso (ex: 24x24 pixels).
   • Esses fluxos interagem via predição entre fluxos (cross-stream prediction), onde cada fluxo tenta prever a dinâmica de atividade dos outros. Isso cria uma narrativa "meta-representacional" onde visões complementares de padrões de entrada devem resultar em embeddings que ressoem entre si.
3. Inferência Ativa via Sacadas: O modelo emprega um mecanismo de planejamento de vislumbre epistêmico (epistemic glimpse planning). Em vez de processar uma imagem completa de uma vez, o modelo realiza uma sequência de sacadas (movimentos oculares) para amostrar "vislumbres" da entrada.
   • Filtragem de Entrada: As entradas brutas são pré-processadas por filtros inspirados no Núcleo Geniculado Lateral (LGN) (Diferença de Gaussianas) para extrair características invariantes ao contraste.
   • Planejador de Sacadas: Um planejador reflexo seleciona o próximo ponto de fixação otimizando um mapa de foco. Este mapa equilibra a saliência bottom-up (energia estrutural local) com a incerteza epistêmica top-down (erros de predição de vislumbres anteriores). O planejador busca ativamente regiões de alta incerteza para reduzir a energia livre a longo prazo.
4. Dinâmica de Aprendizado:
   • Minimização da Energia Livre: O sistema minimiza a Energia Livre Variacional (VFE) definida sobre os estados latentes. A função de energia inclui termos para predição de representação cruzada (inter-fluxo), energia residual (intra-fluxo) e priors sinápticos.
   • Dinâmica Neuronal: As atividades neuronais seguem fluxos de gradiente da energia livre, impulsionados por erros de predição intra-fluxo e inter-fluxo.
   • Plasticidade Sináptica: O aprendizado ocorre via regras Hebbianas locais. Os pesos sinápticos são atualizados com base na correlação entre a atividade pré-sináptica e os erros de predição pós-sinápticos. Nenhuma retropropagação de erro global é utilizada.
   • Integração de Caminho de Vislumbre Latente: Para formar uma representação global de um estímulo, o modelo integra iterativamente códigos latentes de vislumbres sequenciais, inspirado no mapeamento espacial em células de grade (grid cells) biológicas, evitando a necessidade de armazenar históricos completos de trajetórias de gaze.

Principais Contribuições

1. Framework de SSL Biologicamente Plausível: O artigo formula um esquema de aprendizado autossupervisionado que depende de estatísticas neurais locais e inferência paralela camada por camada, eliminando a necessidade de retropropagação.
2. Codificação Preditiva de Apenas Codificador: Demonstra que um modelo generativo de estados latentes pode ser aprendido sem prever entradas sensoriais brutas. Ao prever a atividade latente através de fluxos visuais, a MPC torna desnecessários os mecanismos de aprendizado contrastivo (pares positivos/negativos).
3. Integração de Visão Ativa: O framework incorpora uma perspectiva enativa onde as coordenadas do "olhar" do modelo (sacadas) informam a dinâmica das unidades neuronais. Isso impulsiona a aquisição de representações robustas através de sequências de decisões para amostrar partes informativas do sensorium.
4. Escalabilidade: O esquema é agnóstico à dimensionalidade dos dados sensoriais, pois processa subconjuntos de variáveis (vislumbres) em vez de toda a entrada de alta dimensão simultaneamente.

Resultados Experimentais

Os autores avaliaram a MPC em quatro conjuntos de dados: MNIST, Kuzushiji-MNIST (K-MNIST), NYU NORB (objetos 3D naturais) e ETH-80.

• Classificação Downstream: As representações da MPC foram avaliadas usando um classificador K-Nearest Neighbor (KNN). A MPC alcançou um desempenho competitivo, muitas vezes superando MLPs totalmente supervisionados e outros baselines de aprendizado autossupervisionado como I-JEPA e a PC Generativa (GPC) padrão. No MNIST, a MPC-epi atingiu ~98,1% de acurácia, comparável a CNNs supervisionadas.
• Reconstrução: Embora a MPC seja de apenas codificador, um decodificador separado foi retroajustado aos códigos latentes congelados. A MPC facilitou o aprendizado eficaz de um decodificador, produzindo pontuações de Índice de Similaridade Estrutural (SSлоSS) superiores aos modelos GPC de imagem completa em imagens naturais (NORB), gerando reconstruções mais nítidas e coerentes.
• Generalização Zero-Shot: Em experimentos de cross-dataset (ex: treinar em K-MNIST e testar em MNIST), a MPC demonstrou uma robusta generalização zero-shot, sugerindo que aprende primitivas geométricas universais (traços, bordas) em vez de artefatos específicos do dataset.
• Eficiência de Amostra: A MPC mostrou eficiência de amostra superior em comparação com modelos de retropropagação supervisionada, mantendo desempenho consistente mesmo com conjuntos de treinamento muito pequenos (ex: 100 amostras), provavelmente devido à sua capacidade de tratar cada dado como um "mini sensorium" via amostragem sacádica.
• Campos Receptivos: Visualizações dos campos receptivos aprendidos mostraram unidades foveais assemelhando-se a filtros de codificação esparsa clássica (traços) e unidades periféricas codificando pedaços maiores de objetos, consistentes com hierarquias visuais biológicas.

Significância e Alegações

O artigo afirma que a MPC representa um passo significativo em direção à NeuroAI e à inteligência biomimética ao:

• Inverter o Processamento Preditivo: Mudando o objetivo de reconstruir dados sensoriais brutos para adquirir representações latentes distribuídas através da predição mútua entre fluxos especializados.
• Resolver o Problema da Atribuição de Crédito: Fornecendo um mecanismo para aprender representações distribuídas usando apenas regras de plasticidade local e passagem de mensagens, contornando a implausibilidade biológica da retropropagação.
• Unir Visão Ativa e Aprendizado: Demonstrando como a percepção ativa (sacadas) pode impulsionar a aquisição de representações robustas sem exigir supervisão explícita ou amostragem negativa contrastiva.
• Escalabilidade e Eficiência: Oferecendo um caminho para aprender representações complexas que são invariantes à iluminação e viewpoint, capazes de generalizar para novas estruturas físicas, sem o ônus computacional de modelar espaços de pixels de alta dimensão.

Os autores concluem que, embora a MPC seja uma inspiração vaga da circuiteria biológica, ela fornece uma instanciação computacionalmente viável de aprendizado autossupervisionado informado pela neurociência, sugerindo que codificações abstratas podem emergir puramente de predições e erros de predição entre fluxos sensoriais complementares.