Resumo Técnico: Aprendizado de Representação de Imersão Estocástica Inspirado no Cérebro (PhiNet v2)

Declaração do Problema

O aprendizado autossupervisionado (SSL) revolucionou a visão computacional através de frameworks como SimCLR, MoMo, DINO e Masked Autoencoders (MAE). No entanto, essas abordagens negligenciam amplamente as percepções dos sistemas de processamento visual biológico, especificamente a capacidade do cérebro humano de aprender representações robustas a partir de fluxos contínuos de informações visuais sem depender de um forte aumento de dados (data augmentation).

Modelos inspirados no cérebro existentes, como o PhiNet original (v1), deram passos importantes ao combinar a Hipótese da Predição Temporal com a teoria dos Sistemas de Aprendizado Complementar (CLS). Contudo, o PhiNet v1 apresenta três limitações primárias:

1. Processamento Sequencial: Ele não processa nativamente entrada visual sequencial (vídeo); ele simula diferenças temporais usando aumento de dados em imagens estáticas.
2. Arquitetura: Depende de backbones ResNet, enquanto a neurociência moderna sugere que Transformers se assemelham melhor a modelos hipocampais.
3. Dependência de Augmentation: Como muitos métodos de SSL, depende de forte aumento de dados, o que limita a generalização ao aprender de entradas sequenciais onde aumentos eficazes são difíceis de definir.

O artigo aborda a necessidade de um modelo que aprenda representações visuais robustas a partir de entrada sequencial (vídeo) sem forte aumento de dados, aproveitando tanto arquiteturas Transformer quanto inferência variacional para unir mecanismos inspirados no cérebro com aprendizado probabilístico.

Metodologia: PhiNet v2

O PhiNet v2 é uma arquitetura baseada em Transformer projetada para aprender a partir de sequências de imagens (vídeos) alinhando-se com a circuiteria biológica encontrada no córtex entorrinal (CE), hipocampo (CA3 e CA1) e neocórtex.

1. Interpretação Biológica e Arquitetura

O modelo mapeia seus componentes para regiões cerebrais específicas:

• Córtex Entorrinal (CE) / Encoder $f$: Codifica a entrada sensorial (frames de vídeo $x_t$) em representações de baixa dimensão ($Z_t$). O PhiNet v2 utiliza um Vision Transformer (ViT) como encoder.
• Região CA3 / Predictor $h$: Baseado na Hipótese da Predição Temporal, este módulo prevê a atividade neural futura. Ele prevê a representação de um frame futuro ($\hat{Z}_{t+k}$) a partir do frame atual ($Z_t$).
• Região CA1 / Predictor $g$ e Funções de Perda:
  • Sim-1 (Erro de Predição): O CA1 compara o sinal previsto $\hat{Z}_{t+k}$ com o sinal futuro real (processado com ruído $\epsilon$). Essa discrepância é modelada como uma divergência de probabilidade (divergência KL) entre um prior e um posterior aproximado, impulsionando a plasticidade rápida.
  • Sim-2 (Aprendizado Lento): O CA1 gera um sinal para o neocórtex. Um segundo preditor $g$ gera uma representação alvo $Y_{t+k}$ baseada na predição e em uma variável aleatória latente $r$.
• Neocórtex / Slow Encoder $f_{long}$: Mimetiza o sistema neocortical de aprendizado lento. Seus parâmetros são atualizados via uma Média Móvel Exponencial (EMA) dos parâmetros do encoder principal, garantindo consistência de longo prazo e evitando o colapso representacional.

2. Derivação Probabilística

O objetivo de aprendizado é derivado da inferência variacional. Os autores visam maximizar a verossimilhança dos frames de vídeo codificados. Ao aplicar a regra da cadeia e introduzir um modelo de mistura uniforme com uma variável latente $r$ para capturar a estocasticidade, eles derivam um Evidence Lower Bound (ELBO).

• A perda Sim-1 corresponde à divergência KL entre o posterior aproximado $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ e o prior $p(r|\hat{Z}_{t+k})$.
• A perda Sim-2 corresponde ao erro de reconstrução entre a representação prevista $Y_{t+k}$ e a representação alvo $f_{long}(x_{t+k})$.
• O objetivo total é uma soma simétrica das perdas cronológica e reversa-cronológica para promover a consistência temporal bidirecional.

3. Dinâmica de Treinamento e Estabilização

Para evitar o colapso representacional e garantir um treinamento estável sem forte aumento de dados, o PhiNet v2 emprega mecanismos específicos:

• Stop-Gradients (SG): Gradientes diretos são interrompidos para o caminho do prior (SG-prior) e para o slow encoder (SG-2), forçando o modelo a aprender através das atualizações impulsionadas pelo erro das vias rápidas.
• Equilíbrio de KL (KL Balancing): Um viés é aplicado aos termos prior e posterior durante o cálculo da divergência KL.
• EMA: O slow encoder $f_{long}$ é atualizado via EMA, desacoplando sua dinâmica de aprendizado do encoder principal.
• Injeção de Ruído: Ruído Gaussiano $\epsilon$ é adicionado aos frames futuros para evitar o aprendimento de atalhos (ex: copiar pixels), embora o modelo aprenda representações em vez de reconstruir pixels.

Principais Contribuições

1. Arquitetura PhiNet v2: O primeiro modelo de aprendizado de representação visual inspirado no cérebro baseado em Transformer, capaz de processar entrada visual sequencial.
2. Aprendizado Livre de Augmentation: O modelo aprende representações robustas a partir de entrada sequencial sem depender do forte aumento de dados e mascaramento exigidos pela maioria dos modelos de fundação existentes (ex: MAE, DINO).
3. Formulação Variacional: Uma derivação probabilística formal unindo a modelagem inspirada no cérebro (Predição Temporal e CLS) com a inferência variacional, fornecendo uma base matemática fundamentada.
4. Desempenho: O modelo alcança desempenho competitivo ou superior em comparação com fortes métodos de pré-treinamento (DINO, SiamMAE, CropMAE, RSP) mantendo uma arquitetura mais simples (sem módulos auxiliares de MAE).

Resultados Experimentais

Os autores pré-treinam o PhiNet v2 no dataset Kinetics-400 e o avaliam em tarefas de propagação de rótulos de vídeo (DAVIS, VIP, JHMDB).

• Desempenho em Benchmarks: O PhiNet v2 supera o RSP, CropMAE e um baseline do tipo JEPA em todos os datasets testados.
  • No DAVIS (Segmentação de Vídeo), o PhiNet v2 atinge um escore J&Fm de 60.1, comparado a 58.4 para o RSP e 57.0 para o CropMAE.
  • No VIP (Segmentação de Partes) e JHMDB (Rastreamento de Pose), o PhiNet v2 também alcança os maiores escores (33.1 mIoU e 73.6 PCK@0.2, respectivamente).
• Robustez ao Ruído: Em experimentos adicionando ruído Gaussiano aos frames de entrada, o PhiNet v2 demonstra maior robustez que o RSP, particularmente no dataset DAVIS, validando a hipótese de que o aprendizado no espaço de representação é menos sensível ao ruído de nível de pixel do que métodos de reconstrução de pixels.
• Estudos de Ablação:
  • EMA: Remover o EMA leva a representações colapsadas e baixo desempenho (26.8 vs 60.1).
  • Perda Simétrica: O uso de perda simétrica melhora o desempenho em 0.4–0.9 pontos.
  • Predictor $h$: Incluir o preditor $h$ (CA3) é crucial para evitar o colapso.
  • Tamanho de Batch: O modelo permanece estável em vários tamanhos de batch (192 a 1536), permitindo o treinamento em hardware limitado (ex: GPUs V100).
  • Arquitetura: Simplesmente substituir o ResNet no PhiNet v1 por um Transformer sem as mudanças arquiteturais específicas do PhiNet v2 resulta em baixo desempenho (22.2), destacando a necessidade do design específico.

Significância e Alegações

O artigo posiciona o PhiNet v2 como um passo em direção a sistemas de visão computacional mais biologicamente plausíveis. Sua significância reside em:

• Plausibilidade Biológica: Ele integra com sucesso a Hipótese da Predição Temporal e a teoria CLS em um framework moderno baseado em Transformer, indo além do processamento de imagens estáticas do PhiNet v1.
• Eficiência e Simplicidade: Diferente do RSP, que requer um módulo auxiliar MAE para impulsionar o desempenho, o PhiNet v2 alcança resultados superiores através do alinhamento de representação, eliminando a necessidade de componentes auxiliares complexos e ajuste extensivo de hiperparâmetros.
• Escalabilidade: Embora os experimentos atuais sejam conduzidos em escalas menores para garantir uma comparação justa com métodos existentes, os autores observam que a arquitetura é intrinsecamente relacionada aos frameworks JEPA e DINO, sugerindo potencial para escalar para configurações maiores e competir com modelos de grande escala como V-JEPA ou DINOv3.

O trabalho demonstra que combinar mecanismos inspirados na neurociência com objetivos de aprendizado probabilístico pode gerar representações de vídeo robustas e de estado da arte sem a dependência pesada de aumento de dados típica dos paradigmas atuais de SSL.