Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Resumo Técnico: Desalinhamento entre a Retropropagação e a Hierarquia das Respostas Cerebrais a Imagens

Declaração do Problema
Embora as redes neurais profundas (DNNs) e o sistema visual dos mamíferos compartilhem semelhanças notáveis em suas hierarquias representacionais de processamento direto, a plausibilidade biológica da retropropagação — o algoritmo de aprendizado central do deep learning — permanece uma questão central não resolvida na neurociência computacional. A retropropagação padrão exige simetria sináptica (transporte de pesos) e um cálculo de gradientes de cima para baixo, mecanismos considerados biologicamente implausíveis. Embora trabalhos anteriores tenham estabelecido que as ativações diretas das DNNs se alinham com a hierarquia cortical, permanece desconhecido se a hierarquia de cima para baixo dos gradientes retropropagados exibe uma correspondência similar com as respostas neurais. Este estudo aborda se o cérebro implementa um mecanismo funcionalmente equivalente à retropropagação, testando se os gradientes retropropagados mapeiam a atividade cerebral humana e se sua organização espacial e temporal se alinha com as previsões algorítmicas da retropropagação.

Metodologia
Os autores empregaram uma abordagem de neuroimagem multimodal combinada com análises de codificação avançadas:

• Fontes de Dados: O estudo utilizou o conjunto de dados THINGS-MEG (magnetoencefalografia, 4 participantes, 22.500 imagens) para alta resolução temporal e o Natural Scenes Dataset (fMRI 7T, 8 participantes, 10.000 imagens) para alta resolução espacial.
• Modelos: A análise principal focou no DINOv3 (um Vision Transformer auto-supervisionado de última geração), escolhido por seu objetivo de aprendizado não supervisionado, que se alinha com a possível dependência do cérebro em codificação preditiva. Para garantir generalizabilidade, os resultados foram reproduzidos em oito modelos de visão diversos, incluindo CNNs supervisionadas, ViTs supervisionados e modelos visão-linguagem (CLIP, SigLIP2, etc.).
• Análise de Codificação: Os autores adaptaram análises de codificação linear padrão para mapear características do modelo para dados neurais.
  • Ativações Diretas: Extração de ativações por camada.
  • Gradientes Retropropagados: Cálculo de gradientes usando retropropagação padrão entre redes professor e estudante (para o DINOv3) ou funções de perda nativas para outros modelos.
  • Retropropagação Residual: Para isolar sinais específicos de gradientes, os autores calcularam uma pontuação de "Retropropagação Residual" subtraindo a pontuação de codificação das ativações diretas da pontuação de codificação dos sinais diretos e reversos combinados.
• Redução de Dimensionalidade: Devido à alta dimensionalidade dos vetores de gradientes (~4 milhões), os sinais foram projetados em matrizes aleatórias e subsequentemente reduzidos via Análise de Componentes Principais (PCA) para 300 dimensões antes da codificação.
• Dinâmicas de Treinamento: Um subconjunto de experimentos envolveu o treinamento do DINOv3-S do zero para observar a evolução das pontuações de codificação ao longo das iterações de treinamento.

Principais Contribuições

1. Extensão das Análises de Codificação: O estudo estende a codificação padrão de ativações diretas para mapear gradientes retropropagados em dados neurais, fornecendo um teste direto de correlatos de sinais de aprendizado no cérebro.
2. Mapeamento de Gradientes Residuais: Ao introduzir uma análise residual conservadora, os autores demonstram que os gradientes retropropagados explicam variância neural que não pode ser contabilizada apenas pelas ativações diretas.
3. Dissociação Sistemática: O artigo fornece evidências empíricas de que, enquanto as ativações diretas se alinham com a hierarquia ascendente do cérebro, os gradientes retropropagados não seguem a organização temporal e espacial descendente esperada prevista por teorias de retropropagação biologicamente plausíveis.

Resultados

• Poder Preditivo dos Gradientes: Gradientes retropropagados do DINOv3 e de outros modelos preveem de forma confiável sinais de fMRI e MEG, particularmente no córtex visual de nível superior e em latências mais tardias. Este mapeamento mantém-se em arquiteturas diversas e objetivos de aprendizado.
• Variância Residual: A retropropagação residual (gradientes independentes das ativações diretas) prevê significativamente a atividade cerebral, codificando especificamente representações no córtex visual tardio (por exemplo, córtex ventromedial e temporoparietal lateral-occipital) e durante janelas de tempo posteriores (0,5s–1,7s pós-estímulo).
• Desalinhamento Espacial:
  • Passagem Direta: Camadas rasas preveem áreas visuais iniciais (V1), enquanto camadas profundas preveem o córtex associativo, refletindo uma hierarquia ascendente.
  • Passagem Reversa: Contrariando a previsão descendente da retropropagação, gradientes profundos alinham-se melhor com áreas sensoriais iniciais, e gradientes rasos alinham-se com regiões associativas. Isso indica uma correlação espacial negativa, revertendo efetivamente a hierarquia esperada.
• Desalinhamento Temporal:
  • Passagem Direta: A codificação atinge o pico sequencialmente, com camadas rasas atingindo o pico mais cedo e camadas profundas mais tarde.
  • Passagem Reversa: Todas as camadas de gradientes retropropagados atingem o pico simultaneamente com a camada final da passagem direta. Não há atraso descendente sequencial; os gradientes não exibem a hierarquia temporal esperada se sinais de erro fossem propagados sequencialmente através das camadas corticais.
• Dinâmicas de Treinamento: As pontuações de passagem direta e retropropagação aumentam logaritmicamente durante o treinamento, expandindo-se em direção a regiões de nível superior e latências posteriores. Em contraste, a retropropagação residual segue uma trajetória não monotônica, atingindo o pico em 10.000 iterações antes de declinar à medida que as redes professor e estudante convergem.

Significado e Alegações
Os autores concluem que, embora redes profundas e o cérebro possam compartilhar conteúdo representacional similar (como evidenciado pelo alinhamento de ativações diretas), eles provavelmente dependem de mecanismos fundamentalmente diferentes para aprender essas representações. O estudo alega que a organização espacial e temporal observada dos gradientes retropropagados no cérebro diverge significativamente dos padrões esperados sob um mecanismo de retropropagação biologicamente plausível (por exemplo, propagação sequencial descendente de sinais de erro).

O artigo postula que essas descobertas fornecem restrições empíricas sobre teorias de aprendizado biológico. Embora os resultados não descartem completamente o aprendizado baseado em gradientes, eles sugerem que, se tais mecanismos existirem no cérebro, eles não se manifestam com as assinaturas espaciais e temporais específicas da retropropagação padrão. Os autores sugerem que estruturas alternativas, como regras hebbianas locais, aprendizado contrastivo ou arquiteturas de codificação preditiva que não exigem propagação explícita de gradientes de erro, podem explicar melhor as dinâmicas neurais observadas. O trabalho destaca uma lacuna potencial entre a eficiência do aprendizado biológico e os algoritmos atuais de deep learning, sugerindo que entender a estratégia real de aprendizado do cérebro poderia inspirar abordagens de aprendizado de máquina mais eficientes e robustas.