Bidirectional representational alignment between biological and artificial neural networks

Resumo Técnico: Alinhamento Representacional Bidirecional entre Redes Neurais Biológicas e Artificiais

Declaração do Problema
Pesquisas recentes em neurociência computacional e aprendizado de máquina estabeleceram que o alinhamento representacional entre redes neurais biológicas e artificiais é inerentemente assimétrico. Especificamente, as representações de modelos artificiais predizem as respostas neurais biológicas (preditividade direta/forward) significativamente melhor do que as respostas biológicas predizem as representações do modelo (preditividade reversa/reverse). Embora a otimização de tarefas possa recuperar princípios fundamentais da representação neural, melhorias no desempenho da tarefa nem sempre se correlacionam com um melhor alinhamento. Essa assimetria levanta uma questão crítica: será que a geometria representacional das características aprendidas contribui para esse desalinhamento bidirecional? Os autores hipotetizam que a geometria espectral das representações pode ser sistematicamente direcionada durante o treinamento para modular esse alinhamento.

Metodologia
Para testar essa hipótese, os autores desenvolveram um framework computacional que integra regularização espectral com análises de preditividade bidirecional.

• Modelo e Conjunto de Dados: O framework foi implementado utilizando modelos de visão contrastivos de auto-supervisão (SimCLR com um codificador ResNet-50). O treinamento utilizou um subconjunto do ImageNet-1k, enquanto a avaliação empregou um benchmark do córtex temporal inferior (IT) de macaco, compreendendo respostas neurais a 3.200 estímulos visuais.
• Direcionamento Espectral (Spectral Steering): A inovação central envolve a adição de um termo de regularização espectral à perda contrastiva InfoNCE padrão. Este termo penaliza desvios de um expoente de decaimento espectral alvo ($\hat{\alpha}$) no eigenspectro das representações aprendidas.
  • A regularização é aplicada às ativações de encoder.layer4.0.bn1, uma camada conhecida por forte preditividade direta.
  • O expoente espectral $\alpha$ é estimado via mínimos quadrados ordinários no espectro log-log da variância explicada normalizada (componentes principais 5–15).
  • A função de perda total é $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$, onde $\lambda$ controla a força da regularização.
• Métricas de Avaliação:
  • Preditividade Direta (Forward Predictivity): Mede quão bem as ativações do modelo predizem as respostas neurais (regressão ridge do modelo para o neurônio).
  • Preditividade Reversa (Reverse Predictivity): Mede quão bem as respostas neurais predizem as ativações do modelo (regressão ridge do neurônio para o modelo).
  • Preditividade Bidirecional (BPI): Uma métrica composta ($BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$) que quantifica o alinhamento ao penalizar a assimetria.
  • Dimensionalidade Efetiva: Calculada através da razão de participação do espectro de variância explicada.
• Design Experimental: Os modelos foram treinados com variando expoentes espectrais alvo ($\hat{\alpha}$) e forças de regularização ($\lambda$). A análise foi realizada com base no expoente espectral medido ($\alpha$), em vez do alvo, para considerar casos em que a força da regularização não atingiu o alvo exato.

Resultos Principais
Os experimentos demonstraram que o direcionamento da geometria representacional influencia sistematicamente o alinhamento bidirecional:

1. Controle da Geometria Espectral: A regularização espectral direcionou com sucesso o expoente espectral medido das representações aprendidas. Uma regularização mais forte ($\lambda$) produziu maior concordância entre os expoentes medidos e o alvo.
2. Redução da Assimetria:
   • Preditividade Reversa: O aumento do expoente espectral medido ($\alpha$) aumentou substancialmente a preditividade reversa. Com $\lambda=3$, a variância explicada reversa melhorou de 12% (baseline) para 29% no bin de $\alpha$ mais alto.
   • Preditividade Direta: A preditividade direta mostrou um decréscimo modesto sob regularização espectral em comparação ao baseline, mas permaneceu relativamente estável através de diferentes valores de $\alpha$ medidos em uma força de regularização fixa.
   • Preditividade Bidirecional: O efeito líquido foi uma melhoria significativa na preditividade bidirecional, aumentando de aproximadamente 20% para 31% (uma melhoria relativa de 55%). Isso indica uma redução substancial na assimetria direta-reversa.
3. Insights Mecanísticos:
   • Unidades Comuns vs. Únicas: As melhorias foram mais pronunciadas nas "unidades comuns" (os 20% superiores de unidades do modelo classificados por preditividade reversa). Nesse subconjunto, a preditividade direta e reversa tornaram-se aproximadamente simétricas em expoentes espectrais intermediários.
   • Dimensionalidade: O aumento dos expoentes espectrais foi acompanhado por uma redução na dimensionalidade efetiva, sugerindo que o direcionamento da geometria concentra a variância representacional em menos dimensões efetivas.
   • Reorganização de Subespaço: Os achados sugerem que a regularização espectral reorganiza preferencialmente o subespaço representacional compartilhado entre redes artificiais e biológicas, melhorando a recuperabilidade linear da atividade neural a partir das representações do modelo.

Significância e Alegações
O artigo fornece um framework controlado demonstrando que a geometria representacional é uma propriedade direcionável que modula diretamente o alinhamento representacional bidirecional.

• Desafio à Assimetria Fixa: Os autores refutam a noção de que a assimetria direta-reversa é uma propriedade fixa de modelos otimizados para tarefas. Em vez disso, mostram que ela pode ser sistematicamente reduzida ao alterar a geometria espectral durante o aprendizado.
• Geometria como Fator Causal: Os resultados apoiam a hipótese de que a geometria representacional contribui para a qualidade do alinhamento. Especificamente, o aumento do expoente espectral melhora a direção "reversa" do alinhamento sem perda catastrófica na direção "direta".
• Além da Correspondência de Expoentes: O estudo observa que o alinhamento continuou a melhorar mesmo além do expoente espectral ($\alpha \approx 1$) tipicamente observado no córtex visual, sugerindo que apenas igualar as estatísticas espectrais biológicas não é suficiente para maximizar o alinhamento; em vez disso, o próprio processo de direcionamento induz reorganizações benéficas.
• Limitações e Escopo: Os autores enquadram modestamente esses achados como uma demonstração inicial usando uma arquitetura específica (ResNet-50) e um único benchmark neural. Eles reconhecem que o expoente espectral é apenas uma caracterização da geometria e que outras propriedades geométricas também podem desempenhar um papel. Trabalhos futuros são necessários para generalizar esses achados através de diferentes arquiteturas, objetivos de aprendizado e conjuntos de dados.

Em resumo, esta pesquisa estabelece um método para "direcionar" a geometria interna de redes artificiais para que se alinhem melhor com sistemas biológicos, oferecendo uma nova via para a interpretabilidade mecanística e o estudo da emergência da inteligência.