Resumo Técnico: Além do Alinhamento de Ativação: A Geometria da Sensibilidade Neural

Declaração do Problema

Medidas de alinhamento de ativação, como Análise de Similaridade Representacional (RSA), Análise de Correlação Canônica (CCA) e Alinhamento de Kernel Centralizado (CKA), são ferramentas padrão para comparar representações neurais biológicas e artificiais. Esses métodos quantificam principalmente a similaridade geométrica em padrões de atividade evocados por estímulos. No entanto, existe uma limitação crítica: a concordância no nível de leituras globais não determina como um sistema utiliza evidências locais de estímulos. As representações podem alinhar-se no espaço de ativação, mas diferir significativamente em sua sensibilidade a pequenas perturbações. Além disso, medidas de similaridade baseadas em ativação não são invariantes a transformações simples post-hoc (por exemplo, traduções de subconjuntos fixos seguidas de centralização global da média), o que pode alterar as pontuações de similaridade sem mudar o processo de codificação subjacente. Embora perspectivas baseadas em decodificadores e abordagens de geometria local tenham sido propostas para abordar isso, elas frequentemente falham em especificar como as informações devem ser agregadas entre estímulos ou qual resumo ao nível do conjunto de dados é suficiente para caracterizar tarefas de discriminação.

Metodologia

Os autores propõem um framework baseado em informação local decodificável, focando na capacidade de uma representação de discriminar pequenas perturbações dentro de um subespaço especificado de coordenadas de estímulos sob ruído.

1. Tarefas de Perturbação Local e Geometria de Fisher

O framework trata uma representação neural como um mapa diferenciável $f: \mathbb{R}^d \to \mathbb{R}^m$. A sensibilidade local é caracterizada pela métrica de pullback $M_f(x) = J_f(x)^\top J_f(x)$, onde $J_f$ é o Jacobiano.

• Definição da Tarefa: Uma tarefa de discriminação local envolve distinguir entre um estímulo $s$ e um estímulo perturbado $s + \eta$ dada uma atividade populacional ruidosa. A discriminabilidade ao quadrado $d'^2$ é governada pela métrica de Fisher $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$, onde $\Sigma$ é a covariância do ruído.
• Resumo ao Nível do Conjunto de Dados: Para avançar da sensibilidade pontual para uma comparação ao nível da representação, os autores definem uma Família de Tarefas Locais de Segundo Momento Projetada. Ao fixar uma família de coordenadas (parametrizada por $\psi$) e um subespaço de perturbação (definido por uma matriz ortonormal $P$), eles calculam a média da métrica de Fisher local sobre a distribuição de estímulos.
• O Operador: O resumo mínimo e completo ao nível do conjunto de dados para esta família é o Operador de Fisher Esperado Projetado:
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  No caso de ruído isotrópico, isso reduz-se à Métrica de Pullback Esperada Projetada $G_{f,\psi,P}$. Este operador caracteriza completamente a discriminabilidade esperada para qualquer família de perturbações de segundo momento definida por $P$.

2. Decomposição: Ganho e Forma

Os autores decompõem o operador de resumo em:

• Ganho ($\gamma$): A sensibilidade total esperada (traço do operador).
• Forma ($\hat{G}$): A alocação direcional da sensibilidade (operador normalizado pelo traço).
  Isso permite a comparação de representações com base na sensibilidade total versus as direções específicas no espaço de estímulos que elas amplificam ou suprimem.

3. Métrica de Comparação: S-RAS

Para comparar esses resumos definidos positivos (SPD), os autores empregam a Métrica Riemanniana Invariante a Afinidade (AIRM) na variedade de matrizes SPD. Eles definem a Pontuação de Alinhamento Riemanniano Espectral (S-RAS):
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
onde $\tilde{G}$ é um levantamento SPD escalado pelo traço usado para regularização. A análise teórica mostra que o S-RAS fornece um certificado multiplicativo uniforme sobre a família de valores de tarefas levantados, limitando a discordância na discriminabilidade esperada entre duas representações.

Principais Contribuições

1. Formalização da Discriminação Local: O artigo define tarefas de discriminação de perturbação local de segundo momento e identifica o operador de Fisher/pullback esperado projetado como o resumo mínimo e completo ao nível do conjunto de dados para essas tarefas.
2. Métrica S-RAS: Introduz um método de comparação consciente da geometria (S-RAS) usando distância espectral logarítmica em matrizes SPD, fornecendo uma pontuação de similaridade normalizada por dimensão com garantias teóricas sobre limites de valores de tarefa.
3. Validação Empírica: O framework é validado em sistemas artificiais e biológicos, demonstrando utilidade na correspondência de camadas, sondas transferíveis, análise de treinamento robusto e dados biológicos.

Resultados Experimentais

1. Correspondência de Camadas (Redes Artificiais)

Usando CNNs Tiny10 treinadas independentemente, os autores testaram se o S-RAS poderia recuperar a correspondência esperada de camadas.

• Resultados: O S-RAS alcançou correspondência significativa (85,3% de precisão em $K=768$ com perturbações aleatórias; 93,8% com PCA branqueada), aproximando-se do desempenho de fortes baselines de ativação como CKA linear (94,4%).
• Comparação: O S-RAS superou controles de geometria local pontuais (AIRM pontual e baselines estilo MSA), indicando que agregar operadores de família de tarefas esperados é superior a calcular a média de discrepâncias de métricas pontuais.

2. Sondas Condicionais à Classe Transferíveis

Os autores testaram se contrastes de sensibilidade poderiam ser externalizados em perturbações finitas que generalizam para imagens e modelos mantidos de fora.

• Resultados: Sondas derivadas de contrastes de sensibilidade condicionais à classe (comparando ResNet-18 e Small ViT) produziram uma separação de imagens mantidas de fora significativamente maior (1,10) em comparação com controles de contraste aleatório (0,43), sensibilidade agrupada (0,31) e permutação de rótulos (0,03). Isso sugere que o método captura estruturas de evidência local compartilhadas que se transferem entre modelos.

3. Dissociações no Treinamento Robusto

Usando bancos ResNet-18 treinados com ERM, PGD, TRADES e MART, os autores examinaram se o framework poderia distinguir regimes de treinamento.

• Resultados: Sondas derivadas de contrastes separaram com sucesso modelos padrão de modelos robustos (PGD, TRADES, MART) em imagens mantidas de fora. O método também revelou diferenças sutis entre objetivos de treinamento robusto (por exemplo, separando PGD de TRADES), mostrando que as sondas são sensíveis a mudanças específicas no uso de evidência local, e não apenas a diferenças de regime.

4. Aplicação Biológica (Allen Brain Observatory)

O framework foi aplicado a dados do córtex visual de camundongos usando grades estáticas com coordenadas $(\theta, \rho, \phi)$.

• Resultados: Na correspondência de identidade entre áreas, o resumo Fisher Completo consciente de ruído alcançou 0,458 de precisão top-1, superando significativamente o CKA (0,288) e a geometria ingênua. No benchmark mais difícil VISp-depth, o Fisher Completo (0,466) permaneceu competitivo com o CKA (0,483).
• Insight: Os resultados indicam que a estrutura de sensibilidade biológica depende tanto da sensibilidade total consciente de ruído quanto da alocação direcional. A escolha da família de coordenadas de estímulos (por exemplo, $\rho + \phi$ versus conjunto completo) impacta significativamente o desempenho de correspondência, destacando a natureza "relativa à família" da métrica.

Significado e Alegações

O artigo afirma que comparações baseadas em ativação são mais informativas para organização evocada por estímulos ou estrutura de leitura a jusante, mas são insuficientes para determinar se as representações dependem das mesmas evidências locais de estímulos. O framework proposto oferece uma perspectiva complementar ao perguntar se duas representações tornam as mesmas pequenas direções de estímulos discrimináveis em média.

As principais alegações incluem:

• Similaridade Relativa à Família: A concordância é definida em relação a uma família de perturbação específica; as representações podem alinhar-se sob uma família, mas não sob outra.
• Robustez a Transformações: Como o método depende de Jacobianos e não de nuvens de pontos de ativação, é insensível a deslocamentos post-hoc constantes em relação ao estímulo (por exemplo, centralização global da média), abordando uma limitação conhecida do CKA.
• Utilidade Empírica: O framework recupera com sucesso a correspondência de camadas, gera sondas diagnósticas transferíveis, revela dissociações no treinamento robusto e descobre sensibilidade dependente da família em dados biológicos.

Os autores permanecem modestos, observando que o framework é local, ao nível do conjunto de dados e baseado em segundo momento. Ele não captura ótimos condicionados à imagem, efeitos de ordem superior ou comportamento fortemente não linear de perturbações finitas. Eles concluem que benchmarks mais amplos são necessários para determinar quando a geometria de sensibilidade ao nível do conjunto de dados fornece insights científicos distintos em comparação com métodos existentes.