Resumo Técnico: Além da Precisão de Previsão: Perfis de Recuperação do Espaço-Alvo para Avaliar o Alinhamento Modelo–Cérebro

Declaração do Problema

As avaliações atuais de modelos de visão artificial contra o córtex visual humano dependem fortemente da precisão de previsão (por exemplo, correlação entre representações do modelo e respostas de fMRI). Embora úteis para classificar modelos, uma única pontuação escalar de precisão não revela quais dimensões do espaço de resposta do cérebro-alvo são realmente recuperadas pela previsão. Um modelo pode alcançar alta precisão capturando apenas um subconjunto de direções de resposta ou ao corresponder direções que diferem daquelas recuperadas por outros modelos com precisão semelhante. Além disso, as respostas cerebrais medidas contêm tanto sinais reproduzíveis quanto ruído; sem distingui-los, é difícil determinar se um modelo está se alinhando à estrutura verdadeira e estável do cérebro ou apenas ajustando-se ao ruído.

Metodologia

Os autores introduzem uma estrutura do espaço-alvo que desloca o foco da avaliação de pontuações escalares para a sobreposição estrutural entre respostas previstas e uma referência-alvo reproduzível.

1. Referência-Alvo Reproduzível

Usando medições repetidas de fMRI (múltiplas tentativas das mesmas imagens), os autores definem uma referência que captura dimensões do espaço de resposta do cérebro-alvo que são consistentemente recuperáveis em divisões independentes de tentativas.

• Construção: Tentativas repetidas para imagens mantidas de fora são divididas em duas visualizações médias. Previsões de alvo para alvo são ajustadas em ambas as direções para derivar bases do lado do alvo. A referência-alvo reproduzível é a média dos projetores derivados dessas divisões.
• Propriedades: Diferentemente da PCA, que classifica dimensões por variância, esta referência classifica dimensões por reprodutibilidade preditiva. Sua decomposição espectral produz direções de referência-alvo ($u_j$) e pesos ($\omega_j$), onde pesos maiores indicam direções mais consistentemente recuperadas em partições de tentativas.

2. Subespaço Preditivo e Perfis de Recuperação

Para qualquer fonte (cérebro de outro sujeito ou um modelo de visão), a estrutura avalia o subespaço preditivo induzido pela fonte no espaço de resposta do alvo.

• Indução pela Fonte: Um ajuste linear de baixo posto regularizado por ridge mapeia a fonte para o alvo, induzindo uma base ortonormal do alvo ($Q_s$) e um projetor ($P_s$).
• Perfil de Recuperação: O alinhamento é quantificado pela medida em que o subespaço preditivo se sobrepõe à referência-alvo reproduzível.
  • Cobertura Direcional: Mede se uma direção específica de referência-alvo $u_j$ está dentro do subespaço preditivo.
  • Cobertura de Referência Top-$k$: Uma média ponderada da cobertura das $k$ principais direções de referência-alvo. Esta curva resume quais dimensões reproduzíveis são recuperadas.
  • Média do Perfil: Um resumo escalar da altura da curva de recuperação.

3. Referência Humana via Previsão Cérebro-a-Cérebro

Para estabelecer uma linha de base para recuperação "semelhante ao cérebro", os autores usam previsão cérebro-a-cérebro. Respostas de sujeitos não-alvo são usadas para prever as respostas do sujeito alvo. O perfil de recuperação resultante serve como uma referência humana, indicando quais dimensões de referência-alvo são tipicamente recuperáveis a partir de outros cérebros humanos. Os modelos são avaliados em relação a essa referência humana.

4. Configuração Experimental

• Conjunto de Dados: Um subconjunto do Natural Scenes Dataset (NSD) envolvendo 8 sujeitos visualizando 515 imagens naturais repetidamente.
• Alvos: ROIs do córtex visual (V1v, V1d, V2v, V2d, V3v, V3d, hV4) em ambos os hemisférios.
• Fontes:
  • Cérebro: Respostas de outros sujeitos.
  • Modelos: ResNet-18/50, VGG-16 e ViT-B/16 em estados pré-treinados (ImageNet) e inicializados aleatoriamente.
• Protocolo: Separação estrita entre treinamento e avaliação. Imagens de teste externo definem a referência e avaliam a precisão; elas nunca são usadas para seleção de modelo ou ajuste de hiperparâmetros.

Principais Resultados

1. Estrutura Reproduzível de Baixa Dimensão

Respostas repetidas do cérebro-alvo definem uma referência-alvo reproduzível de baixa dimensão. Os pesos da referência estão concentrados em um pequeno número de dimensões (as três primeiras representam ~88,6% do peso normalizado), com uma rank efetiva mediana de 5,12. Essa estrutura reflete reprodutibilidade preditiva e não apenas variância de resposta.

2. Precisão de Previsão Mascara Diferenças Estruturais

O estudo demonstra que a precisão de previsão sozinha pode mascarar incompatibilidades modelo–cérebro.

• Estudo de Caso: Modelos pré-treinados e inicializados aleatoriamente com precisão de previsão quase idêntica ($|\Delta \text{precisão}| \le 0,01$) mostraram perfis de recuperação distintos.
• Diferença Quantitativa: Em 29 pares pré-treinados–aleatórios da mesma arquitetura, 79% excederam o limiar de variação humana para diferenças na média do perfil, favorecendo os modelos pré-treinados. Isso indica que pontuações de precisão semelhantes podem corresponder à recuperação de dimensões de resposta fundamentalmente diferentes.

3. Pré-treinamento Amplia a Recuperação

O pré-treinamento no ImageNet altera significativamente o perfil de recuperação. Modelos pré-treinados recuperam um conjunto mais amplo de dimensões de referência-alvo em comparação com suas contrapartes inicializadas aleatoriamente.

• Diferença na Média do Perfil: Modelos pré-treinados excederam controles aleatórios em uma média de 0,177 na média do perfil (IC 95%: 0,162–0,192), uma lacuna muito maior do que a variabilidade introduzida por sementes de inicialização aleatória.
• Especificidade Dimensional: Esse ganho não se limita à dimensão principal; modelos pré-treinados mostram maior cobertura nas 10 principais dimensões.

4. Cérebro-a-Cérebro como Referência Diagnóstica

Comparações cérebro-a-cérebro fornecem uma referência humana estruturada mais informativa do que um "teto de ruído" escalar. Embora a precisão da previsão cérebro-a-cérebro se correlacione com a altura geral da curva de recuperação, a forma da curva (quais dimensões são recuperadas) varia e fornece um diagnóstico específico de quão bem um modelo se alinha à estrutura neural humana.

Significado e Afirmações

O artigo afirma que a precisão de previsão é insuficiente para diagnosticar o alinhamento modelo–cérebro porque não especifica quais dimensões reproduzíveis de resposta cerebral são recuperadas.

• Poder Diagnóstico: A estrutura proposta torna explícitas quais dimensões reproduzíveis são recuperadas, revelando incompatibilidades que pontuações escalares escondem (por exemplo, entre modelos pré-treinados e aleatórios com precisão igual).
• Avaliação Centrada no Humano: Ao usar previsão cérebro-a-cérebro para definir uma referência humana, a estrutura vai além de benchmarks abstratos para uma comparação diagnóstica do que é recuperado do cérebro-alvo.
• Interpretação Condicional: Os autores enfatizam que a alta recuperação da referência-alvo reproduzível é evidência condicional de alinhamento. Indica que um ajuste de fonte para alvo recupera dimensões reproduzíveis para uma ROI, conjunto de dados e classe de leitura específicos, mas não afirma que toda a representação do modelo é "semelhante ao cérebro".

O trabalho contribui com uma estrutura unificada para avaliar tanto o alinhamento modelo–cérebro quanto cérebro–cérebro, argumentando que entender a estrutura da recuperação é tão crítico quanto a magnitude da precisão de previsão na NeuroIA.