Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

Problema

A decodificação cerebral visa inferir representações relacionadas ao estímulo a partir de sinais cerebrais, tipicamente mapeando respostas de fMRI para os embeddings latentes de modelos computacionais. Recentemente, o modelo Contrastive Language-Image Pre-training (CLIP) tornou-se um alvo de representação padrão devido ao seu rico espaço de embedding visão-linguagem. No entanto, alinhar sinais de fMRI com representações padrão do CLIP continua sendo um desafio.

Os autores argumentam que o CLIP padrão é otimizado para o aprendizado contrastivo imagem-texto em escala web, e não para o alinhamento neural. Consequentemente, seus embeddings podem capturar características "não robustas" ou baseadas em atalhos (shortcuts) que são estatisticamente preditivas para o emparelhamento imagem-texto, mas que não são fielmente refletidas na atividade cerebral humana. Trabalhos anteriores tentaram melhorar a decodificação adicionando restrições biológicas (ex: mecanismos de atenção visual) ou impondo similaridade geométrica entre os embeddings e as respostas de fMRI. Este artigo postula que o problema não reside apenas no pipeline, mas nas propriedades intrínsecas da própria representação alvo. Especificamente, os autores hipotetizam que representações adversariamente robustas, que suprimem características não robustas e dependem mais de pistas perceptuais estáveis e estruturadas, podem se alinhar melhor com a invariância observada nas representações neurais humanas.

Metodologia

O estudo emprega um design experimental controlado onde o decodificador de fMRI e todo o pipeline de treinamento são mantidos fixos, enquanto apenas o modelo de representação alvo é variado.

• Datasets:
  • NSD (Natural Scene Dataset): Um dataset de visão-fMRI de larga escala contendo 73.000 imagens e dados de fMRI de 8 sujeitos. Os autores avaliam nos sujeitos 1, 2, 5 e 7.
  • GOD (Generic Object Decoding Dataset): Projetado para testar a generalização zero-shot com semânticas de treino-teste não sobrepostas, contendo 1.250 imagens e dados de 5 sujeitos.
• Modelos Alvo:
  • Baseline: CLIP padrão (backbone ViT-L/14).
  • Variantes Robustas: Duas variantes do CLIP treinadas adversariamente:
    • TeCoA: Uma variante robusta onde o codificador visual é ajustado adversariamente sob supervisão guiada por texto.
    • FARE: Uma variante robusta que utiliza ajuste fino adversário não supervisionado sem supervisão de texto.
  • Os autores avaliam diferentes níveis de força adversarial (ex: FARE-2/4, TeCoA-2/4) com base no orçamento de perturbação ($\epsilon$).
• Arquitetura do Decodificador:
  • Um decodificador linear mapeia dados de voxels de fMRI para os embeddings previstos.
  • Objetivos de Treinamento: O estudo utiliza dois objetivos:
    1. Perda InfoNCE (Contrastiva): Otimizando o alinhamento entre os embeddings previstos e o alvo usando uma perda contrastiva.
    2. Regressão Ridge: Um baseline padrão em decodificação cerebral.
• Métricas de Avaliação:
  • Desempenho de Decodificação: Acurácia Top-$k$ (Recall@k) para recuperação de imagem-fMRI em ambos os datasets NSD e GOD.
  • Alinhamento Neural: Correlação de Pearson, Similaridade de Cosseno e Análise de Similaridade Representacional (RSA) entre as respostas de fMRI e as representações alvo.
  • Análise de Atribuição: Usando o framework de Palazzo et al. [40], os autores calculam mapas de atribuição ao nível de pixel para analisar de quais características da imagem os decodificadores dependem. As métricas incluem entropia normalizada, IoU das regiões atribuídas top-$k$ e correlação de ranking de Spearman entre os mapas de atribuição.

Principais Resultados

Os resultados empíricos demonstram que substituir o CLIP padrão por variantes adversariamente robustas melhora consistentemente o desempenho da decodificação cerebral e o alinhamento neural.

1. Melhoria no Alinhamento e Recuperação:

   • No dataset NSD, as variantes robustas (FARE e TeCoA) alcançaram pontuações de alinhamento mais altas (correlação de Pearson, Similaridade de Cosseno, RSA) em comparação ao CLIP padrão. O TeCoA-4 alcançou consistentemente as maiores pontuações de alinhamento.
   • Na recuperação fMRI-imagem, os decodificadores robustos superaram o baseline do CLIP padrão. Notavelmente, o FARE-4 melhorou a acurácia Top-1 em 13% em relação ao baseline do CLIP sob decodificação contrastiva.
   • Essas melhorias mantiveram-se tanto na aprendizagem contrastiva quanto no objetivo de regressão ridge, sugerindo que a escolha da representação alvo é mais crítica do que o objetivo de treinamento.

2. Generalização Zero-Shot (Dataset GOD):

   • As melhorias foram reproduzíveis no dataset GOD, que impõe condições estritas de zero-shot. Decodificadores robustos mantiveram maior acurácia de recuperação e desempenho de classificação fMRI-texto zero-shot em comparação ao CLIP padrão.
   • Decodificadores TeCoA geralmente superaram os decodificadores FARE em tarefas de classificação de texto zero-shot.

3. Análise de Atribuição:

   • Estrutura Espacial: Embora todos os modelos tenham exibido alta difusão espacial global (alta entropia), as variantes robustas mostraram uma variação estrutural dependente de escala mais forte. Sua entropia diminuiu à medida que a resolução espacial se tornava mais grosseira, indicando padrões de atribuição mais estruturados em comparação com a entropia estável do CLIP padrão.
   • Desacordo de Características: Houve consistentemente um baixo acordo entre o CLIP padrão e as variantes robustas. O IoU (Intersection-over-Union) de top-$k$ para pixels altamente atribuídos foi extremamente baixo (abaixo de 0.1), e as correlações de ranking de Spearman foram fracas ou negativas. Isso sugere que o treinamento adversarial não apenas refina o uso de características, mas induz uma reorganização sistemática da importância das características, baseando-se em características de imagem estruturalmente distintas.

Contribuições

O artigo apresenta as seguintes contribuições específicas:

1. Demonstração dos Benefícios da Robustez: Mostra que as variantes do CLIP treinadas adversariamente (FARE e TeCoA) melhoram o alinhamento entre as respostas de fMRI e as representações do modelo, resultando em uma acurácia de recuperação fMRI-imagem significativamente maior no dataset NSD.
2. Validação Zero-Shot: Valida que essas melhorias se generalizam para configurações zero-shot no dataset GOD, confirmando que os ganhos não se devem ao overfitting específico do dataset.
3. Insights de Atribuição: Através da análise de atribuição, revela que os modelos robustos exibem baixo acordo com o CLIP padrão no uso de características, produzindo padrões espacialmente concentrados e distintos, sugerando que a robustez adversarial reorganiza a importância das características visuais.

Significância e Alegações

Os autores concluem que a escolha da representação alvo é um fator crítico nos pipelines de decodificação neural. Eles argumentam que a robustez adversarial serve como um viés indutivo útil para melhorar o alinhamento entre modelos computacionais e atividade cerebral.

O artigo afirma que, como as representações neurais humanas são relativamente invariantes a pequenas perturbações e menos dependentes de pistas não robustas, modelos treinados para suprimir tais pistas (via treinamento adversarial) produzem naturalmente representações que são mais compatíveis com sinais de fMRI. Este achado sugere que futuros esforços de decodificação cerebral devem considerar as propriedades intrínsecas do modelo alvo, como a robustez, em vez de focar apenas em modificações arquitetônicas ou engenharia de pipeline. O trabalho destaca que a robustez afeta não apenas a acurácia preditiva, mas também a maneira fundamental como as características visuais são utilizadas na decodificação da atividade cerebral.