Resumo Técnico: CHASMBrain

Declaração do Problema

O desafio fundamental abordado neste trabalho é compreender a correspondência entre representações visuais profundas e a organização hierárquica do sistema visual humano. Embora os modelos de visão modernos se destaquem no reconhecimento de imagens, seu alinhamento com a organização funcional do córtex visual humano permanece uma questão em aberto. Especificamente, os modelos de codificação existentes frequentemente falham em capturar simultaneamente:

1. Detalhes espaciais locais críticos para áreas visuais precoces (regiões retinotópicas como V1/V2).
2. Contexto semântico global essencial para áreas corticais de ordem superior.
3. Alto ruído intrínseco nos sinais de fMRI, o que complica a regressão direta ao nível de voxel.

Abordagens atuais frequentemente dependem de características manuais ou redes profundas monolíticas que carecem de interpretabilidade biológica ou falham em desmembrar a localização espacial da sintonização de características.

Metodologia: CHASMBrain

Os autores propõem o CHASMBrain, um novo framework hierárquico de dois estágios para codificação de imagem-para-fMRI. A arquitetura é motivada pela organização funcional do córtex visual, empregando uma estratégia de grosso para o fino (coarse-to-fine) e um design Mamba de fluxo duplo (dual-stream).

1. Representação de Entrada

O modelo utiliza um codificador DINOv2 pré-treinado (ViT-B/14) para extrair características visuais:

• Token CLS: Um único vetor que resume a semântica global da imagem.
• Tokens de Patch: Uma sequência de 256 vetores que preservam a estrutura espacial local.

2. Estágio 1: Predição Grossa (Dual-Stream Mamba)

O primeiro estágio prevê ativações com redução de ruído no nível da Região de Interesse (ROI), em vez de voxels individuais, para mitigar o ruído.

• Arquitetura de Fluxo Duplo:
  • Ramo Global: Processa o token CLS usando um bloco Mamba para modelar a semântica de alto nível.
  • Ramo Local: Processa os tokens de patch usando uma pilha mais profunda de blocos Mamba para modelar a estrutura espacial de grão fino.
• Fusão Adaptativa: Um portão (gate) aprendível funde dinamicamente as saídas dos dois ramos ($\hat{r} = \alpha \cdot r_g + (1-\alpha) \cdot r_l$), permitindo que o modelo enfatize o contexto global para cenas simples ou detalhes locais para cenas complexas.
• Agregação de ROI: Os voxels são agrupados em clusters não sobrepostos. Em vez de uma média simples, o modelo agrega os top-$p\%$ (definido como 70%) das ativações dentro de cada cluster para preservar picos informativos enquanto suprime o ruído.
• Objetivo de Treinamento: Combina Erro Quadrático Médio (MSE), alinhamento de correlação de Pearson e uma perda contrastiva InfoNCE para alinhar as características da imagem com as respostas cerebrais.

3. Estágio 2: Predição Fina (Mamba-VAE)

O segundo estágio refina as predições grossas de ROI em predições completas ao nível de voxel.

• Fusão de Entrada: Combina as predições de ROI do Estágio 1 com as características visuais originais (features de patch agrupadas e o token CLS).
• Mamba-VAE:
  • Encoder: Uma pilha de blocos Mamba codifica a sequência fundida.
  • Espaço Latente Variacional: Um cabeçalho VAE modela a variabilidade de tentativa para tentativa nas respostas de fMRI, aprendendo uma distribuição latente ($\mu, \sigma$). Durante a inferência, a média ($\mu$) é utilizada para a predição determinística.
• Decodificação Dupla:
  • Decodificador de Voxel Holístico: Prediz o vetor completo de voxels conjuntamente a partir do contexto global usando tokens de consulta aprendíveis.
  • Decodificador de Resíduo de ROI: Prediz resíduos locais em relação aos valores grosseiros do Estágio 1, focando em correções finas.
• Recuperação de Amplitude: Uma camada de recuperação de escala aprendível ajusta a magnitude da saída com base na complexidade do estímulo.

Principais Contribuições

1. Framework Hierárquico de Dois Estágios: O CHASMBrain alcança uma correlação de Pearson de 0,429 e um MSE de 0,261 no Natural Scenes Dataset (NSD), superando modelos profundos recentes (SynBrain, MindSimulator) e fortes baselines lineares (Regressão Ridge, sondas lineares DINOv2).
2. Mecanismo Sequencial de Grosso para o Fino: Ao separar o alinhamento semântico robusto no nível de ROI da refinação de grão fino de voxel via Mamba-VAE, o modelo aborda efetivamente o alto ruído intrínseco dos sinais de fMRI.
3. Especialização de Fluxo Causal: Através de experimentos de ablação de ramo e roteamento de entrada, os autores demonstram uma especialização assimétrica:
   • O Fluxo de Patch (Local) está causalmente travado ao córtex visual precoce (regiões retinotópicas). A remoção deste prejudica desproporcionalmente as predições de regiões precoces.
   • O Fluxo CLS (Global) contribui com um contexto semântico mais amplo para áreas de ordem superior.
   • A inversão desses fluxos causa uma queda assimétrica significativa no desempenho (degradação relativa de 1,9× em regiões precoces), confirmando que a correspondência é causal e não meramente correlacional.
4. Generalização entre Sujeitos: O backbone aprendido generaliza entre indivíduos. Quando treinado em sujeitos de origem e congelado, com apenas um cabeçalho leve por sujeito sendo ajustado (fine-tuned), o modelo atinge um desempenho próximo ao do próprio sujeito em sujeitos não vistos, sugerindo que a representação é agnóstica ao sujeito.

Resultados

• Desempenho Quantitativo: No NSD (sujeitos 1, 2, 5, 7), o CHASMBrain reduz o MSE em 26,9% em comparação com a sonda linear DINOv2 mais forte (Camada 12) e supera significativamente trabalhos anteriores como SynBrain e MindSimulator.
• Análise Qualitativa: Os mapas de fMRI preditos preservam fronteiras regionais nítidas e picos localizados, espelhando de perto as respostas neurais reais. A reconstrução de imagens downstream (via MindEye2) demonstra uma retenção semântica robusta, reconstruindo com sucesso estruturas coerentes de objetos rígidos melhor que os baselines.
• Estudos de Ablação:
  • O design Dual-Mamba supera o Mamba de fluxo único e Transformers, utilizando menos parâmetros e FLOPs.
  • A estratégia de refinação baseada em VAE supera significativamente a refinação baseada em difusão, que falha devido à confusão entre ruído artificial e ruído biológico.
  • Identificou-se uma granularidade de agrupamento ideal de 30 voxels/cluster, equilibrando a redução de ruído no Estágio 1 com a resolução espacial para o Estágio 2.

Significância

O artigo afirma que o CHASMBrain preenche a lacuna entre representações visuais artificiais e a atividade neural humana ao incorporar priors corticais. Ao separar explicitamente os parâmetros de localização espacial dos parâmetros de peso de características, o modelo permite a inspeção direta das estruturas de campo receptivo. A evidência causal da especialização de fluxo sugere que o modelo captura uma representação visual biologicamente plausível que espelha as vias "onde" (dorsal/precoce) e "o quê" (ventral/superior) do cérebro humano. Além disso, a generalização entre sujeitos indica que o modelo aprende princípios visuais fundamentais em vez de sofrer overfitting ao ruído específico de cada sujeito.

Limitações

Os autores reconhecem diversas limitações:

• O limite superior preditivo é limitado pelo teto de ruído fisiológico da fMRI ($r \approx 0,60$).
• O pipeline depende de um codificador DINOv2 congelado, enviesado para imagens estáticas e centradas em objetos, o que pode carecer de dinâmicas temporais.
• A avaliação em outros datasets ainda não foi realizada devido aos diferentes protocolos de aquisição.
• A reconstrução visual downstream é limitada pelos priors generativos do decodificador fMRI-para-imagem.