ViBE: Visual-to-M/EEG Brain Encoding via Spatio-Temporal VAE and Distribution-Aligned Projection

1. Definição do Problema

O artigo aborda o desafio do Codificação Cerebral, especificamente a tarefa de prever respostas neurais (Magnetoencefalografia - MEG, e Eletroencefalografia - EEG) a partir de estímulos visuais (imagens).

• Contexto: Esta tecnologia é crucial para compreender a percepção visual humana e desenvolver próteses visuais para pacientes com cegueira incurável.
• Limitações dos Métodos Existentes:
  • Modelos Determinísticos: Abordagens anteriores frequentemente utilizam estratégias generativas determinísticas que mapeiam características visuais para uma única representação latente fixa. Isso falha em capturar a natureza inerente "um-para-muitos" das respostas cerebrais, levando a saídas médias e fisiologicamente inválidas.
  • Lacuna de Modalidade: Há uma discrepância significativa na escala de características entre embeddings visuais (por exemplo, de CLIP) e embeddings neurais (por exemplo, fMRI ou M/EEG). O alinhamento direto frequentemente falha porque as escalas diferem por ordens de magnitude.
  • Incompatibilidade de Distribuição: Métodos existentes frequentemente dependem exclusivamente do Erro Quadrático Médio (MSE) para alinhamento ponto a ponto, negligenciando o alinhamento das distribuições de probabilidade entre semânticas visuais e respostas neurais.
  • Restrições de Dados: A maior parte do trabalho anterior foca em fMRI, que possui baixa resolução temporal e alto custo, tornando-o menos adequado para Interfaces Cérebro-Computador (BCIs) em comparação com M/EEG.

2. Metodologia: O Framework ViBE

Os autores propõem o ViBE, um framework de duas etapas projetado para gerar sinais M/EEG de alta fidelidade a partir de imagens.

Etapa I: Reconstrução da Resposta Neural (TSC-VAE)

A primeira etapa foca em aprender um espaço latente de alta fidelidade para sinais M/EEG.

• Arquitetura: Um Autoencoder Variacional Convolutivo Espacial-Temporal (TSC-VAE).
• Inovação (TSConvPlus): Ao contrário das convoluções espaço-temporais padrão (TSConv) que colapsam toda a dimensão espacial em uma única etapa, o ViBE introduz o TSConvPlus. Ele utiliza um tamanho de kernel espacial de $(k_s, 1)$ onde $k_s < C$ (número de canais).
  • Racional: Isso respeita a natureza hierárquica do processamento visual (V1 $\to$ V2 $\to$ V4 $\to$ córtex IT), permitindo que o modelo capture informações espaciais hierárquicas através de diferentes regiões cerebrais, em vez de colapsá-las imediatamente.
• Treinamento: O codificador mapeia sinais M/EEG para uma distribuição latente, e o decodificador reconstrói o sinal. O modelo é otimizado usando o Limite Inferior da Evidência (ELBO), combinando perda de reconstrução (MSE) e regularização de divergência KL.

Etapa II: Mapeamento Visual-Neural (Projeção Q-Former)

A segunda etapa faz a ponte entre características visuais e o espaço latente neural aprendido.

• Extração de Características: Um codificador visual CLIP congelado extrai embeddings de imagens.
• Fazendo a Ponte: Um módulo Q-Former é empregado para mapear embeddings de imagens CLIP para o mesmo espaço dimensional que os embeddings latentes do TSC-VAE.
  • Ele utiliza tokens de consulta aprendíveis que interagem com embeddings CLIP via atenção cruzada.
  • Uma cabeça de projeção remodela a saída em Embeddings Proxy Neural ($\hat{z}$).
• Estratégia de Alinhamento: Para garantir um alinhamento abrangente, os autores combinam duas funções de perda:
  1. Erro Quadrático Médio (MSE): Para correspondência de características ponto a ponto.
  2. Distância de Wasserstein Fatia (SWD): Para alinhamento de distribuição de probabilidade. Isso aborda a limitação do MSE garantindo que a distribuição dos proxies neurais gerados corresponda à distribuição dos embeddings latentes de verdade.
• Otimização: O Q-Former e a cabeça de projeção são treinados para minimizar a perda combinada ($\mathcal{L}_{Align} = \mathcal{L}_{MSE} + \lambda\mathcal{L}_{SWD}$), enquanto os codificadores TSC-VAE e CLIP permanecem congelados.

Pipeline de Inferência

Dada uma imagem de teste:

1. Extrair embeddings de imagem CLIP.
2. Projetar através do Q-Former treinado para gerar Embeddings Proxy Neural.
3. Decodificar via decodificador TSC-VAE congelado para gerar o sinal M/EEG previsto.

3. Contribuições Principais

1. Arquitetura TSC-VAE: Propôs um Autoencoder Variacional novel com TSConvPlus que captura efetivamente as características espaço-temporais hierárquicas de sinais M/EEG, permitindo reconstrução de alta fidelidade.
2. Mitigação da Lacuna de Modalidade: Introduziu o uso do Q-Former para mapear embeddings CLIP para o espaço latente neural, fazendo efetivamente a ponte para a discrepância massiva na escala de características (aprox. 2 ordens de magnitude) entre modalidades visuais e neurais.
3. Perda de Alinhamento Dual: Demonstrou que combinar MSE (ponto a ponto) com Distância de Wasserstein Fatia (distribucional) produz um alinhamento cruzado-modal superior comparado ao uso de MSE sozinho.
4. Validação Empírica: Validou o framework nos conjuntos de dados THINGS-EEG2 e THINGS-MEG, alcançando desempenho state-of-the-art na geração de sinais cerebrais a partir de imagens.

4. Resultados Experimentais

O modelo foi avaliado em THINGS-EEG2 (10 sujeitos) e THINGS-MEG (4 sujeitos) usando MSE, Correlação de Pearson e Similaridade de Cosseno.

• Desempenho: O ViBE superou significativamente as linhas de base existentes (incluindo SynBrain, MindSimulator e abordagens anteriores baseadas em difusão).
  • THINGS-EEG2 (Intra-sujeito): Alcançou uma correlação de Pearson de 0,635 (vs. 0,425 para o melhor anterior, Xu et al.).
  • THINGS-MEG (Intra-sujeito): Alcançou uma correlação de Pearson de 0,543 (vs. 0,379 para o melhor anterior).
• Estudos de Ablação:
  • TSConvPlus vs. TSConv: O uso de TSConvPlus melhorou a correlação de Pearson de reconstrução da Etapa I de ~0,29 para 0,94 (EEG) e de ~0,62 para 0,98 (MEG), provando a importância do processamento espacial hierárquico.
  • Função de Perda: A combinação de MSE + SWD produziu as melhores pontuações de Pearson e Cosseno, confirmando que o alinhamento distribucional é crítico, mesmo que aumente ligeiramente o MSE devido a diferenças de escala de amplitude.
  • Regiões Cerebrais: Estudos de ablação confirmaram que a região Occipital tem a maior influência no desempenho, e uma condição de "Via Visual" (retendo apenas canais Temporais e Occipitais) performou ligeiramente melhor que o modelo completo, apoiando a hipótese do fluxo ventral.
• Generalização Cruzada entre Sujeitos: Embora o desempenho cruzado entre sujeitos tenha caído (como esperado), o protocolo Leave-One-Subject-Out mostrou que treinar em dados de múltiplos sujeitos melhora significativamente a generalização comparado a treinar em dados de único sujeito.

5. Significado

• Avanço em Interfaces Cérebro-Computador (BCIs): Ao focar em M/EEG (alta resolução temporal) em vez de fMRI, o ViBE fornece uma base mais prática para próteses visuais em tempo real.
• Plausibilidade Biológica: O framework gera respostas neurais que não são apenas estatisticamente correlacionadas, mas alinhadas distribucionalmente com a verdade fundamental, oferecendo uma simulação mais realista da atividade cerebral para pacientes com cegueira.
• Insight Metodológico: O artigo destaca a importância crítica de lidar com discrepâncias na escala de características e alinhamento de distribuição em tarefas de codificação cerebral cruzada-modal, oferecendo um roteiro para pesquisas futuras em síntese visual-neural.