What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

Resumo Técnico: O que o cérebro vê? Representações neurais multiview para desmistificar o alinhamento cérebro-visual

Definição do Problema
A decodificação visual zero-shot a partir de eletroencefalografia (EEG) visa inferir semânticas visuais a partir de registros neurais não invasivos sem exposição prévia a categorias de teste específicas. Embora avanços recentes em conjuntos de dados de larga escala (ex: THINGS-EEG) e modelos de visão-linguagem pré-treinados (ex: CLIP) tenham facilitado essa tarefa, desafios significativos permanecem. Os sinais de EEG são inerentemente ruidosos, não estacionários e espacialmente grosseiros. Métodos de alinhamento existentes frequentemente dependem de embeddings de EEG "holísticos" que falham em capturar a estrutura heterogênea das respostas neurais. Especificamente, essas abordagens frequentemente negligenciam as dinâmicas temporais complementares, os padrões espectrais e as dependências espaciais inerentes aos dados de EEG, levando a representações instáveis que se alinham fracamente com a semântica visual, particularmente em cenários cross-subject (entre sujeitos) e cross-session (entre sessões).

Metodologia
Os autores propõem um framework unificado de aprendizado de representação de EEG multiview projetado para construir um codificador de EEG robusto que alinhe sinais neurais com espaços semânticos visuais pré-treinados. Em vez de modificar o codificador de visão, o método foca em aprender um codificador de EEG mais forte e estruturado que modela conjuntamente três views complementares:

1. Modelagem Temporal (Estado de Espaço Condicionado pela Entrada): Para capturar dependências temporais de longo alcance e adaptáveis à entrada, o framework emprega um Modelo de Espaço de Estado Seletivo (S3M). Este módulo mantém um estado latente que evolui ao longo do tempo com base em passos de tempo e projeções dependentes da entrada. A saída é refinada adicionalmente usando convoluções 1D para capturar padrões temporais locais.
2. Modelagem Espectral (Decomposição de Wavelet Adaptativa Aprendível - ALWD): Indo além das bandas de frequência predefinidas, o método introduz o ALWD para selecionar dinamicamente representações de frequência condicionadas ao sinal de entrada. Ele utiliza um banco de filtros aprendíveis de passa-baixa e passa-alta, sintetizando pesos específicos da amostra para decompor o EEG em componentes de baixa frequência (oscilações estáveis) e alta frequência (atividade transitória). S3Ms separados processam esses componentes, seguidos por mecanismos de atenção cross-frequency para integrar informações através de escalas espectrais.
3. Modelagem Espacial (Aprendizado de Grafo Modulado por Atenção): Reconhecendo que os eletrodos capturam regiões cerebrais que interagem, o framework modela dependências espaciais usando uma Rede Neural de Grafo Convolucional (GCN). Ele constrói uma matriz de adjacência dinâmica combinando uma estrutura global aprendível com atenção de aresta dependente da entrada, permitindo que o modelo capture tanto estruturas espaciais compartilhadas quanto interações funcionais específicas de cada amostra.

Alinhamento e Treinamento
As características temporais, espectrais e espaciais são fundidas em um embedding de EEG compacto ($z_{eeg}$) e alinhadas com embeddings visuais ($z_{img}$) extraídos de um encoder CLIP-ViT-H-14 congelado. O alinhamento é alcançado através de:

• Aprendizado Contrastivo: Uma perda contrastiva simétrica alinha os embeddings EEG-imagem em um espaço semântico compartilhado.
• Regularização Específica de EEG: Para lidar com a variabilidade do EEG, os autores introduzem dois regularizadores:
  • Regularização de Consistência de Repetição (RCR): Impõe consistência entre tentativas repetidas do mesmo estímulo.
  • Regularização Contrastiva de Nível de Protótipo (CPCA): Melhora a estrutura semântica de nível de classe.

Principais Contribuições

• Framework Multiview Unificado: O primeiro framework a modelar conjuntamente dinâmicas temporais de longo alcance, estrutura espectral adaptativa e interações de eletrodos espaciais para decodificação visual de EEG zero-shot.
• Design de Encoder Complementar: Introdução de módulos específicos (S3M, ALWD e GCN modulado por atenção) que explicitamente desconectam e modelam as distintas características dos sinais de EEG.
• Estratégias de Regularização: Incorporação de consistência ao nível de tentativa e alinhamento semântico ao nível de classe para melhorar a estabilidade da representação.
• Avaliação Sistemática Cross-Session: O artigo apresenta a primeira avaliação sistemática de decodificação de imagem-EEG através de diferentes sessões de gravação, um cenário anteriormente inexplorado em contextos de decodificação semântica.

Resultados Experimentais
O método foi avaliado no benchmark THINGS-EEG (1.854 conceitos de objetos, 10 sujeitos) sob três configurações zero-shot:

• Within-Subject (Dentro do Sujeito): Alcançou 54,8% de Top-1 e 85,6% de Top-5 de acurácia, superando o baseline mais forte (UBP) em +3,9% e +5,9%, respectivamente.
• Cross-Subject (Entre Sujeitos): Alcançou 15,3% de Top-1 e 45,4% de Top-5 de acurácia, mostrando uma melhoria de +2,9% em Top-1 e +12,0% em Top-5 sobre o UBP, indicando generalização robusta entre sujeitos.
• Cross-Session (Entre Sessões): Alcançou 40,8% de Top-1 e 78,0% de Top-5 de acurácia, demonstrando estabilidade através de sessões de gravação onde a maioria dos métodos existentes carece de baselines reportados.

Estudos de ablação confirmaram que remover qualquer uma das três views (temporal, espectral ou espacial) ou os termos de regularização degrada significativamente o desempenho, validando a necessidade da abordagem multiview.

Significância e Alegações
O artigo afirma que o modelamento explícito da estrutura neural multiview dos sinais de EEG melhora significativamente tanto o alinhamento semântico quanto a generalização na decodificação visual. Ao se afastar de embeddings holísticos em direção a uma representação estruturada que respeita a natureza temporal, espectral e espacial da atividade cerebral, o método proposto fornece uma base mais confiável para o alinhamento EEG-visual. Os autores sugerem que esta abordagem oferece um caminho escalável para uma decodificação neural mais robusta, particularmente em cenários realistas envolvendo variabilidade dependente de sessão e generalização entre sujeitos. As descobertas destacam que vieses indutivos estruturados são cruciais para reduzir a lacuna entre registros neurais ruidosos e semânticas visuais de alto nível.