Resumo Técnico: Alinhamento Latente entre Sujeitos Guiado por Tarefa via VAE de Múltiplos Codificadores-Decodificadores

Definição do Problema

Alinhar a atividade neural entre diferentes indivíduos é essencial para descobrir princípios computacionais compartilhados e construir decodificadores generalizáveis em neurociência de sistemas. No entanto, os métodos de alinhamento tradicionais (ex: Modelos de Resposta Compartilhada, análise de Procrustes, Hyperalignment) dependem de uma restrição crítica: eles exigem estímulos compartilhados visualizados por todos os sujeitos para derivar matrizes de transformação. Essa limitação restringe severamente a aplicabilidade em paradigmas naturalísticos onde os sujeitos visualizam dados amplamente não sobrepostos ou não compartilhados, impedindo a agregação de conjuntos de dados de neuroimagem de grande escala e trans-estudos. Além disso, métodos treinados apenas em subconjuntos compartilhados frequentemente falham em generalizar para estímulos não compartilhados retidos, pois suas transformações de alinhamento podem não capturar o espaço representacional completo necessário para conjuntos de dados mais amplos.

Metodologia: MED-VAE

Os autores introduzem o Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), um framework projetado para alcançar o alinhamento entre sujeitos sem exigir estímulos compartilhados. O insight central é utilizar uma Rede Neural Artificial (ANN) pré-treinada como um "andaime" computacional para ancorar representações de diferentes sujeitos em um espaço latente comum.

Arquitetura

O MED-VAE emprega uma arquitetura de múltiplas vias:

1. Codificadores Específicos de cada Sujeito: Cada sujeito $i$ possui um codificador dedicado ($Enc_{fMRI}^i$) que mapeia suas respostas de fMRI ($x_{fMRI}^i$) para um espaço latente compartilhado de $d$ dimensões ($z_i$).
2. Codificador de ANN Compartilhado: Um codificador compartilhado ($Enc_{ANN}$) mapeia características de uma ANN pré-treinada (especificamente ResNet-50) para o mesmo espaço latente.
3. Decodificadores Específicos de cada Sujeito: Cada sujeito possui um decodificador dedicado ($Dec_{fMRI}^i$) que reconstrói seus padrões originais de voxels a partir do espaço latente.
4. Decodificador de ANN Compartilhado: Um decodificador universal ($Dec_{ANN}$) reconstrói as características da ANN a partir de qualquer representação latente (seja derivada da fMRI ou da própria ANN).

Objetivo de Treinamento

O modelo é treinado usando uma função de perda que integra quatro vias de reconstrução com regularização KL:

• Dentro da modalidade fMRI: Reconstruir os dados de fMRI de um sujeito a partir de seu próprio código latente.
• Cruzado modalidade ANN $\to$ fMRI: Reconstruir os dados de fMRI de um sujeito a partir do código latente gerado pelo codificador da ANN.
• Dentro da modalidade ANN: Reconstruir características da ANN a partir do código latente do codificador da ANN.
• Cruzado modalidade fMRI $\to$ ANN: Reconstruir características da ANN a partir de um código latente derivado da fMRI do sujeito.

O decodificador de ANN compartilhado atua como o principal mecanismo de alinhamento. Ao forçar as representações latentes de todos os sujeitos a reconstruir as mesmas características visuais hierárquicas e relações semânticas codificadas pela ANN, o modelo impõe uma pressão de alinhamento implícita. Isso garante que estímulos semanticamente semelhantes (mesmo que visualizados por diferentes sujeitos) mapeiem para localizações próximas no espaço latente compartilhado. Crucialmente, o andaime da ANN é necessário apenas durante o treinamento; na inferência, os sujeitos são projetados no espaço compartilhado usando apenas seus codificadores de fMRI.

Principais Contribuições

1. Eliminação de Estímulos Compartilhados: O MED-VAE alcança o alinhamento entre sujeitos sem exigir que os sujeitos visualizem os mesmos estímulos, baseando-se nas propriedades estruturais de uma ANN pré-treinada.
2. Organização Semântica: O método produz espaços latentes com organização semântica superior, evidenciada por maiores coeficientes de silhueta e melhor precisão de decodificação de categorias entre sujeitos em comparação com métodos tradicionais.
3. Generalização Robusta: Diferente dos métodos tradicionais que degradam em estímulos não compartilhados, o MED-VAE demonstra generalização robusta para imagens retidas, capturando representações invariantes ao sujeito em vez de sofrer overfitting a subconjuntos compartilhados específicos.
4. Preservação de Sinal: Avaliações de cross-trial revelam que, embora os métodos tradicionais possam apresentar uma reconstrução intra-trial maior (capturando frequentemente ruído específico do trial), o MED-VAE preserva um nível equivalente de sinal orientado pelo estímulo enquanto suprime o ruído.
5. Utilidade Downstream: O espaço alinhado permite uma superior predição neural entre sujeitos e decodificação de imagem, permitindo a reconstrução da atividade cerebral de um sujeito a partir da representação latente de outro.

Resultados

Experimentos foram conduzidos utilizando o Natural Scenes Dataset (NSD), envolvendo 8 sujeitos visualizando ~10.000 imagens naturais com sobreposição mínima.

• Estrutura Semântica: Os espaços latentes do MED-VAE mostraram coeficientes de silhueta significativamente mais altos (0.34) em comparação com SRM (0.22) e Procrustes (0.21), indicando um agrupamento coerente de categorias semânticas. A decodificação de "leave-one-subject-out" também resultou em maior precisão para o MED-VAE.
• Métricas de Alinhamento: O MED-VAE alcançou maior correlação componente a componente (0.64 vs. 0.52/0.45) e pontuações de Análise de Similaridade de Representação (RSA) (0.63 vs. 0.41/0.41) do que os baselines.
• Lacuna de Generalização: Métodos tradicionais (SRM, Procrustes) mostraram uma queda significativa de desempenho quando avaliados em um conjunto retido semi-compartilhado (128 imagens) em comparação com seu conjunto de treinamento, enquanto o MED-VAE manteve um desempenho consistente, indicando que não dependeu da sobreposição de estímulos para o alinhamento.
• Recuperação entre Sujeitos: O MED-VAE alcançou uma precisão de recuperação top-1 de 46.2% no conjunto retido, mais que o dobro do desempenho do SRM (21.8%) e Procrustes (18.4%).
• Ruído vs. Sinal: Métricas de reconstrução intra-trial favoreceram os métodos tradicionais, mas a avaliação cross-trial (correlacionando a reconstrução do Trial $i$ com o ground truth do Trial $j$) não mostrou diferença significativa entre os métodos. Isso confirma que a vantagem dos métodos tradicionais se deveu à reconstrução de ruído específico do trial, enquanto o MED-VAE preservou o sinal orientado pelo estímulo igualmente bem.
• Decodificação de Imagem: Quando as predições entre sujeitos foram alimentadas em um decodificador MindEye2 congelado, o MED-VAE superou os baselines em medidas semânticas de alto nível (ex: similaridade CLIP, escores de Inception), particularmente em espaços de menor dimensão (32D).

Significância e Alegações

O artigo afirma que o MED-VAE fornece um framework para identificar subespaços comuns generalizáveis para predições entre sujeitos e tarefas downstream sem o gargalo de estímulos compartilhados. Ao substituir o pareamento explícito de estímulos por restrições implícitas de uma ANN pré-treinada, o método permite:

• Análises de nível populacional em dados de sujeitos escaneados sob diferentes protocolos ou visualizando diferentes estímulos.
• Predição neural entre sujeitos e decodificação de imagem com calibração mínima por sujeito.
• Aumento de dados (Data augmentation) para sujeitos com tempo limitado de escaneamento, aproveitando dados alinhados de outros.

Os autores enfatizam que o espaço comum captura a organização computacional da representação visual (estrutura categórica e relações semânticas) em vez de correspondências estatísticas arbitrárias. Eles observam que a qualidade do alinhamento é fundamentalmente limitada pela correspondência modelo-cérebro do andaime de ANN escolhido (ex: ResNet-50), sugerindo que andaimes com modelagem dinâmica ou temporal mais forte poderiam melhorar ainda mais o alinhamento no futuro. O framework é apresentado como um passo para agregar dados neurais entre estudos e indivíduos para investigações mais poderosas em neurociência.