Learning Robust and Task-Invariant Functional Representation from fMRI through Siamese Self-Supervised Learning

Resumo Técnico: Aprendizado de Representação Funcional Robusta e Invariante a Tarefas a partir de fMRI por Meio de Aprendizado Auto-supervisionado Siameso

Declaração do Problema

A ressonância magnética funcional (fMRI) é uma ferramenta crítica para investigar a função cerebral, mas sua aplicação em aprendizado de máquina é dificultada pelos altos custos de aquisição de dados, tamanhos amostrais reduzidos e o ruído inerente às escalas de avaliação psiquiátrica. Esses fatores, combinados com a alta dimensionalidade dos dados de fMRI, criam um risco significativo de sobreajuste do modelo em configurações de aprendizado supervisionado. Além disso, os frameworks supervisionados existentes frequentemente dependem de rótulos de classificação binária que colapsam subtipos diversos de doenças, obscurecendo diferenças significativas e reduzindo a interpretabilidade. Embora modelos de base em larga escala ofereçam uma solução potencial, seus requisitos computacionais para pré-treinamento e ajuste fino são frequentemente proibitivos. Adicionalmente, definir exemplos "negativos" generalizáveis para aprendizado contrastivo em fMRI é desafiador, pois tratar diferentes sujeitos como negativos pode descartar padrões funcionais compartilhados, enquanto o uso de rótulos de tarefa para construir negativos pode entrelaçar características com espaços de tarefa específicos, limitando a generalização entre tarefas.

Metodologia: BrainSimSiam

Os autores introduzem o BrainSimSiam, um framework leve e eficiente em dados para aprendizado de representação auto-supervisionado, projetado para aprender representações funcionais robustas e invariantes a tarefas a partir de fMRI baseada em tarefas. O framework utiliza uma arquitetura siamesa com um mecanismo de gradiente interrompido (stop-gradient), eliminando a necessidade de pares de amostras negativas.

Componentes Arquiteturais Chave:

1. Entrada de Dupla Visualização: O modelo processa duas visualizações complementares dos dados de fMRI para cada instância:
   • Visualização de Grafo Cerebral Funcional: A série temporal de fMRI é parcelada em Regiões de Interesse (ROIs) usando atlas padrão (Shen para HCP, Desikan–Killiany para Biopoint). As características dos nós são derivadas de matrizes de correlação de Pearson, enquanto as arestas representam os coeficientes de correlação parcial mais fortes.
   • Visualização de Imagem de Ativação Espacial: Um mapa de ativação média 3D é gerado por média temporal voxel a voxel da série temporal de fMRI, preservando a intensidade absoluta do sinal.
2. Arquitetura do Codificador: O codificador consiste em duas ramificações paralelas:
   • Uma ramificação GNN utilizando camadas de Rede de Atenção em Grafos (GAT) com média global e max-pooling.
   • Uma ramificação CNN utilizando camadas convolucionais 3D.
   • As saídas de ambas as ramificações são concatenadas e passadas por um MLP de projeção para produzir o embedding final.
3. Aumento e Mascaramento:
   • Mascaramento Alinhado a ROI de Grafo-Imagem: Um operador inovador que oclui conjuntamente voxels na imagem 3D correspondentes aos nós descartados no grafo. Isso garante perturbação consistente em ambas as visualizações.
   • Perda de Invariância a Tarefas: Para aprender representações que generalizam entre tarefas, o framework introduz um termo de perda que incentiva o modelo a preservar padrões funcionais espontâneos e invariantes a tarefas. Isso é alcançado amostrando uma varredura do mesmo sujeito sob uma diferente tarefa e minimizando a perda de similaridade cosseno entre a visualização original e essa visualização cruzada de tarefas.
4. Objetivo de Treinamento: O modelo minimiza uma perda simétrica de similaridade cosseno entre as saídas do codificador e uma cabeça preditora, utilizando uma operação de gradiente interrompido em uma ramificação para prevenir o colapso do modelo sem amostras negativas.

Contribuições Chave

1. Desenvolvimento de Framework: Os autores desenvolveram o BrainSimSiam, um framework auto-supervisionado para fMRI baseada em tarefas que supera tanto as bases de referência supervisionadas quanto as auto-supervisionadas existentes em múltiplos conjuntos de dados.
2. Visualização Multimodal Unificada: O trabalho unifica visualizações funcionais baseadas em voxels de fMRI e baseadas em grafos por meio de um esquema de mascaramento conjunto de ROIs. Esse mecanismo suporta fusão multimodal potencial ao alinhar redes estruturadas em grafos com ressonância magnética estrutural (ponderada em T1) ou de difusão registrada.
3. Aprendizado Invariante a Tarefas: Ao aproveitar contrastes entre estímulos de tarefas diversas como aumentações naturais, o framework aprende a desentrelaçar respostas evocadas de dinâmicas cerebrais espontâneas, resultando em representações invariantes a tarefas.

Resultados Experimentais

O framework foi avaliado em dois conjuntos de dados: o Projeto de Conectoma Humano (HCP) (1.005 sujeitos, 7 paradigmas de tarefa) e o conjunto de dados Biopoint (75 sujeitos com TEA, 43 controles saudáveis).

• Desempenho: O BrainSimSiam superou consistentemente as bases de referência supervisionadas (GCN, GAT, GraphSAGE com CNN) e as bases de referência auto-supervisionadas (CGL, CGL-CNN) em tarefas de classificação (sexo biológico, TEA) e regressão (escores cognitivos, idade).
  • No conjunto de dados HCP, o modelo BrainSimSiam ajustado de ponta a ponta alcançou 91,9% de precisão e 0,980 de AUC para classificação de sexo biológico, competitivo com modelos de base maiores como o NeuroSTORM, mas com significativamente menos parâmetros (52 milhões).
  • No menor conjunto de dados Biopoint, os benefícios da auto-supervisão foram amplificados. Notavelmente, a sondagem por MLP (congelando o codificador pré-treinado) superou o ajuste fino de ponta a ponta, indicando que as representações aprendidas são robustas e mitigam o sobreajuste em cenários com dados limitados.
• Estudos de Ablação: A remoção do MLP de projeção, da perda de invariância a tarefas ou de qualquer uma das ramificações GNN/CNN degradou significativamente o desempenho, confirmando a necessidade de integração não linear de características de grafos e imagens e o valor de restrições invariantes a tarefas.
• Análise Qualitativa: A análise de correlação zero-shot mostrou que características dos embeddings aprendidos apresentaram correlações mais altas com fenótipos biológicos e comportamentais (por exemplo, idade, sexo, escores cognitivos) do que métricas tradicionais de conectividade funcional (FC).
• Interpretabilidade: Usando o GNNExplainer, os autores demonstraram que, embora o pré-treinamento aprenda a partir de sinais distribuídos de todo o cérebro, os mapas de importância específicos de tarefas a jusante tornam-se localizados em regiões salientes (por exemplo, tálamo direito para classificação de sexo, giro frontal superior para TEA), alinhando-se com a literatura neurocientífica anterior.

Significado e Alegações

O artigo alega que o pré-treinamento auto-supervisionado específico do conjunto de dados produz representações robustas e generalizáveis para fMRI, permitindo a previsão precisa de fenótipos heterogêneos mesmo com dados limitados. Diferentemente de modelos de base em larga escala que exigem recursos computacionais massivos e harmonização entre diversos conjuntos de dados públicos, o BrainSimSiam demonstra que uma abordagem leve e eficiente em dados pode aproximar o desempenho de modelos em larga escala, superando ao mesmo tempo as bases de referência puramente supervisionadas. Os autores enfatizam que seu método aborda efetivamente os desafios de ruído nos rótulos, tamanhos amostrais reduzidos e a necessidade de características invariantes a tarefas em neuroimagem, oferecendo um caminho prático para aplicações com dados limitados.