Resumo Técnico: Mind-Omni

1. Declaração do Problema

A pesquisa atual em Interfaces Cérebro-Computador (BCIs) e modelagem neural é dominada por um paradigma de modelos especializados para tarefas únicas. Abordagens existentes geralmente focam em objetivos isolados, como reconstrução de imagem (decodificação) ou previsão de estímulos (codificação), frequentemente dependendo de "modelos especialistas" otimizados para uma única direção. Essa especialização limita a versatilidade do modelo, negligencia as relações sinérgicas potenciais entre diferentes tarefas neurais e falha em fornecer um framework computacional unificado para entender os mecanismos intrínsecos que governam a visão, a linguagem e os sinais neurais.

Além disso, a construção de um modelo unificado enfrenta três desafios substanciais:

1. Heterogeneidade de Entrada: A variabilidade anatômica inter-sujeito impede a integração direta de sinais cerebrais, e os métodos de alinhamento existentes frequentemente escalam mal ou sacrificam a fidelidade da informação.
2. Disparidade de Modalidade: Existe uma lacuna semântica persistente entre sinais cerebrais contínuos (por exemplo, fMRI) e tokens visuais/textuais discretos, tornando a fusão cruzada direta ineficaz.
3. Interdependência de Tarefas: As relações entre diferentes tarefas de codificação e decodificação são pouco compreendidas. Embora modelos especializados assumam independência de tarefas, hipotetiza-se que representações neurais compartilhadas poderiam permitir transferência positiva, mas isso requer uma arquitetura unificada para teste.

2. Metodologia: Mind-Omni

Para abordar esses desafios, os autores propõem o Mind-Omni, o primeiro framework versátil que unifica sete tarefas distintas de codificação e decodificação (envolvendo modalidades Cérebro, Imagem e Texto) através de um paradigma de difusão discreta. O framework consiste em dois componentes principais:

A. Representação Neural Padronizada

Para lidar com a variabilidade inter-sujeito, o framework registra todos os dados funcionais ao espaço padrão MNI152. Isso estabelece dimensionalidade de espaço estrutural consistente entre sujeitos, fornecendo uma base escalável e mitigando a necessidade de módulos específicos por sujeito.

B. Tokenizador Cerebral

Um novo Tokenizador Cerebral transforma sinais fMRI contínuos e heterogêneos em tokens padronizados e discretos alinhados com representações de imagem e texto. Este tokenizador emprega uma espinha dorsal no estilo VQ-VAE, aumentada com três estratégias específicas de alinhamento para fechar a lacuna de modalidade:

• Alinhamento de Granularidade Grossa: Utiliza uma perda contrastiva tri-modal (InfoNCE) e destilação de características para alinhar características globais de fMRI com características de imagem e texto do CLIP em um espaço semântico compartilhado.
• Alinhamento de Granularidade Fina: Utiliza um decodificador de atenção cruzada para prever tokens de texto mascarados com base em sequências de tokens de fMRI, otimizando para consistência semântica ao nível do token.
• Alinhamento Perceptivo: Garante que o sinal fMRI reconstruído seja semanticamente significativo, impondo que as características previstas a partir da reconstrução correspondam às características CLIP de verdade dos estímulos.

C. Framework Unificado de Difusão Discreta

Em vez de compor módulos específicos para tarefas separadas, o Mind-Omni aproveita a modelagem de difusão discreta (inicializada a partir da arquitetura Muddit) para criar um único processo generativo.

• Arquitetura: O modelo estende a espinha dorsal bi-modal Muddit para uma estrutura tri-modal (Imagem, Texto, Cérebro) adicionando camadas de entrada/saída dedicadas e camadas de projeção Q, K, V simétricas para o ramo cerebral.
• Objetivo de Treinamento: Cada tarefa é enquadrada como um problema de previsão de tokens mascarados condicionais. Durante o treinamento, as modalidades alvo são corrompidas substituindo tokens por um token [MASK] de acordo com um cronograma de cosseno dependente do tempo. O modelo aprende a restaurar esses tokens mascarados dados tokens condicionais limpos.
• Unificação de Tarefas: Ao definir estrategicamente os conjuntos de modalidades condicionais ($C$) e modalidades alvo ($T$), a função objetivo única unifica sete tarefas:
  1. $I \to B$ (Imagem para Cérebro)
  2. $T \to B$ (Texto para Cérebro)
  3. $I\&T \to B$ (Imagem-Texto Conjunta para Cérebro)
  4. $B \to I$ (Cérebro para Imagem)
  5. $B \to T$ (Cérebro para Texto)
  6. $B \to I\&T$ (Cérebro Conjunta para Imagem-Texto)
  7. Resposta a Perguntas Cerebrais (BQA): Uma nova tarefa de ajuste de instrução onde o modelo gera respostas com base em sinais cerebrais e perguntas.

D. Curadoria de Dados

Os autores curaram um conjunto de dados especializado de Resposta a Perguntas Cerebrais (BQA) para ajuste de instrução. Aproveitando o Qwen2-VL (7B) e o LLaVA-Instruct-150K, eles sintetizaram amostras de treinamento diversas, incluindo descrições detalhadas, resumos concisos e pares de perguntas e respostas de raciocínio para desbloquear capacidades avançadas de raciocínio.

3. Principais Contribuições

1. Mudança de Paradigma: O Mind-Omni é o primeiro framework a unificar sete tarefas distintas de codificação e decodificação neural entre cérebro, imagem e texto dentro de uma única arquitetura de difusão discreta, superando o paradigma dominante de modelos especializados.
2. Fusão Cruzada de Modalidades Inovadora: A introdução do Tokenizador Cerebral fecha a lacuna entre sinais neurais e dados visuais-textuais, permitindo interações diretas ao nível do token em um espaço semântico compartilhado.
3. Sinergia Multitarefa Demonstrada: O trabalho fornece evidências empíricas de efeitos sinérgicos na modelagem neural conjunta, mostrando que o treinamento unificado pode produzir desempenho competitivo e, às vezes, superior a modelos especializados maiores.

4. Resultados Experimentais

O modelo foi treinado em dados de fMRI de 8 sujeitos (Natural Scenes Dataset) e avaliado nos sujeitos 1, 2, 5 e 7.

• Desempenho Holístico: O Mind-Omni estabelece um novo estado da arte (SOTA) entre frameworks unificados. Embora possa ficar ligeiramente atrás de modelos especializados de tarefa única (por exemplo, MindEye2) em métricas de baixo nível específicas como reconstrução $B \to I$, mantém desempenho competitivo em todo o espectro das sete tarefas, uma capacidade que nenhum outro modelo unificado possui.
• Decodificação Neural:
  • Reconstrução Visual: O modelo alcança desempenho competitivo tanto em métricas de baixo nível (correlação de pixels, SSIM) quanto de alto nível (AlexNet, CLIP).
  • Decodificação de Linguagem: Em tarefas de descrição detalhada e raciocínio, o Mind-Omni demonstra desempenho SOTA dominante comparado a modelos especializados como UMBRAE e OneLLM. Notavelmente, o Mind-Omni alcança isso sem depender de LLMs externos congelados (ao contrário do UMBRAE e OneLLM, que usam Vicuna-13B ou LLaMA2), sugerindo uma compreensão mais profunda fundamentada em sinais cerebrais.
• Codificação Neural: O modelo supera as linhas de base multitarefa (BraVL, MoPoE) em todas as métricas (PCC, MSE, RSA) tanto no espaço de voxel quanto no espaço semântico.
• Efeitos Sinérgicos:
  • Complementaridade Inter-modal: A codificação conjunta ($I\&T \to B$) supera consistentemente a codificação de modalidade única, capturando a integração natural do cérebro de informações visuais e semânticas.
  • Sinergia Inter-tarefa: A decodificação conjunta ($B \to I\&T$) melhora tanto as saídas de imagem quanto de legendas comparada à decodificação de tarefa única, enriquecendo legendas com detalhes visuais e suprimindo artefatos.
• Ambiente de Teste Computacional: O framework replica com sucesso regiões cerebrais conhecidas por seleção de categoria (por exemplo, EBA para corpos, FFA para rostos, PPA para lugares) e sonda regiões novas de seleção de conceitos, validando sua utilidade para exploração neurocientífica.

5. Significado e Alegações

Os autores afirmam que o Mind-Omni oferece um novo paradigma poderoso para modelagem neural. Ao demonstrar que uma abordagem unificada e multitarefa pode alcançar desempenho comparável ou superior a modelos especializados, o trabalho valida a eficácia da sinergia multitarefa na decodificação neural.

O artigo posiciona o Mind-Omni não apenas como um benchmark de desempenho, mas como um ambiente de teste computacional para revelar relações intrínsecas entre visão, linguagem e sinais neurais. Ele abre caminho para modelos fundamentais de atividade neural, sugerindo que uma única arquitetura pode modelar efetivamente a natureza complexa e distribuída da cognição cerebral. Os autores enfatizam que sua abordagem evita os vieses confusos de modelos autoregressivos (que impõem dependências sequenciais) ao utilizar a natureza invariante à permutação da difusão discreta, permitindo assim uma investigação imparcial das sinergias entre tarefas.

O código está disponível publicamente, e os autores pretendem liberar dados de fMRI processados e conjuntos de dados de ajuste de instrução para facilitar pesquisas futuras.