Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction

Resumo Técnico: Conectando Cérebro e Semântica com CINENEURON

Declaração do Problema
Reconstruir experiências visuais dinâmicas (vídeos) a partir de sinais de ressonância magnética funcional (fMRI) é um desafio crítico na neurociência cognitiva. Embora métodos anteriores tenham alcançado sucesso na reconstrução de imagens estáticas, estender isso para estímulos de vídeo contínuo permanece difícil devido à baixa relação sinal-ruído e à resolução temporal limitada dos dados de fMRI. As abordagens atuais de última geração sofrem de uma "lacuna semântica": elas dependem de incorporações semânticas incompletas (tipicamente limitadas a pares imagem-texto) e tratam a reconstrução como um processo isolado, utilizando apenas o estímulo atual. Isso resulta em vídeos com objetos incorretos, reconhecimento de ação precário e baixa coerência semântica, pois esses métodos falham em capturar pistas específicas de vídeo (por exemplo, ações, categorias de objetos) ou integrar conhecimento prévio que o cérebro humano utiliza naturalmente.

Metodologia: CINENEURON
Os autores propõem o CINENEURON, um framework hierárquico inspirado no mecanismo de processamento de dupla via do cérebro humano (acumulação sensorial ascendente e integração de memória descendente). O framework opera em duas etapas sinérgicas:

1. Riqueza Semântica Ascendente (Bottom-Up):

   • Objetivo: Mapear sinais de fMRI ruidosos em um espaço de incorporação rico que capture comprehensivamente semânticas textuais, conteúdos de imagem, conceitos de ação e categorias de objetos.
   • Mecanismo: Um "Modelo Cerebral" baseado em transformador processa sinais de fMRI para produzir um token global e uma incorporação contextual. O modelo é treinado usando uma suíte de tarefas explícitas:
     • Alinhamento Imagem-Texto: Alinha o token global de fMRI com incorporações de imagem e texto derivadas do CLIP usando a perda InfoNCE.
     • Alinhamento Semântico de Ação: Utiliza o ViCLIP para extrair incorporações de ação a partir de estímulos de vídeo, alinhando-as ao token de fMRI via perda contrastiva para capturar dinâmicas temporais.
     • Aprendizado Semântico de Categoria: Emprega o Qwen2.5-VL para extrair categorias de objetos a partir de legendas, que são mapeadas para um conjunto simplificado de superclasses. Um cabeçalho de classificação prevê essas categorias usando uma combinação de Entropia Cruzada Binária e Perda Focal para lidar com desequilíbrio de classes.

2. Integração de Memória Descendente (Top-Down):

   • Objetivo: Refinar a incorporação de fMRI enriquecida selecionando e fundindo dinamicamente "memórias" relevantes de dados vistos anteriormente, mimetizando a reativação de memória hipocampal.
   • Mecanismo: Um novo módulo Mistura de Memórias (MoM) é introduzido.
     • Recuperação: Um roteador consciente de modalidade atribui dinamicamente pesos a incorporações de texto, imagem e ação armazenadas em um pool de memória (derivado de dados de treinamento). Ele calcula uma pontuação de mistura baseada na similaridade ponderada com a incorporação de fMRI atual, selecionando as k memórias mais relevantes.
     • Integração: As incorporações multimodais recuperadas são fundidas com a incorporação de fMRI usando camadas de atenção cruzada e camadas de convolução zero. Esse processo injeta pistas visuais e de ação enquanto preserva a estabilidade do espaço de características do gerador.
   • Decodificação: A incorporação fundida final condiciona um Transformer de Difusão de Vídeo (Video DiT, especificamente Wan2.1) para gerar vídeos temporalmente consistentes e semanticamente coerentes.

Principais Contribuições

1. Framework Hierárquico: Introdução do CINENEURON, que unifica o enriquecimento semântico ascendente com a integração de memória descendente para fechar a lacuna entre sinais cerebrais ruidosos e conteúdo de vídeo complexo.
2. Enriquecimento Semântico Abrangente: Uma abordagem inovadora para enriquecer sinais de fMRI aprendendo tarefas explícitas para estímulos de vídeo, capturando uma gama mais ampla de semânticas (imagem, texto, ação e categoria) além do alinhamento tradicional imagem-texto.
3. Mistura de Memórias (MoM): Um novo método para selecionar e fundir dinamicamente incorporações multimodais relevantes de um pool de memória para refinar a decodificação de vídeo, abordando o isolamento da reconstrução baseada apenas no estímulo atual.
4. Desempenho de Última Geração: Experimentos extensivos demonstram que o CINENEURON supera métodos existentes em múltiplas métricas em dois benchmarks desafiadores.

Resultados Experimentais
O framework foi avaliado em dois conjuntos de dados: cc2017 (vídeos naturais) e CineBrain (episódios de programas de TV).

• Desempenho Quantitativo: O CINENEURON alcançou pontuações superiores em métricas de nível semântico (acurácia de 2 vias e 50 vias), consistência espaço-temporal (CLIP-pcc, DTC) e suavidade de movimento (MS) em comparação com baselines como Mind-Video, NeuroClips e CineSync. Por exemplo, no conjunto de dados cc2017, alcançou uma acurácia semântica de 2 vias de 0,850 e um CLIP-pcc de 0,972.
• Desempenho Qualitativo: Comparações visuais mostram que o CINENEURON reconstrói fielmente ações complexas (por exemplo, ioga, acariciar) e categorias de objetos, enquanto as baselines frequentemente alucinam objetos incorretos ou falham em capturar movimentos específicos.
• Avaliação Humana: Em um estudo com 20 participantes, o CINENEURON foi preferido em relação a métodos concorrentes em 63,77% dos casos para alinhamento semântico e 67,59% para fidelidade geral.
• Estudos de Ablação: Os resultados confirmam que cada componente (alinhamento de ação, aprendizado de categoria e MoM) contribui significativamente para o desempenho. Notavelmente, a inclusão de dados de fMRI do hipocampo melhorou ainda mais as métricas semânticas, validando o design de integração de memória descendente.

Significado e Alegações
O artigo afirma que o CINENEURON representa um avanço significativo na decodificação cerebral ao ir além do mapeamento isolado de estímulo-resposta para um sistema que mimetiza o uso de conhecimento prévio e memória pelo cérebro. Ao integrar explicitamente semânticas de ação e categoria e utilizar um mecanismo de recuperação de memória, o método produz vídeos que são não apenas visualmente coerentes, mas também semanticamente precisos. Os autores postulam que essa abordagem oferece insights mais profundos sobre o processamento neural, demonstrando alinhamento funcional entre as representações aprendidas pelo modelo e áreas corticais visuais conhecidas (por exemplo, córtex occipital lateral e córtex ventral). O trabalho sugere que o progresso futuro na reconstrução de fMRI para vídeo depende de frameworks hierárquicos e semanticamente enriquecidos, em vez de simples alinhamento de sinais brutos.