Resumo Técnico: PRISM – Visualizando o Cérebro Através de Texto Estruturado

Declaração do Problema

Reconstruir estímulos visuais a partir de sinais de Ressonância Magnética Funcional (fMRI) é um desafio central na neurociência e no aprendizado de máquina. As abordagens atuais geralmente envolvem duas etapas: mapear sinais de fMRI em um espaço latente e, em seguida, usar um modelo generativo pré-treinado (frequentemente um modelo de difusão) para reconstruir imagens. No entanto, duas limitações críticas persistem:

1. Desalinhamento do Espaço Latente: Trabalhos anteriores assumem amplamente que o espaço latente deve corresponder à modalidade do estímulo (ou seja, usando representações baseadas em visão). Permanece incerto se espaços baseados em visão são ótimos ou se outros espaços, como texto, podem alinhar-se melhor à atividade neural.
2. Incompatibilidade Composicional: Métodos existentes frequentemente dependem de representações ocultas unificadas que confundem objetos com seus atributos. Isso leva a erros de "ligação de atributos" (por exemplo, gerar um "tigre cinza" em vez de um "gato cinza") e falha em capturar a natureza centrada no objeto e composicional do processamento visual humano.

Metodologia: PRISM

Os autores propõem o PRISM (Projeta sinais de fMRI em um espaço de texto estruturado como representação intermediária), um framework que aborda essas limitações através de três componentes principais:

1. Texto como o Espaço Latente Ótimo

Os autores investigam primeiro o alinhamento entre sinais de fMRI e vários espaços de representação: espaço de texto de modelo de linguagem (LM), espaço conjunto de modelo de linguagem-vídeo (VLM) e espaço apenas de visão.

• Descoberta: Usando Alinhamento de Kernel Centralizado (CKA), Análise de Correlação Canônica (CCA) e métricas de Lacuna de Generalização, o estudo demonstra que os sinais de fMRI alinham-se mais estreitamente com o espaço de texto de modelos de linguagem do que com espaços baseados em visão ou espaços conjuntos texto-imagem.
• Implicação: Isso motiva o uso de embeddings de texto puro como espaço latente intermediário para reconstrução, desafiando a suposição de que representações baseadas em visão são essenciais.

2. Módulo de Busca de Atributos/Relações

Para abordar a natureza composicional dos estímulos visuais, o PRISM não usa legendas genéricas de imagens. Em vez disso, emprega um módulo para descobrir automaticamente os atributos e relações específicos que melhor alinham-se à atividade neural.

• Processo: O módulo enquadra a seleção de palavras-chave como um problema de otimização de prompt. Usa uma estratégia de busca $\epsilon$-greedy com um Modelo de Linguagem de Grande Escala (LLM) para gerar e avaliar iterativamente palavras-chave candidatas (por exemplo, "Disposição Espacial", "Posição Relativa").
• Objetivo: A busca maximiza a similaridade entre imagens geradas a partir de descrições do VLM (usando a palavra-chave candidata) e as imagens de verdade fundamental, sujeita a uma restrição de que a similaridade CKA entre os dados de fMRI e os embeddings de texto resultantes exceda um limiar.
• Resultado: A busca converge para palavras-chave orientadas espacialmente (por exemplo, "Disposição Espacial"), que são então usadas para gerar descrições estruturadas e centradas no objeto para treinamento.

3. Difusão Centrada no Objeto e Treinamento do Codificador

O framework consiste em um codificador e um processo generativo especializado:

• Treinamento do Codificador: Um codificador mapeia sinais de fMRI no espaço de texto do LM. Usa Perceptrons de Multicamadas (MLPs) para codificar independentemente características para cada objeto, que são então concatenadas e passadas para um modelo de linguagem ajustado (T5) para prever descrições estruturadas.
• Geração Centrada no Objeto: Durante a inferência, as descrições estruturadas previstas orientam um modelo de difusão pré-treinado. Diferentemente da geração padrão de texto para imagem, o PRISM adapta o processo de difusão para gerar imagens compondo objetos individuais.
  • A descrição de cada objeto é incorporada em uma matriz de condicionamento.
  • O modelo gera representações latentes para cada objeto independentemente.
  • Essas representações são redimensionadas espacialmente e concatenadas com base em locais previstos.
  • Uma soma ponderada mistura os latentes de objeto com um latente de contexto global para garantir limites contínuos.

Contribuições Principais

1. Novas Descobertas Empíricas: O artigo é o primeiro a demonstrar que a reconstrução visual precisa pode ser alcançada sem representações latentes baseadas em imagem, mostrando que o espaço de texto do LM fornece um alinhamento superior com sinais de fMRI em comparação com espaços de visão ou VLM.
2. Representação Estruturada: Os autores mostram que adaptar tanto o espaço de texto quanto o modelo generativo para capturar a natureza composicional e relacional dos estímulos visuais (objetos, atributos, relações) melhora significativamente a qualidade da reconstrução.
3. Framework PRISM: Uma nova arquitetura que integra um módulo de busca de atributos/relações para otimização automática de prompts e um módulo de difusão centrado no objeto para mitigar erros de ligação de atributos.

Resultados Experimentais

O framework foi avaliado em três conjuntos de dados de fMRI do mundo real: NSD, BOLD5000 e GOD.

• Desempenho: O PRISM supera as bases de comparação mais avançadas (incluindo MindEye2, MindBridge e Takagi & Nishimoto) em todas as métricas (PixCorr, SSIM, LPIPS, CLIP e Inception V3).
• Métrica Chave: O método alcança até uma redução de 6% na perda perceptual (LPIPS) em comparação com métodos existentes, indicando maior similaridade perceptual com as imagens originais.
• Consistência Semântica: Em uma tarefa de Resposta a Perguntas (QA) usando imagens reconstruídas, o PRISM alcançou 60,54% de precisão, superando significativamente outros métodos, confirmando que as reconstruções são semanticamente significativas.
• Estudos de Ablação: Remover o módulo de difusão centrado no objeto ou o módulo de busca de atributos/relações degradou consistentemente o desempenho, validando a necessidade de ambos os componentes.

Significado e Alegações

O artigo afirma que seu significado principal reside em redefinir a representação intermediária para decodificação cerebral. Ao estabelecer que o espaço de texto está mais alinhado ao cérebro do que o espaço de visão e ao modelar explicitamente a estrutura composicional da percepção visual, o PRISM preenche a lacuna entre atividade neural e geração de imagens de forma mais eficaz do que abordagens holísticas anteriores. Os resultados destacam que o texto estruturado serve como uma ponte poderosa, permitindo que modelos generativos reconstruam estímulos visuais com maior fidelidade e menos erros semânticos.

Os autores observam que, embora as palavras-chave ótimas encontradas (por exemplo, "Disposição Espacial") se alinhem com descobertas neurocientíficas sobre regiões de memória espacial (como o Pré-subículo), validação adicional da comunidade de neurociência é necessária. O trabalho é apresentado como um passo rumo a uma melhor compreensão da representação visual humana e à melhoria das interfaces cérebro-computador.