Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction

Resumo Técnico: MindHier – Hierarquia para Hierarquia de Autorregressão para Reconstrução de fMRI para Imagem

Declaração do Problema
Reconstruir estímulos visuais a partir de sinais de Ressonância Magnética Funcional (fMRI) é um desafio crítico na interseção entre aprendizado de máquina e neurociência. As abordagens de estado da arte recentes dependem fortemente de modelos de difusão. Esses métodos tipicamente mapeiam a atividade de fMRI para um único embedding neural estático, que serve como um sinal de orientação fixo durante todo o processo de geração de imagem. Os autores identificam duas limitações fundamentais neste paradigma:

1. Colapso de Informação: Os sinais de fMRI são inerentemente hierárquicos, com diferentes regiões cerebrais capturando conteúdo semântico grosseiro e detalhes perceptivos refinados. Os métodos atuais colapsam essa rica informação de múltiplos níveis em um único vetor, levando à subutilização dos dados neurais.
2. Descompasso Temporal: A geração de imagens é um processo dinâmico e de múltiplos estágios, onde os estágios iniciais exigem restrições semânticas globais e os estágios posteriores demandam pistas estruturais e texturais precisas. A orientação neural fixa é frequentemente redundante nas fases iniciais e insuficiente nas fases posteriores, criando um desalinhamento entre a representação e o processo de geração. Além disso, os modelos de difusão oferecem pontos de controle limitados para injetar orientação consciente do estágio.

Metodologia: MindHier
Para enfrentar esses desafios, os autores propõem o MindHier, um framework de reconstrução de fMRI para imagem de grosseiro para fino construído sobre modelagem autorregressiva escala-por-escala (especificamente o paradigma de "predição da próxima escala"). Diferente dos modelos de difusão que iterativamente removem o ruído de um ruído Gaussiano, o MindHier gera imagens progressivamente de mapas de tokens de baixa para alta resolução. O framework consiste em três componentes principais:

1. Codificador de fMRI Hierárquico (HFE):
   Em vez de produzir um único embedding, o HFE é uma pilha unificada de blocos de transformer cascateados projetada para desagregar os sinais de fMRI em uma representação estruturada de múltiplos níveis. As saídas desses blocos, $\{e_1, \dots, e_M\}$, constituem uma hierarquia onde camadas mais profundas capturam semântica global ("Floresta") e camadas mais rasas preservam detalhes finos ("Árvores").

2. Alinhamento de Hierarquia para Hierarquia:
   Para treinar o HFE, os autores introduzem um esquema de treinamento de objetivo duplo que impõe a correspondência camada a camada entre os embeddings de fMRI e a hierarquia de características de um codificador de visão CLIP congelado:

• Alinhamento Estrutural: Um erro quadrático médio (MSE) cascateado alinha as saídas intermediárias dos blocos de fMRI com as camadas correspondentes do codificador CLIP, garantindo a correspondência ponto a ponto através dos níveis de abstração.
• Alinhamento de Nível Semântico: Um perda SoftCLIP alinha o recurso terminal de fMRI tanto com o recurso visual quanto com o recurso de legenda de texto no espaço de embedding compartilhado do CLIP. Isso fornece uma âncora semântica global robusta para evitar a propagação de erros.

3. Orientação Neural de Grosseiro para Fino Consciente da Escala:
   Esta estratégia injeta os embeddings hierárquicos aprendidos no gerador autorregressivo em escalas correspondentes. O processo de geração é condicionado a características específicas de fMRI com base no estágio de geração:

• Semear a "Floresta" (Baixa Resolução): A escala inicial de baixa resolução é semeada com o embedding semântico mais abstrato ($e_M$) para estabelecer um layout global coerente.
• Refinar as "Árvores" (Alta Resolução): Escalas subsequentes de maior resolução são progressivamente condicionadas em recursos intermediários focados em detalhes ($e_k$) via atenção cruzada multi-cabeça. Isso garante que o contexto global seja estabelecido primeiro, seguido pelo refinamento de texturas e estruturas.

Principais Contribuições

• Identificação de Descompasso: O artigo destaca o desconexão fundamental entre a orientação neural fixa e a natureza dinâmica da reconstrução de imagem, propondo uma mudança de pipelines baseados em difusão para pipelines autorregressivos.
• Framework Inovador: O MindHier introduz um framework autorregressivo de grosseiro para fino que adapta dinamicamente a orientação neural às demandas específicas de cada estágio de geração.
• Mecanismos de Alinhamento e Orientação: Os autores propõem o "Alinhamento de Hierarquia para Hierarquia" para desagregar os sinais de fMRI e a "Orientação Consciente da Escala" para injetar estrategicamente esses recursos, resolvendo o descompasso estrutural entre as representações neurais e a reconstrução de imagem.
• Equilíbrio de Desempenho: O framework alcança um equilíbrio crítico entre fidelidade semântica elevada, estabilidade determinística e velocidade de inferência.

Resultos Experimentais
Experimentos extensivos foram conduzidos no Natural Scenes Dataset (NSD) envolvendo 8 sujeitos humanos.

• Fidelidade Semântica: O MindHier alcança desempenho de estado da arte em métricas de alto nível, incluindo a maior pontuação CLIP (96,4%) e a menor distância SwAV (0,329) entre os métodos comparados. Ele supera os baselines baseados em difusão como MindEye2 e MindBridge na captura do conteúdo semântico central.
• Eficiência: O MindHier demonstra eficiência computacional significativa, exigindo apenas 2,64 segundos para gerar uma imagem de 512×512. Isso representa uma aceleração de 4,67× em comparação ao MindEye2, atribuída à eliminação das etapas de denoising iterativo e à alocação da maior parte da computação para resoluções mais baixas.
• Estabilidade e Consistência: Ao contrário dos modelos de difusão estocásticos que dependem de inicialização de ruído aleatório, o MindHier produz resultados determinísticos. Através de múltiplas tentativas, ele gera reconstruções virtualmente idênticas, capturando de forma confiável características centrais como forma e postura, enquanto os baselines de difusão exibem variabilidade significativa.
• Qualidade Qualitativa: Comparações visuais mostram que o MindHier se destaca em preservar a integridade estrutural (ex: o pescoço longo de uma girafa) e propriedades cromáticas (ex: um hidrante amarelo), além de recuperar com precisão as posições e trajetórias dos objetos.
• Generalização: Experimentos preliminares no dataset THINGS-fMRI confirmam a capacidade do modelo de generalizar para novas distribuições de dados e configurações multi-sujeito, mostrando melhorias substanciais nas métricas de recuperação semântica de alto nível sobre o baseline BrainFlora.

Significância e Alegações
O artigo afirma que o MindHier avança a reconstrução de fMRI para imagem além da análise offline, oferecendo uma alternativa cognitivamente alinhada aos métodos de difusão. Ao aderir ao princípio "Floresta antes das Árvores" da percepção visual humana, o framework sintetiza semânticas globais antes de refinar detalhes locais. Os autores asseveram que a combinação de fidelidade semântica superior, estabilidade determinística e velocidades de inferência em tempo real facilita a realização futura de interfaces cérebro-computador em tempo real. O trabalho posiciona a modelagem autorregressiva por escala como um paradigma poderoso e subexplorado para decodificar atividade cerebral, oferecendo um caminho mais eficiente e controlável para a reconstrução visual do que as atuais abordagens baseadas em difusão.