Resumo Técnico: Hi-DREAM

Problema

A reconstrução de imagens naturais a partir de dados de Ressonância Magnética Funcional (fMRI) requer a ponte entre a atividade neural e as representações estruturais e semânticas utilizadas por modelos generativos modernos. Embora decodificadores baseados em difusão recentes tenham melhorado a qualidade visual, uma limitação crítica persiste: a maioria dos métodos existentes comprime os sinais de fMRI em um único embedding global antes de condicionar o modelo generativo. Essa abordagem ignora amplamente a organização hierárquica do córtex visual humano, tornando difícil inspecionar como diferentes regiões corticais contribuem para aspectos específicos da reconstrução (ex: estrutura local vs. semântica de alto nível). Além disso, tratar o córtex visual como uma entidade monolítica falha em aproveitar os papéis distintos das áreas visuais iniciais (retinotópicas), médias (contornos/partes) e tardias (semânticas) em diferentes estágios do processo de geração de imagem.

Metodologia

Os autores propõem o Hi-DREAM (Brain-Inspired Hierarchical Diffusion), um framework que estrutura o condicionamento de fMRI de acordo com a hierarquia visual. O método consiste em dois componentes primários integrados a um backbone de difusão latente:

1. Adaptador de ROI Hierárquico

Em vez de um único embedding, o Hi-DREAM agrupa as respostas de fMRI em três fluxos distintos baseados em Regiões de Interesse (ROIs) visuais:

• Fluxo Inicial (Early Stream): Inclui V1/V2, associado a informações estruturais locais e retinotópicas.
• Fluxo Médio (Middle Stream): Inclui V3/hV4, associado a contornos e partes de objetos.
• Fluxo Tardio (Late Stream): Inclui LOC/FFA, associado a semântica de nível de categoria.

O Adaptador de ROI converte essas respostas por tentativa (trial-wise) e máscaras específicas do sujeito em uma pirâmide cortical multiescala. Ele emprega:

• Construção de espaço de escala: Máscaras de ROI suaves são subamostradas para corresponder às resoluções do U-Net (64, 32, 16).
• Gating aprendível: Pesos dependentes de profundidade ($w_{r,s}$) e pesos de mistura ($\alpha_{g,s}$) permitem que cada escala do U-Net receba uma mistura específica de evidências iniciais, médias e tardias.
• Atenção Latente de Múltiplas Cabeças (MHLA): Este módulo modela interações cooperativas entre os três fluxos, permitindo que a informação de um grupo de ROI influencie como os outros são utilizados em profundidades específicas de denoising.

2. ControlNet Condicionado por ROI

Um ramo de ControlNet leve injeta os priors de anatomia conscientes gerados pelo adaptador no backbone de difusão.

• Injeção Correspondente à Profundidade: O ControlNet traduz a pirâmide cortical em dicas ($\xi_s$) que são injetadas nas profundidades correspondentes do U-Net via fusão residual e FiLM (Feature-wise Linear Modulation).
• Guia Seletivo: Fluxos iniciais guiam camadas rasas (preservando a estrutura espacial), enquanto fluxos tardios guiam camadas profundas (refinando a semântica).
• Agendamento Temporal: A força do guia é agendada ao longo do tempo de difusão, permitindo que dicas estruturais dominem os estágios iniciais de denoising e dicas semânticas refinem a imagem nos estágios posteriores.

O objetivo de treinamento combina a perda de difusão padrão com regularizadores estruturais ($L_1$, preservação de gradiente e SSIM) para garantir consistência de pixels e preservação de bordas.

Principais Contribuições

1. Framework Hi-DREAM: Um novo framework de difusão que estrutura o condicionamento de fMRI em fluxos de ROI visuais iniciais, médios e tardios, espelhando a organização hierárquica do córtex visual.
2. Design Arquitetônico: O design de um Adaptador de ROI que converte respostas corticais em priors multiescala compactos e um ROI-ControlNet de Profundidade Correspondente que injeta esses priors em profundidades específicas do U-Net, permitindo orientação consciente da anatomia sem o custo computacional do condicionamento de volume 3D completo.
3. Interpretabilidade e Atribuição: O framework fornece um mapeamento claro entre fluxos corticais e profundidades generativas. Estudos de ablação demonstram que o condicionamento consciente da hierarquia não é apenas eficaz, mas também interpretável, com diferentes fluxos de ROI fornecendo contribuições complementares e inspecionáveis.

Resultados Experimentais

O método foi avaliado no Natural Scenes Dataset (NSD) utilizando os sujeitos 1, 2, 5 e 7.

• Desempenho Quantitativo: O Hi-DREAM alcançou desempenho de Estado da Arte (SoTA) em métricas semânticas de alto nível, incluindo pontuações Inception e CLIP, superando métodos anteriores como MindEye2, Psychometry e MindBridge. Também reteve forte fidelidade estrutural de baixo nível, alcançando a melhor pontuação AlexNet(2) e a segunda melhor pontuação PixCorr e AlexNet(5).
• Desempenho Qualitativo: As reconstruções preservaram a identidade do objeto, o layout da cena e atributos visuais salientes (ex: fidelidade de cor e geometria de forma) de forma mais consistente do que os decodificadores de difusão basais.
• Estudos de Ablação:
  • Composição de Fluxo: O uso dos três fluxos (Inicial + Médio + Tardio) rendeu o melhor equilíbrio de métricas estruturais e semânticas, confirmando sua natureza complementar.
  • Validação da Hierarquia: Atribuir ROIs aleatoriamente aos fluxos ou inverter a hierarquia (injetar ROIs iniciais em camadas profundas) degradou significativamente o desempenho, validando a importância de alinhar a hierarquia cortical com a profundidade do U-Net.
  • Contribuição do Módulo: Remover o Adaptador de ROI ou o módulo MHLA resultou em quedas substanciais de desempenho, provando que tanto os priors espaciais quanto a coordenação entre fluxos são essenciais.
  • Alinhamento de Profundidade: A análise da energia injetada confirmou que o modelo aprendeu a depender dos fluxos Iniciais para camadas rasas, dos fluxos Médios para camadas intermediárias e dos fluxos Tardios para camadas profundas.

Significância e Alegações

O artigo afirma que o Hi-DREAM representa uma mudança de tratar sinais de fMRI como embeddings globais indiferenciados para utilizar uma abordagem estruturada e inspirada no cérebro. Ao alinhar o sinal de condicionamento com a hierarquia natural do córtex visual e a profundidade do modelo de difusão, o framework alcança uma reconstrução semântica superior enquanto mantém a integridade estrutural.

Os autores enfatizam que o framework oferece interpretabilidade: cada fluxo de condicionamento corresponde a um grupo de ROI cortical definido, permitindo que pesquisadores inspecionem como regiões cerebrais específicas influenciam diferentes estágios da geração de imagem. Embora a implementação atual seja específica para o sujeito e foque em um conjunto compacto de ROIs visuais, o trabalho estabelece uma base para decodificações cére para imagem mais neuroalinhadas, eficientes e interpretáveis. Direções futuras identificadas pelos autores incluem a melhoria de detalhes visuais finos, expansão da cobertura anatômica para incluir regiões dorsais e sensíveis ao movimento, e o desenvolvimento de estratégias de generalização entre sujeitos.