Resumo Técnico: NEvo: Síntese de Vídeo Evolutiva Guiada por Redes Neurais para Seletividade Visual Dinâmica

Declaração do Problema

A visão humana é fundamentalmente dinâmica, baseando-se em regiões organizadas hierarquicamente para processar entradas em contínua mudança para tarefas como desvio de obstáculos, rastreamento de objetos e inferência social. Embora modelos recentes de codificação cerebral in silico tenham sintetizado com sucesso estímulos estáticos otimizados para sondar a seletividade em regiões cerebrais específicas, o trabalho anterior tem sido amplamente limitado ao domínio da imagem estática. Consequentemente, a representação da estrutura temporal no córtex visual, particularmente em regiões dependentes de movimento, interação ou dinâmica de eventos, permanece subexplorada. Há uma necessidade crítica de métodos capazes de gerar e avaliar sistematicamente estímulos dinâmicos através de um amplo espaço de configuração espaço-temporal conjunta para compreender como o cérebro processa entradas dinâmicas naturalísticas.

Metodologia: Estrutura NEvo

Os autores introduzem o NEvo, uma estrutura de síntese de vídeo evolutiva guiada por redes neurais projetada para gerar estímulos que maximizem a ativação de regiões de interesse (ROIs) no córtex visual humano. A estrutura opera acoplando um modelo de codificação cerebral dinâmico a um procedimento de busca evolutiva sobre um espaço de prompts estruturado.

1. Busca Evolutiva Guiada por Redes Neurais

O NEvo trata a síntese de vídeo como um problema de otimização de caixa-preta sobre descritores semânticos, de movimento e de nível de evento interpretáveis.

• Espaço de Prompts: O espaço de busca é estruturado como um produto cartesiano de categorias de atributos visuais ($P = A_1 \times \dots \times A_M$), cobrindo aparência (sujeito, humor, iluminação), movimento (estrutura do evento, movimento de câmera) e dinâmica temporal. Os prompts são representados como sequências de genes.
• Algoritmo Evolutivo: O método emprega um algoritmo genético para otimizar o objetivo de síntese.
  • Inicialização: Uma população de prompts candidatos é gerada.
  • Avaliação: Os prompts são renderizados em vídeos por um gerador ($G$) e pontuados por um modelo de codificação dinâmica ($S_v$) com base na ativação média prevista de voxels na ROI alvo ($r$).
  • Seleção e Variação: A fração superior de candidatos (elites) é selecionada como pais. Os descendentes são gerados via crossover (troca de prefixos de sequência de genes) e mutação (reamostragem de atributos).
  • Iteração: Este processo itera sobre gerações para refinar a população em direção a prompts que produzam uma ativação de ROI prevista mais forte.

2. Síntese de Vídeo em Dois Estágios

Para melhorar a eficiência da busca no espaço espaço-temporal de alta dimensão, o NEvo decompõe a otimização em dois estágios:

• Estágio 1 (Conteúdo Estático): Um gerador de imagens rápido busca no subespaço estático ($P_{img}$) para identificar um "âncora visual" ideal (sujeito, cena, textura, iluminação).
• Estágio 2 (Atributos Dinâmicos): A melhor imagem pontuada é fixada como uma entrada de condicionamento para um gerador de imagem-para-vídeo. A busca então otimiza o subespaço dinâmico ($P_{vid}$), cobrindo perfis de movimento, ritmo temporal e tipos de interação. Esta separação evita avaliações de vídeo caras para configurações de conteúdo ruins.

3. Modelo de Codificação Cerebral Dinâmica

A estrutura utiliza o V-JEPA 2 como o backbone de características, escolhido por seu alinhamento com respostas cerebrais em avaliações de grande escala anteriores.

• Arquitetura: Diferente de modelos que dependem apenas de embeddings finais (ex: CLIP), o NEvo extrai características de múltiplos blocos do V-JEPA 2, calculando a média sobre o espaço e o tempo.
• Mapeamento: Regressões de ridge voxel-a-voxel são ajustadas às respostas fMRI. Cada voxel recebe a camada do modelo com melhor desempenho de validação, permitindo que localizações corticais se alinhem com diferentes profundidades do modelo.
• Dados de Treinamento: O modelo é treinado no conjunto de dados BOLDMoments e em um conjunto de dados de interação social, projetados na superfície cortical fsaverage5.

Principais Contribuições

1. Estrutura Inovadora: Introdução do NEvo, o primeiro modelo de estrutura para estudar a seletividade visual sob estimulação dinâmica naturalística usando busca de prompt evolutiva.
2. Estímulos de Alta Ativação: Síntese de vídeos que excedem os níveis de ativação de localizadores funcionais manuais e dos vídeos de melhor desempenho de conjuntos de dados de grande escala (ex: Moments in Time) através das correntes visuais ventral, dorsal e lateral.
3. Caracterização da Seletividade Dinâmica: Demonstração de que a estrutura temporal molda amplamente a seletividade visual, com vídeos otimizados superando controles estáticos mesmo em regiões tradicionalmente seletivas para estáticos, como a Área de Face Fusiforme (FFA).
4. Descoberta de Gradientes Funcionais: Aplicação do NEvo ao longo de uma trajetória de searchlight na corrente visual lateral revela uma progressão sistemática do baixo nível de estrutura espacial para o movimento corporal e, finalmente, para características sociais-dinâmicas complexas (ação conjunta, comunicação).
5. Síntese Controlada: Validação da capacidade da estrutura em dissociar a seletividade dinâmica específica de região das âncoras estáticas ao gerar estímulos com objetos abstratos e não-naturalísticos que ainda evocam respostas dinâmicas específicas de região (ex: interações semelhantes a faces para pSTS ou movimento oscilatório para MT).

Resultados

• Desempenho: Os estímulos gerados pelo NEvo alcançaram ativações previstas nos 99,8% superiores do dataset Moments in Time e em 95,8% das respostas de localizadores manuais, em média.
• Vantagem Dinâmica: Vídeos otimizados consistiram em superar seus controles estáticos de primeiro quadro, com os maiores ganhos em regiões sensíveis ao movimento (ex: MT) e ganhos mensuráveis em regiões ventrais (ex: FFA).
• Estudos de Ablação:
  • A estratégia de busca em dois estágios superou as linhas de base de estágio único.
  • O modelo de codificação de múltiplas camadas V-JE 2 superou significativamente os baselines baseados em CLIP, destacando a necessidade de representações temporalmente fundamentadas.
  • O prompting evolutivo provou ser mais robusto do que a síntese baseada em gradiente (BrainDiVE), que falhou em gerar estímulos dinâmicos significativos neste cenário.
  • A busca genética superou significativamente as linhas de base de busca aleatória e de hill-climbing.
• Análise da Corrente Lateral: A síntese por searchlight revelou um gradiente ao longo da via lateral: regiões iniciais preferiam texturas de alto contraste; regiões de nível médio (MT, EBA) favoreciam movimento corporal; o STS posterior (pSTS) favorecia interações físicas sincronizadas; e o STS anterior (aSTS) deslocava-se para conteúdo comunicativo face-a-face.

Significância e Alegações

O artigo afirma que o NEvo permite a exploração in silico da seletividade visual dinâmica, indo além das limitações da síntese de imagem estática. Ao recuperar seletividades conhecidas e revelar diferenças sistemáticas na sensibilidade aos dinâmicos, a estrutura fornece novas previsões para experimentos in vivo. Os autores postulam que o NEvo oferece uma abordagem escalável e controlada para o design de estímulos dinâmicos, potencialmente auxiliando na descoberta de gradientes funcionais em regiões menos caracterizadas.

Os autores reconhecem limitações, observando que os estímulos sintetizados refletem tanto a seletividade neural quanto potenciais vieses nos modelos de codificação e geração subjacentes. Eles enfatizam que a validação futura com neuroimagem humana é necessária e que o atual modelo de visão limita a caracterização de regiões como o aSTS, onde a comunicação depende de pistas audiovisuais. O trabalho é apresentado como um passo em direção à neuroimagem de loop fechado e ao design de estímulos orientado por hipóteses.