Resumo Técnico: Aprimoramento do Processamento de Vídeos Narrativos Multimodais via Contexto Temporal Mais Longo

Declaração do Problema

Compreender como humanos e sistemas de inteligência artificial processam vídeos narrativos complexos é um desafio fundamental na interseção entre neurociência e aprendizado de máquina. Embora trabalhos anteriores tenham demonstrado que representações contextuais de modelos baseados em Transformer melhoram o alinhamento cerebral para texto e fala, o papel do contexto temporal mais longo no alinhamento cerebral para estímulos multimodais naturalísticos (vídeo e áudio) permanece pouco explorado. Estudos anteriores de codificação cerebral multimodal tipicamente recorreram a clipes curtos (por exemplo, de 1,49s a 4s), frequentemente negligenciando o contexto temporal estendido, apesar de evidências de que a compreensão narrativa requer a integração de informações ao longo de escalas de tempo mais longas (dezenas de segundos). Além disso, não está claro como o direcionamento de tarefas narrativas influencia o alinhamento entre Modelos de Linguagem Grandes Multimodais (MLLMs) e respostas corticais durante a visualização naturalística de filmes.

Metodologia

O estudo utiliza o conjunto de dados Movie10, um conjunto de dados fMRI naturalístico multimodal onde quatro sujeitos assistiram passivamente a quatro filmes diferentes (The Bourne Supremacy, The Wolf of Wall Street, Hidden Figures e Life). Os autores empregam uma abordagem de codificação por voxel para prever a atividade cerebral a partir de características derivadas do modelo.

Desenho Experimental

1. Modelos:
   • MLLMs Multimodais: Dois modelos pré-treinados de vídeo-áudio foram avaliados: Qwen-2.5-Omni e DATE (Dynamic Absolute Time Enhancement). Esses modelos processam vídeo e áudio de forma intercalada, de ponta a ponta.
   • Baselines Unimodais: Dois modelos de vídeo unimodais, TimeSFormer e VideoMAE, foram utilizados para comparação.
2. Manipulação do Contexto Temporal:
   • Clipes de vídeo foram extraídos usando um procedimento de janela deslizante com durações variando de 3s a 24s (especificamente 3, 6, 9, 12, 18 e 24 segundos).
   • Para garantir robustez, os autores testaram tanto uma estratégia de amostragem escalonada (aumentando a contagem de quadros com a duração) quanto uma ablação de densidade de quadros constante (1 fps).
3. Direcionamento de Tarefa Narrativa:
   • Quatro instruções específicas de tarefa narrativa foram aplicadas aos MLLMs para gerar representações específicas da tarefa:
     1. Motivação do Personagem: Descrevendo a provável motivação ou estado emocional de um personagem.
     2. Limite de Evento: Determinando se um momento representa um limite de evento narrativo.
     3. Resumo de Múltiplas Cenas: Explicando conexões com a narrativa mais ampla.
     4. Resumo Narrativo: Resumindo eventos no segmento.
4. Avaliação do Alinhamento Cerebral:
   • Modelos de Codificação: Modelos de regressão ridge bootstrap foram treinados para prever respostas de voxel fMRI a partir de embeddings do modelo.
   • Métricas: O desempenho foi medido usando Correlação de Pearson (CP) entre a atividade cerebral prevista e a real, normalizada pela precisão de previsão entre sujeitos estimada para contabilizar o ruído biológico.
   • Análise de Região de Interesse (ROI): O estudo focou em regiões seletivas para linguagem (por exemplo, PTL, ATL, IFG, PCC, dmPFC), regiões visuais (por exemplo, LOC, OFA) e regiões auditivas com base no Atlas Glasser e nos parcelamentos do laboratório Fedorenko.

Principais Contribuições e Resultados

1. Contexto Temporal e Modaliade do Modelo

• MLLMs Beneficiam-se de Contexto Mais Longo: O aumento da duração do clipe de 3s para 24s melhora substancialmente o alinhamento cerebral para MLLMs de vídeo-áudio (Qwen-2.5-Omni mostrou um ganho relativo de ~41%; DATE mostrou um ganho de ~33,4%).
• Modelos Unimodais Não Mostram Ganho: As baselines de vídeo unimodais (TimeSFormer, VideoMAE) exibiram pouco ou nenhum aumento no alinhamento cerebral à medida que o contexto temporal aumentava.
• Efeitos de Modalidade e Direcionamento:
  • Contribuição do Áudio: A modalidade "Vídeo + Áudio" consistentemente superou "Apenas Vídeo", com a lacuna de desempenho ampliando-se à medida que o comprimento do contexto aumentava.
  • Impacto do Direcionamento: O direcionamento de tarefa narrativa proporcionou os maiores ganhos, superando significativamente as condições sem direcionamento, particularmente em janelas temporais mais longas. Isso sugere que as instruções guiam as representações do MLLM em direção a características relevantes para o cérebro.

2. Gradientes Temporais Específicos por ROI

• Alinhamento Hierárquico: O estudo identificou um gradiente temporal claro através das regiões corticais:
  • Janelas Curtas (3–6s): Otimamente alinhadas com regiões perceptuais e de linguagem inicial (por exemplo, Lobo Temporal Posterior - PTL).
  • Janelas Intermediárias (6–12s): Melhores para regiões temporais de nível médio e áreas de processamento lexical (por exemplo, Lobo Temporal Anterior - ATL, Giro Frontal Médio - MFG).
  • Janelas Mais Longas (18–24s): Preferencialmente alinhadas com regiões integrativas de ordem superior envolvidas na integração narrativa e processamento discursivo (por exemplo, Córtex Cingulado Posterior - PCC, Córtex Pré-Frontal Dorsomedial - dmPFC, Giro Angular - AG).
• Hierarquia Camada-a-Córtex: Este gradiente temporal espelha a hierarquia por camadas nos MLLMs. Camadas iniciais do modelo alinharam-se com regiões sensoriais iniciais, enquanto camadas mais profundas alinharam-se com regiões de linguagem e associação de ordem superior.

3. Representações Dependentes da Tarefa

• Preferências de Tarefa Específicas por ROI: Diferentes tarefas narrativas eliciram padrões de alinhamento distintos através das ROIs:
  • Resumos Narrativos e de Múltiplas Cenas: Dominaram regiões de associação de ordem superior (AG, PCC, dmPFC), refletindo integração semântica de longo alcance.
  • Motivação do Personagem: Alinhou-se preferencialmente com regiões temporais laterais/ventrais e temporais-occipitais, apoiando inferências em nível de pessoa e situação.
  • Limite de Evento: Mostrou alinhamento esparsamente localizado, principalmente no dmPFC.
• Estabilidade vs. Mudança no Ajuste de Vóxel:
  • ROIs Visuais: Os clipes de vídeo que ativaram maximamente os vóxeis permaneceram estáveis através de diferentes janelas temporais e instruções de tarefa (por exemplo, vóxeis seletivos para faces responderam consistentemente a clipes centrados em faces).
  • ROIs de Linguagem de Ordem Superior: Os clipes de ativação máxima mudaram significativamente tanto com o contexto temporal quanto com as instruções de tarefa, indicando que essas regiões codificam informações semânticas dependentes do contexto e específicas da tarefa.

Significado e Afirmações

O artigo posiciona filmes narrativos de longa duração como um campo de testes principiado para estudar a integração temporal em escala de tempo longa em MLLMs de contexto longo e sua relação com respostas corticais. Os autores afirmam que:

1. O Contexto Temporal é Crítico: Os ganhos no alinhamento cerebral para MLLMs surgem da integração de informações temporais e multimodais, não meramente do aumento da contagem de quadros.
2. Sondas Funcionais: Instruções de tarefa narrativa atuam como sondas funcionais eficazes, revelando subpopulações heterogêneas e seletivas à tarefa de vóxeis dentro de redes de grande escala.
3. Validade Neurobiológica: Os padrões de alinhamento observados (gradientes temporais e hierarquias de camadas) fornecem suporte neuroanatomicamente fundamentado para a hierarquia representacional dos MLLMs, sugerindo que eles capturam mecanismos de processamento semelhantes aos usados pelo cérebro humano durante a compreensão narrativa.

O estudo conclui que MLLMs de vídeo-áudio capturam uma hierarquia e integração temporal que acompanham o processamento cortical durante a compreensão narrativa, conectando estudos de neurociência de processamento em escala de tempo longa com avaliações interpretáveis de modelos de IA de contexto longo.