Resumo Técnico: Sondagem condicionada a tarefas de MLLMs multimodais ajustados por instrução

Declaração do Problema

Estudos recentes de codificação cerebral estabeleceram que modelos de linguagem grandes multimodais (MLLMs) exibem maior alinhamento com a atividade cerebral humana do que modelos unimodais. Além disso, demonstrou-se que MLLMs ajustados por instrução (IT) geram representações específicas de tarefas que se alinham fortemente com a atividade cerebral. No entanto, avaliações anteriores limitaram-se amplamente a dois cenários: (1) modelos multimodais avaliados com estímulos unimodais, ou (2) modelos não ajustados por instrução avaliados com estímulos multimodais.

Uma lacuna crítica permanece na compreensão de se o ajuste por instrução faz com que os IT-MLLMs organizem suas representações em torno de demandas funcionais de tarefas ou se eles meramente refletem semânticas superficiais. Adicionalmente, há uma falta de sondagem sistemática de IT-MLLMs sob estímulos multimodais naturalísticos (vídeo com áudio) para determinar como representações específicas de tarefas, guiadas por linguagem, se alinham com a atividade cerebral em regiões corticais, desde áreas sensoriais iniciais até áreas cognitivas de ordem superior.

Metodologia

Os autores abordam essa lacuna estimando o alinhamento cerebral através da previsão de respostas de fMRI registradas durante a visualização naturalística de filmes (vídeo com áudio) usando representações de MLLMs ajustados por instrução.

Dados e Modelos:

• Conjunto de Dados: O estudo utiliza o conjunto de dados Movie10 (Boyle et al., 2020), um conjunto de dados de fMRI naturalístico multimodal onde quatro sujeitos assistiram passivamente a quatro filmes diferentes. Os dados são projetados no espaço de superfície "fsaverage6".
• Modelos Avaliados:
  • Ajustados por Instrução (IT): Seis MLLMs de vídeo (por exemplo, InstructBLIPVideo, Video-LLaVA, Qwen-2.5-VL) e dois MLLMs de áudio (Qwen-2.5-Audio, Kimi-Audio).
  • Linhas de Base: Dois MLLMs de vídeo com aprendizado em contexto (ICL), dois modelos multimodais não ajustados por instrução, dois modelos de vídeo unimodais e um modelo de áudio unimodal.
• Instruções: Os modelos foram sondados com 13 instruções de tarefa específicas de vídeo (por exemplo, reconhecimento de ação, compreensão narrativa, raciocínio de senso comum) e 5 instruções específicas de áudio (por exemplo, compreensão de áudio, detecção de eventos sonoros).
• Extração de Características: Para modelos IT, representações de estados ocultos foram extraídas em cada camada com base no vídeo/áudio de entrada e na instrução de tarefa específica. Para ICL e linhas de base não-IT, inferência zero-shot foi realizada com prompts em linguagem natural.

Codificação e Avaliação:

• Codificação Voxel a Voxel: Modelos de regressão de crista em faixas foram treinados para prever a atividade cerebral de fMRI a partir das representações do modelo. Os modelos contabilizaram atrasos na resposta hemodinâmica usando um filtro de resposta ao impulso finito (FIR).
• Métricas: O desempenho foi medido usando Correlação de Pearson (PC) entre a atividade cerebral prevista e a real. Para padronizar o desempenho, os resultados foram divididos pela precisão de previsão entre sujeitos estimada, gerando "alinhamento cerebral normalizado".
• Análise: O estudo empregou Análise de Similaridade Representacional (RSA) para comparar a similaridade semântica da instrução com a similaridade da representação do modelo. Também utilizou métricas de agrupamento (Índice Rand Ajustado) para avaliar a organização condicionada à tarefa e partição de variância para analisar variância compartilhada e única entre tarefas.

Principais Contribuições e Resultados

1. Desacoplamento de Semânticas Superficiais da Estrutura da Tarefa
O estudo encontra uma diferença fundamental na forma como modelos IT e ICL organizam representações:

• Modelos ICL: Mostram forte acoplamento (Pearson $r \approx 0,78$) entre representações internas e semânticas de instrução superficiais, indicando correspondência text-proxima rasa.
• Modelos IT: Exibem acoplamento fraco às semânticas superficiais ($r \approx 0,14$), mas mostram agrupamento condicionado à tarefa mais forte. Isso sugere que modelos IT organizam representações com base em demandas funcionais de tarefas, e não na redação específica do prompt.

2. Alinhamento Cerebral Superior de MLLMs de Vídeo IT

• Desempenho Geral: MLLMs de vídeo IT demonstram alinhamento cerebral significativamente maior do que modelos ICL (aproximadamente 9% de melhoria), modelos multimodais não ajustados por instrução (aproximadamente 15% de melhoria) e linhas de base unimodais (aproximadamente 20% de melhoria).
• Assimetria de Modalidade: Enquanto modelos de vídeo IT mostram forte alinhamento em todo o cérebro, regiões de linguagem e visuais, modelos de áudio IT mostram ganhos principalmente no córtex auditivo e no giro frontal médio (MFG). MLLMs de áudio IT performam de forma comparável a linhas de base multimodais não ajustadas por instrução, indicando espaço para melhoria na captura de informações semânticas relevantes para o cérebro para áudio.

3. Diferenciação de Tarefa Específica por Região
Instruções específicas de tarefa geram representações distintas que se alinham com regiões funcionais específicas do cérebro:

• Tarefas de Vídeo: "Compreensão narrativa" e "QA Visual" mostram maior alinhamento em regiões relacionadas à linguagem (giro angular, lobo temporal posterior), enquanto "Compreensão de vídeo" domina regiões frontais de ordem superior.
• Tarefas de Áudio: "Legendagem de áudio" e "detecção de eventos sonoros" alinham-se com o córtex auditivo, enquanto "compreensão de áudio" ativa regiões de nível superior como o giro frontal inferior (IFG).
• Partição de Variância: Tarefas com alta carga visual contribuem de forma única para a variância do córtex visual, enquanto tarefas semânticas de alto nível contribuem de forma única para a variância da rede de linguagem.

4. Alinhamento Hierárquico com Processamento Cortical
IT-MLLMs exibem um padrão de alinhamento camada a camada consistente com a hierarquia de processamento do cérebro:

• Camadas Iniciais: Alinham-se com áreas sensoriais iniciais (córtex visual e auditivo).
• Camadas Intermediárias/Profundas: Alinham-se com áreas visuais de ordem superior (LOC, PPA) e regiões de linguagem (giro angular, IFG).
• Experimentos de Controle: Esse gradiente hierárquico desaparece ao usar prompts de linguagem não natural (tokens aleatórios), confirmando que o alinhamento é impulsionado pela semântica da instrução e não pela estrutura genérica do modelo. Comparações controladas dentro de famílias de modelos (por exemplo, Qwen-2.5-VL IT vs. Pré-treinado) confirmam que o ajuste por instrução melhora consistentemente o alinhamento em todas as camadas.

Significado e Alegações

O artigo alega ser o primeiro estudo a usar MLLMs de vídeo e áudio ajustados por instrução para modelar respostas de fMRI em diversas tarefas multimodais. As descobertas sugerem que:

• O ajuste por instrução transforma MLLMs em sondas que organizam representações em torno de demandas de tarefas, e não de texto superficial, levando a um alinhamento mais forte com a organização funcional do cérebro.
• Instruções específicas de tarefa podem ser usadas como uma alavanca controlada para variar objetivos de tarefa enquanto se mantém o estímulo fixo, permitindo o mapeamento do processamento de informações conjuntas em sistemas artificiais e biológicos.
• Os padrões de alinhamento dependentes de camada observados suportam o uso de IT-MLLMs para estudar especialização funcional sob estímulos naturalísticos e conectar modelagem cognitiva com neurociência.

Os autores mantêm uma postura modesta em relação a comparações entre famílias, notando que existem diferenças de escala, dados de treinamento e arquitetura. No entanto, enfatizam que comparações controladas dentro da mesma família (IT vs. versões Pré-treinadas do mesmo modelo) mostram consistentemente ganhos positivos no alinhamento cerebral após o ajuste por instrução, isolando o efeito do próprio processo de ajuste.