Resumo Técnico: UniMVU – Portaria Consciente de Instrução para Compreensão Multimodal de Vídeo

1. Declaração do Problema

Modelos de Linguagem Grandes de Vídeo Pré-treinados (Video LLMs) demonstraram capacidades robustas em raciocínio visual utilizando quadros RGB e instruções textuais. No entanto, enfrentam desafios significativos ao processar vídeos acompanhados de fluxos auxiliares, como áudio, mapas de profundidade ou evidências temporais densas.

A questão central identificada é a interferência de modalidades. Nas abordagens atuais, fluxos auxiliares são frequentemente fundidos uniformemente ou anexados como tokens extras. Essa estratégia de fusão estática assume uma importância fixa para cada modalidade, falhando em considerar que a relevância de uma modalidade é dependente da consulta. Por exemplo, o áudio é crítico para perguntas sobre fala ou instrumentos, mas atua como ruído para reconhecimento de cores; pistas de profundidade são essenciais para o layout espacial, mas redundantes para consultas centradas na aparência. A fusão uniforme permite que canais irrelevantes distraiam o modelo, levando a desempenho subótimo. Métodos existentes frequentemente dependem de atenção implícita do decodificador ou módulos de interação específicos de tarefa que não abordam explicitamente as duas questões de quais tokens dentro de um fluxo enfatizar e qual fluxo priorizar com base na instrução específica.

2. Metodologia: UniMVU

Os autores propõem o UniMVU, um quadro unificado de compreensão multimodal de vídeo projetado para realizar fusão consciente de instrução através de modalidades diversas (vídeo, áudio, profundidade/3D, temporal densa) antes da decodificação do LLM. O quadro emprega um mecanismo de portaria dinâmico de dois níveis condicionado à instrução textual.

Visão Geral da Arquitetura

O UniMVU integra codificadores e projetores específicos de modalidade com um bloco de Fusão Balanceada de Modalidade, seguido por um LLM congelado ou adaptado via LoRA. O bloco de fusão consiste em três componentes principais:

1. Sequência de Tokens Unificada & Autoatenção Cross-Modal:

   • Todas as entradas (vídeo, áudio, profundidade, etc.) são projetadas em um espaço de incorporação comum e concatenadas com tokens de instrução textual em uma sequência unificada.
   • Uma camada de Autoatenção Cross-Modal permite interações entre tokens de instrução e tokens de modalidade. Crucialmente, os tokens de instrução permanecem "intactos" (substituídos pelas incorporações originais após a camada) para evitar que características de modalidade ruidosas perturbem a representação da instrução, garantindo um fluxo unidirecional de informação onde as modalidades são condicionadas ao texto.

2. Portaria Interna de Modalidade Orientada por Instrução (Nível de Recurso):

   • Este módulo refina a sequência de tokens dentro de cada modalidade.
   • Ele aproveita o mapa de atenção da camada cross-modal para calcular a relevância de cada token em relação à instrução.
   • A massa de atenção dos tokens de instrução para tokens de conteúdo é agregada e normalizada dentro de cada modalidade para produzir pesos ao nível de token ($w_{m,t}$). Isso enfatiza regiões salientes dentro de um fluxo enquanto suprime as irrelevantes.

3. Portaria de Nível de Modalidade Orientada por Instrução (Nível de Fluxo):

   • Este módulo atribui um peso global a cada fluxo inteiro de modalidade.
   • Um Token de Controle Aprendível ($t_c$) é introduzido para cada modalidade para resumir o conteúdo do fluxo.
   • A atenção entre tokens de instrução e esses tokens de controle gera uma pontuação de importância escalar ($\eta_m$) para cada modalidade.
   • Essas pontuações são normalizadas para produzir coeficientes de portaria ao nível de modalidade ($\beta_m$).

Mecanismo de Fusão:
A representação final para uma modalidade $m$ é calculada como um refinamento residual:
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
Onde $O_m$ é a saída da camada de autoatenção. Este design garante que a evidência original seja preservada (via o resíduo $O_m$) enquanto os tokens e fluxos relevantes para a instrução são amplificados. A portaria atua como um sinal de reponderação suave em vez de um interruptor rígido, reduzindo o risco de descartar evidências potencialmente úteis.

Treinamento e Escalabilidade:

• Os codificadores de modalidade permanecem congelados; apenas os projetores, o bloco de fusão e os adaptadores LoRA no LLM são treinados.
• O quadro suporta Treinamento Unificado Multi-Tarefa, onde um único ponto de verificação é treinado em diversos conjuntos de dados (Áudio-Visual, 3D e QA de Vídeo) sem conectores específicos de tarefa. Modalidades ausentes são mascaradas e as portas são renormalizadas sobre os fluxos disponíveis.

3. Contribuições Principais

• Quadro Unificado: Um único modelo capaz de lidar com entradas de modalidade mista (vídeo, áudio, profundidade/3D, temporal densa) e generalizar através de configurações de modalidade diversas sem regras de fusão artesanais.
• Portaria Dinâmica de Dois Níveis: Um mecanismo orientado por instrução que opera tanto no nível de token (interno à modalidade) quanto no nível de fluxo (nível de modalidade) para equilibrar adaptativamente a importância da modalidade com base na consulta.
• Interpretabilidade: O mecanismo de portaria alinha-se com a relevância de modalidade interpretável por humanos (por exemplo, aumentar o peso do áudio para perguntas acústicas), fornecendo uma superfície de decisão transparente.
• Escalabilidade: A abordagem escala para diferentes tamanhos de modelo (0,5B e 7B) e suporta treinamento unificado através de múltiplas famílias de tarefas, eliminando a necessidade de conectores separados para tarefas Áudio-Visual, 3D ou de vídeo denso.

4. Resultados Experimentais

Os autores avaliaram o UniMVU em seis benchmarks: AVQA, AVSD, Music-AVQA (Áudio-Visual), ScanQA, SQA3D (3D) e MVBench (Vídeo).

• Ganhos de Desempenho: O UniMVU supera consistentemente as linhas de base de fusão estática (especificamente variantes PAVE e LLaVA-OV).
  • No Music-AVQA, o UniMVU alcançou uma melhoria de +4,6% na precisão geral (0,5B) e +1,8% (7B) sobre o PAVE.
  • No AVSD, alcançou um ganho de +12,2 pontos no CIDEr (0,5B) e +13,5 (7B).
  • No SQA3D, o UniMVU melhorou o EM@1 em +6,7 (0,5B) e mostrou ganhos significativos em perguntas "O quê" e "Como".
  • No MVBench, o modelo unificado (UniMVU†) alcançou a melhor pontuação média, com ganhos particularmente grandes em subtarefas temporalmente exigentes como Previsão de Ação (+21,0) e Sequência de Ação (+16,5) na escala 0,5B.
• Treinamento Unificado: Um único ponto de verificação treinado conjuntamente em todas as tarefas (UniMVU†) manteve desempenho forte, demonstrando que a interface de portaria transfere com sucesso o comportamento de seleção de modalidade através de diferentes famílias de tarefas.
• Estudos de Ablação:
  • Remover a portaria interna à modalidade ou a portaria de nível de modalidade resultou em quedas de desempenho, confirmando a necessidade de ambos os níveis.
  • O uso de um único token de controle unificado superou tokens específicos de modalidade.
  • A conexão residual na fórmula de portaria foi crítica; removê-la degradou o desempenho.
  • A portaria sem parâmetros (usando pontuações de atenção diretamente) superou cabeças de pontuação MLP aprendidas ou de cross-attention, sugerindo que pontuações derivadas de atenção fornecem um forte viés indutivo.

5. Significado e Alegações

O artigo alega que o UniMVU fornece uma receita simples e unificada para compreensão multimodal de vídeo consciente de instrução. Seu significado principal reside em abordar a interferência de modalidades roteando explicitamente a informação com base na instrução antes que o LLM gere uma resposta.

• Mitigação de Interferência: Ao reponderar dinamicamente fluxos e tokens, o modelo impede que modalidades irrelevantes distraiam o decodificador, uma limitação da fusão uniforme.
• Generalização: O quadro prova que uma única interface de portaria pode lidar com entradas heterogêneas (áudio, 3D, vídeo denso) sem exigir arquiteturas separadas e específicas de tarefa.
• Eficiência e Transparência: O método é leve (adicionando parâmetros mínimos) e oferece interpretabilidade, pois os pesos de portaria refletem diretamente o foco do modelo em tipos específicos de evidência exigidos pela consulta.

Os autores concluem que o UniMVU permite que Video LLMs aproveitem melhor fluxos auxiliares sincronizados, alcançando resultados state-of-the-art em diversos benchmarks enquanto oferece um caminho escalável para futura integração multimodal.