All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

1. O Problema

O treinamento de Modelos de Linguagem Multimodal (MLLMs) para compreensão de vídeo depende massivamente de grandes volumes de dados anotados. No entanto, a coleta e anotação manual de dados de vídeo multimodal no mundo real apresentam desafios críticos:

• Custo e Tempo: A anotação densa (quadro a quadro) para tarefas como contagem de objetos, segmentação e respostas a perguntas (VQA) é extremamente cara e lenta.
• Limitações de Diversidade: Conjuntos de dados reais frequentemente sofrem de viés, cobertura desigual de padrões de raciocínio e falta de diversidade em cenários e interações.
• Complexidade Temporal: Tarefas baseadas em vídeo exigem supervisão densa tanto nas dimensões espaciais quanto temporais (rastreio de objetos, consistência temporal), o que aumenta drasticamente a complexidade da construção de datasets.
• Privacidade: Dados sensíveis (médicos, pessoais) limitam a disponibilidade de dados reais para treinamento.

2. Metodologia

Os autores propõem um pipeline unificado de geração de dados sintéticos capaz de produzir dados multimodais ilimitados com supervisão rica e estruturada, partindo de uma única imagem de entrada. O fluxo de trabalho segue uma abordagem sequencial e condicionada:

A. Pipeline de Geração Multimodal

1. Entrada (Imagem): O processo inicia com uma imagem estática (ex: do dataset MSCOCO).
2. Geração de Texto (Legenda Futura): Um Grande Modelo de Linguagem (LLM, especificamente ChatGPT) analisa a imagem e gera uma legenda que descreve não apenas o estado atual, mas eventos futuros plausíveis ou a progressão temporal da cena. Isso estabelece a intenção temporal.
3. Geração de Vídeo: Utilizando o modelo de geração de vídeo Wan 2.2 (baseado em difusão transformer), gera-se uma sequência de vídeo coerente condicionada tanto na imagem original (para consistência visual) quanto na legenda gerada (para guiar a dinâmica e o movimento).
4. Geração de Áudio (Opcional): Um modelo de geração de áudio (VTA-LDM) pode sintetizar uma trilha sonora sincronizada com base no vídeo e no texto, embora o foco principal do artigo seja visual.
5. Geração de Máscaras (Segmentação): Para tarefas de segmentação, máscaras precisas são geradas na imagem inicial usando o SAM2 (Segment Anything Model) e propagadas através dos quadros do vídeo gerado usando o MUG-VOS, garantindo consistência temporal das máscaras.

B. Estratégia de Anotação e Raciocínio (VQA)

Diferente de abordagens tradicionais que usam apenas legendas ou instruções simples, o pipeline gera três tipos de supervisão estruturada:

• Contagem de Objetos: O LLM extrai contagens precisas de instâncias de objetos presentes na cena.
• Pares Pergunta-Resposta (VQA): O sistema gera perguntas específicas sobre o conteúdo visual (ex: "Quantos trens há?", "O que o homem carrega?"), forçando o modelo a raciocinar sobre evidências visuais, atributos e relações temporais, em vez de apenas descrever a cena.
• Legenda Descritiva: Descrições temporais da progressão da cena.

C. Treinamento

O modelo base utilizado é o InternVideo2.5. Os autores realizam fine-tuning usando três configurações para comparar a eficácia dos sinais de supervisão:

1. Apenas legendas (padrão).
2. Legendas + pares VQA.
3. Apenas pares VQA.

3. Principais Contribuições

1. Pipeline Unificado "All-in-One": Um sistema que gera automaticamente texto, vídeo, máscaras de segmentação e (opcionalmente) áudio a partir de uma única imagem, garantindo consistência semântica entre todas as modalidades.
2. Estratégia de Fine-tuning Baseada em VQA: Introdução de uma abordagem de treinamento que prioriza perguntas estruturadas sobre o conteúdo visual para melhorar a capacidade de raciocínio composicional e o "grounding" visual, superando as limitações de modelos treinados apenas com legendas.
3. Validação em Tarefas Desafiadoras: Demonstração de que dados sintéticos podem ser usados eficazmente para treinar modelos em três tarefas complexas: contagem de objetos em vídeo, VQA baseada em vídeo e segmentação de objetos em vídeo.

4. Resultados Experimentais

Os experimentos foram conduzidos gerando cerca de 5.000 vídeos sintéticos a partir do MSCOCO e avaliando o desempenho em benchmarks reais (MS-COCO, LV-VIS, YouTube-VIS).

• Contagem de Objetos: O modelo fine-tuned com dados sintéticos (especialmente com supervisão VQA) superou consistentemente o modelo base. No conjunto de validação MS-COCO, o erro quadrático médio (MSE) caiu de 75,38 (base) para 27,21 (apenas VQA).
• Visual Question Answering (VQA): Houve melhoria significativa nas métricas de alinhamento semântico (CLIP-Score) e precisão de entendimento de palavras (WUP). O modelo com VQA alcançou um CLIP-Score de 90,23 no MS-COCO, comparado a 87,37 do modelo base.
• Segmentação de Objetos: O uso de dados sintéticos para fine-tuning do SAM melhorou a média de IoU (mIoU) de 0,4711 para 0,5239. Aumentar o volume de dados sintéticos de 2K para 5K vídeos resultou em ganhos adicionais de desempenho, demonstrando a escalabilidade da abordagem.
• Generalização: Apesar de treinados predominantemente em dados sintéticos, os modelos generalizaram bem para dados reais, muitas vezes superando contrapartes treinadas tradicionalmente.

5. Significado e Conclusão

O trabalho demonstra que pipelines de dados sintéticos unificados são uma alternativa viável, escalável e econômica à anotação manual cara para o treinamento de modelos multimodais de vídeo.

• Superação do "Gap" Sintético-Real: Mesmo com imperfeições menores nos vídeos gerados, a diversidade controlada e a consistência temporal das anotações sintéticas permitem que os modelos aprendam princípios de raciocínio multimodal mais robustos, evitando o overfitting a viéses de datasets reais específicos.
• Foco no Raciocínio: A estratégia de usar VQA em vez de apenas legendas força o modelo a entender relações espaciais, temporais e causais, melhorando a compreensão profunda do vídeo.
• Futuro: Os autores planejam expandir o framework para cenários áudio-visuais completos, integrando áudio sintético para raciocínio multimodal ainda mais rico.

Em resumo, o artigo valida que a geração sintética controlada não é apenas um substituto para dados reais, mas uma ferramenta poderosa para melhorar a capacidade de raciocínio e generalização de modelos de IA multimodal.