InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

1. O Problema

Os paradigmas atuais de Pré-treinamento Visão-Linguagem (VLP) são altamente eficazes na compreensão global de cenas, mas falham significativamente no raciocínio em nível de instância.

• Limitação Principal: A maioria dos modelos utiliza apenas supervisão global (alinhando todo o vídeo ou imagem com uma legenda), o que impede que o modelo identifique e distinga objetos ou entidades específicas mencionadas no texto.
• Consequência: Modelos treinados globalmente têm dificuldade em localizar regiões visuais correspondentes a termos específicos (ex: diferenciar "a bola" de "o cachorro" em uma cena complexa), limitando tarefas downstream como recuperação fina, grounding espaço-temporal e perguntas focadas em objetos.
• Desafio de Dados: A falta de grandes conjuntos de dados com anotações densas e grounded (ancoradas) para vídeos, que conectem descrições de frases livres a trajetórias espaciais e temporais específicas.

2. Metodologia

O trabalho propõe uma solução composta por um novo conjunto de dados e uma nova arquitetura de pré-treinamento.

A. O Conjunto de Dados: InstVL

Para suportar o treinamento, os autores criaram o InstVL, um conjunto de dados em larga escala contendo:

• Escala: 2 milhões de imagens e 50.000 vídeos.
• Anotações de Dupla Granularidade: Cada amostra possui:
  1. Legenda Global (Holística): Descreve a cena inteira.
  2. Legendas de Instância (Densas): Descrições de frases livres ancoradas a regiões específicas (caixas delimitadoras 2D em imagens) ou trajetórias espaço-temporais (sequências de caixas em vídeos).
• Pipeline de Criação: Utilizou detectores de vocabulário aberto (GroundingDINO) e rastreadores de instância (SAM2) para gerar as regiões, seguidos por um modelo de linguagem-vision grande (LVM) para gerar as descrições textuais. O conjunto inclui uma divisão de teste zero-shot (sourced de COYO) para garantir generalização.

B. O Framework: InstAP

O InstAP é um framework de pré-treinamento que otimiza conjuntamente o alinhamento global e o alinhamento contrastivo em nível de instância.

• Arquitetura: Utiliza um modelo Teacher-Student. O Teacher (um CLIP-ViT congelado) fornece representações semânticas de alto nível, enquanto o Student aprende através de:
  1. Modelagem de Vídeo Mascarado (Self-Supervised): Regressão de características em tokens não mascarados para aprender representações espaço-temporais robustas.
  2. Alinhamento Global: Perda contrastiva (VTC), de correspondência (VTM) e modelagem de linguagem mascarada (MLM) entre o vídeo inteiro e a legenda global.
  3. Alinhamento Consciente de Instância (O Núcleo da Inovação):
     • Extrai características de "crops" (recortes) de instâncias específicas e as funde com o contexto global via Atenção Cruzada Global-Local.
     • Introduz uma perda contrastiva específica (Inst-VTC) que força o modelo a alinhar a descrição textual de uma instância com suas características visuais correspondentes.
     • Mecanismo de Máscara Negativa: Para evitar falsos negativos (já que múltiplas instâncias no mesmo vídeo podem compartilhar palavras), o modelo ignora pares não correspondentes dentro do mesmo vídeo durante o cálculo da perda contrastiva de instância.

3. Contribuições Chave

1. InstVL Dataset: O primeiro recurso em larga escala e de domínio geral com anotações de frases livres para regiões estáticas e trajetórias de vídeo completas.
2. InstAP Framework: Uma abordagem de pré-treinamento que integra a compreensão de instâncias diretamente no núcleo do aprendizado de representações, em vez de tratá-la como uma tarefa auxiliar ou pós-processamento.
3. Descoberta de Sinergia: Demonstração de que o pré-treinamento focado em instâncias melhora a compreensão global. O modelo não apenas entende melhor os detalhes, mas também generaliza melhor em benchmarks globais.

4. Resultados Experimentais

Os resultados foram avaliados em benchmarks de recuperação, grounding e tarefas zero-shot.

• Recuperação em Nível de Instância (InstVL):
  • O InstAP superou significativamente os modelos State-of-the-Art (SOTA) e, crucialmente, superou uma linha de base forte (UMT-L) treinada exatamente no mesmo conjunto de dados.
  • Exemplo: Na recuperação de vídeo-para-texto (T2V R@1) em InstVL-1K (vídeo), o InstAP atingiu 60.63, enquanto a melhor linha de base (UMT-L com anotações globais e de instância tratadas como globais) atingiu apenas 40.38. Isso prova que o ganho vem da arquitetura de alinhamento, não apenas dos dados.
• Generalização Zero-Shot:
  • O InstAP alcançou desempenho competitivo ou superior em benchmarks padrão como MSR-VTT (41.1 R@1) e DiDeMo (54.0 R@1), superando o UMT-L original.
  • Isso refuta a ideia de que focar em detalhes degrada a visão global; pelo contrário, a representação dual-granular é mais robusta.
• Grounding Espacial-Temporal:
  • Em tarefas de localização de caixas (IoU), o InstAP superou a linha de base em todos os limiares. No conjunto de vídeo difícil, o IoU@90 saltou de 14.44 para 25.13.
• Estudos de Ablação:
  • A adição da perda de alinhamento de instância ($L_{inst}$) foi identificada como o componente crítico, gerando um aumento massivo na recuperação de instâncias (+17.61 pontos no recall médio em vídeos).
  • O uso de trajetórias temporais explícitas foi fundamental para o desempenho em vídeos.

5. Significado e Impacto

O trabalho InstAP representa um avanço significativo na área de Visão-Linguagem para vídeo ao:

• Resolver a lacuna de granularidade: Preenche a falta de modelos capazes de entender tanto o contexto da cena quanto as interações específicas entre objetos.
• Validar a importância da anotação densa: Mostra que anotações de instância, quando integradas corretamente no pré-treinamento, não são apenas úteis para tarefas específicas, mas elevam a qualidade geral da representação visual.
• Aplicações Práticas: O framework é particularmente relevante para aplicações que exigem precisão, como sistemas de direção autônoma (identificar pedestres vs. carros específicos), robótica e busca de vídeo por consultas complexas.

Em resumo, o InstAP demonstra que a compreensão de instâncias não deve ser um "remendo" (grafted-on) em modelos existentes, mas sim uma propriedade fundamental aprendida durante o pré-treinamento em larga escala.