STORM: End-to-End Referring Multi-Object Tracking in Videos

Resumo Técnico: STORM

1. O Problema: Rastreamento Multi-Objeto Referido (RMOT)

O trabalho aborda o desafio do Rastreamento Multi-Objeto Referido (RMOT - Referring Multi-Object Tracking). Diferente do rastreamento tradicional, onde o modelo segue objetos pré-definidos ou todos os objetos na cena, o RMOT exige que o modelo identifique e rastreie apenas os objetos que correspondem semanticamente a uma expressão de referência textual (ex: "o homem de óculos escuros com um laptop" ou "as duas crianças correndo").

Os principais gargalos identificados na literatura atual são:

• Arquiteturas Modulares: Abordagens existentes geralmente separam a detecção (grounding) do rastreamento em módulos distintos, o que impede o raciocínio unificado sobre aparência, movimento e linguagem.
• Escassez de Dados: A falta de grandes conjuntos de dados de treinamento com anotações precisas de trajetórias e expressões textuais complexas limita o desempenho.
• Anotações Ambíguas: Conjuntos de dados existentes frequentemente contêm descrições vagas ou não especificam qual instância de uma classe deve ser rastreada.

2. Metodologia

O artigo propõe o STORM (Spatial-Temporal Object Referential Model), a primeira arquitetura end-to-end baseada em Modelos de Linguagem Multimodal (MLLM) para RMOT.

A. Arquitetura do Modelo

• Base MLLM: O STORM utiliza uma arquitetura estilo LLaVA, combinando um codificador visual (ViT baseado em NaViT para suportar resoluções arbitrárias) e um Grande Modelo de Linguagem (LLM, baseado em LLaMA).
• Processamento Unificado: O modelo recebe frames de vídeo e uma expressão textual. Ele extrai tokens visuais e os projeta no espaço textual. O LLM gera, de forma autoregressiva, as caixas delimitadoras (bounding boxes) de todos os objetos mencionados em cada frame, formatando a saída como texto estruturado (ex: "Objeto 1: Frame 1: [x1, y1, x2, y2], Frame 2: ...").
• Vantagem: Elimina a necessidade de detectores externos ou cabeças de rastreamento dedicadas, permitindo que o modelo raciocine sobre a correspondência entre linguagem e entidades visuais ao longo do tempo.

B. Estratégia de Aprendizado por Composição de Tarefas (TCL)
Para contornar a escassez de dados específicos de RMOT, os autores propõem o TCL (Task-Composition Learning):

1. Fase 1 (Pré-treinamento em Subtarefas): O modelo é treinado em grandes conjuntos de dados disponíveis publicamente para:
   • Grounding de imagem (associar texto a regiões em imagens estáticas).
   • Rastreamento de Objeto Único (SOT) e Rastreamento de Objeto Único Referido (RSOT).
   • Isso ensina o modelo a alinhar linguagem com espaço e a manter consistência temporal.
2. Fase 2 (Ajuste Fino Específico): O modelo é ajustado finamente em um pequeno conjunto de dados específico de RMOT (STORM-Bench), utilizando uma estratégia de Cadeia de Pensamento (Chain-of-Thought). O modelo é guiado a primeiro localizar os objetos no frame inicial e, em seguida, traçar suas trajetórias, aprendendo a composição estruturada das tarefas.

C. Construção do Dataset: STORM-Bench
Os autores criaram um novo dataset de alta qualidade para superar as limitações dos existentes:

• Pipeline de Anotação "Bottom-Up": Ao contrário de métodos "top-down" que geram caixas e depois tentam descrevê-las, o STORM-Bench primeiro localiza objetos, gera legendas detalhadas para cada um e, em seguida, sintetiza expressões de referência multi-objeto complexas usando um LLM.
• Verificação Rigorosa: Um processo de verificação com LLM garante que as expressões correspondam unicamente aos objetos e que as caixas estejam corretas, filtrando alucinações.
• Estatísticas: Contém ~15k vídeos, 0.2M expressões de referência diversas e 73.7k objetos rastreados, cobrindo 80 classes e cenários do mundo real (não apenas pedestres e veículos).

3. Resultados Principais

Os experimentos demonstram que o STORM atinge o estado da arte (SOTA) em várias tarefas:

• Grounding de Imagem: Supera modelos existentes (como Shikra, Ferret) em benchmarks como RefCOCO, RefCOCO+ e RefCOCOg, demonstrando que o treinamento em vídeo não degrada a capacidade de localização estática.
• Rastreamento de Objeto Único Referido (RSOT): No dataset Elysium, o STORM supera o modelo Elysium, especialmente quando as prompts são enriquecidas e mais complexas, validando a transferência de conhecimento via TCL.
• Rastreamento Multi-Objeto Referido (RMOT): No dataset STORM-Bench, o STORM supera drasticamente as abordagens baseadas em detectores (Grounding DINO, Qwen2.5-VL) e modelos especializados (LaMOT).
  • Métricas: Atingiu +21.2 pontos de HOTA e +31.2 pontos de IDF1 em comparação com o segundo melhor método.
  • Robustez: O modelo consegue lidar com oclusões, mudanças de escala e expressões relacionais complexas (ex: "o objeto à esquerda do outro"), onde modelos baseados em detecção falham em manter a identidade ou a precisão espacial.

4. Contribuições Chave

1. STORM: O primeiro framework MLLM end-to-end para RMOT que unifica grounding e rastreamento sem módulos externos.
2. Estratégia TCL: Uma metodologia eficiente que permite que modelos aprendam tarefas complexas de RMOT utilizando grandes quantidades de dados de subtarefas (grounding/SOT) e apenas uma pequena quantidade de dados específicos, reduzindo drasticamente o custo de anotação.
3. STORM-Bench: Um novo dataset de referência de alta qualidade com expressões não ambíguas e trajetórias precisas, essencial para o avanço da área.
4. Desempenho SOTA: Evidência empírica de que a unificação de raciocínio linguístico e temporal em um único modelo supera as abordagens modulares tradicionais.

5. Significado e Impacto

O trabalho representa um avanço significativo na interseção entre visão computacional e processamento de linguagem natural. Ao demonstrar que um MLLM pode aprender a rastrear múltiplos objetos baseados em descrições complexas sem depender de detectores tradicionais, o STORM abre caminho para:

• Sistemas de Interação Mais Naturais: Permitindo que usuários especifiquem objetos de interesse em vídeos de forma intuitiva e complexa.
• Eficiência de Dados: A estratégia TCL sugere um novo paradigma para treinar modelos multimodais complexos sem a necessidade de anotações massivas e caras para cada tarefa específica.
• Aplicações Práticas: Melhora a capacidade de sistemas de robótica, vigilância e análise de vídeo de entenderem cenas dinâmicas e interações entre objetos sob instruções linguísticas.

Em resumo, o STORM resolve o problema de fragmentação entre detecção e rastreamento, utilizando a capacidade de raciocínio dos LLMs para criar um sistema de percepção visual-temporal coeso e robusto.