Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

Resumo Técnico: Localização Espaço-Temporal Eficiente com Grandes Modelos Multimodais via Rastreamento de Segundo Nível e Verificação por RL

1. Definição do Problema

A localização espaço-temporal de vídeos (STVG - Spatio-Temporal Video Grounding) exige que um modelo localize uma consulta em linguagem natural tanto no tempo (identificando o intervalo do evento) quanto no espaço (rastreando o alvo referido ao longo desse intervalo). Embora os Grandes Modelos de Linguagem Multimodais (MLLMs) possuam fortes capacidades de raciocínio, aplicar-lhes diretamente a localização em vídeos longos via inferência quadro a quadro é computacionalmente proibitivo e instável.

Os principais desafios identificados são:

• Custo Computacional: A amostragem densa ao nível de quadros cria uma explosão de tokens visuais, tornando o processamento de vídeos longos caro.
• Instabilidade: A geração direta de coordenadas densas frequentemente leva ao "drift" (deriva), onde o modelo perde o rastreamento da identidade do alvo ou produz trajetórias trêmulas devido a pequenos erros numéricos em caixas geradas via texto.
• Descompasso de Supervisão: O ajuste fino supervisionado (SFT) padrão otimiza a verossimilhança do token (token likelihood) em vez de métricas específicas da tarefa, como sobreposição temporal ou consistência da trajetória espacial.

2. Metodologia

Os autores propõem um pipeline prático que desloca a unidade de raciocínio do quadro para o segundo, aliado a uma estratégia de treinamento de três estágios e verificação por aprendizado por reforço (RL).

A. Formulação de Segundo Nível
Em vez de processar $T$ quadros, o vídeo é convertido em $K$ unidades de nível de segundo ($K = \lceil T/F \rceil$).

• Entrada: O modelo processa unidades de vídeo agregadas por segundo.
• Saída: O modelo prevê um intervalo temporal $[\hat{t}_s, \hat{t}_e]$ e uma trajetória compacta $\hat{B}$ composta por uma caixa delimitadora (bounding box) por segundo.
• Suavização: Um passo de suavização inter-segundo leve é aplicado durante a inferência para restaurar a continuidade e reduzir o tremor, preservando as fronteiras temporais previstas.

B. Pipeline de Treinamento de Três Estágios
O método utiliza uma arquitetura do tipo GLM-V treinada através de três estágios distintos:

1. Pré-treinamento Contínuo (CPT):

   • Objetivo: Construir habilidades amplas de localização espaço-temporal.
   • Dados: Uma mistura de dados de STVG, Rastreamento de Múltiplos Objetos (MOT), Rastreamento de Objeto Único (SOT) e dados de segmentação.
   • Estratégia: Os vídeos são amostrados a 1 FPS para corresponder à formulação de nível de segundo. Dados de legendagem de vídeo e QA geral são incluídos para evitar que o modelo colapse em uma tarefa estreita de previsão de coordenadas, preservando as habilidades gerais de conversação e raciocínio.

2. Ajuste Fino Supervisionado (SFT) com Raciocínio Corrigido:

   • Objetivo: Ensinar seleção estruturada de alvos e raciocínio temporal.
   • Dados: 20 mil exemplos de VidSTG e HC-STVG.
   • Mecanismo: MLLMs avançados (ex: Gemini) geram traços de Cadeia de Pensamento (CoT) focando no que rastrear e quando o evento ocorre.
   • Correção: Crucialmente, as coordenadas espaciais e os intervalos temporais gerados na saída final são substituídos por anotações de verdade fundamental (ground-truth). Isso separa o raciocínio semântico útil da geometria gerada não confiável, garantindo que o modelo aprenda o processo de raciocínio correto sem ser penalizado pelo ruído geométrico nos dados de treinamento.

3. Aprendizado por Reforço (RL) com Verificador:

   • Objetivo: Otimizar diretamente a qualidade da localização.
   • Função de Recompensa: Um verificador pontua as previsões usando uma soma ponderada de:
     • tIoU: Interseção sobre União Temporal (sobreposição entre as janelas de tempo previstas e a verdade fundamental).
     • mvIoU: IoU espacial consciente de movimento (média do IoU das caixas sobre a interseção temporal correspondente).
   • Otimização: A política é otimizada usando um objetivo do tipo GRPO com clipping assimétrico. A recompensa combinada ($tIoU + mvIou$) fornece um sinal de aprendizado mais denso do que o uso apenas de recompensas de movimento, ajudando o modelo a primeiro localizar a janela de evento correta antes de refinar a trajetória.

C. Inferência
O modelo gera uma resposta estruturada contendo o intervalo temporal e a trajetória de nível de segundo. Estados inválidos são descartados e a suavização inter-segundo é aplicada. A saída pode permanecer na granularidade de segundo ou ser interpolada de volta para caixas de nível de quadro, se exigido por um benchmark.

3. Principais Contribuições

• Formulação de Rastreamento de Segundo Nível: Uma mudança de unidades de nível de quadro para nível de segundo que reduz significativamente o comprimento da sequência e os custos de tokens visuais, mantendo a estrutura do evento e a continuidade do rastreamento via suavização.
• Supervisão de Raciocínio Corrigido: Uma estratégia de treinamento que utiliza traços de CoT gerados para raciocínio semântico, mas substitui as coordenadas geradas pela verdade fundamental, evitando que o modelo aprenda com supervisão geométrica ruidosa.
• RL Baseado em Verificador: Um estágio de otimização usando um verificador baseado em $tIoU + mvIoU$ para alinhar a saída do modelo diretamente com as métricas de avaliação de STVG, em vez de depender apenas da verossimilhança do token.
• Modelo de Alto Desempenho e Eficiente: Demonstração de que um modelo de 9 bilhões de parâmetros alinhado à tarefa pode superar modelos generalistas significativamente maiores (ex: Qwen3.5 de 397B) em tarefas de STVG.

4. Resultados Experimentais

O método foi avaliado nos benchmarks VidSTG e HC-STVG, bem como no Video-MME-v2 para avaliar a compreensão geral de vídeo.

• Desempenho em STVG:

  • No VidSTG, o modelo final de RL alcançou um mtIoU de 31,35 e um mvIoU de 23,79, superando todos os baselines, incluindo modelos de 397B e 1T de parâmetros.
  • No HC-STVG, o modelo alcançou um mtIoU de 60,04 e um mvIoU de 40,99, novamente superando modelos generalistas maiores.
  • A progressão do SFT para o RL mostrou que, enquanto o SFT adapta o formato, o RL melhora significativamente o alinhamento das métricas. A recompensa combinada ($tIoU + mvIou$) convergiu mais rápido e rendeu melhores resultados do que o $mvIoU$ isolado.

• Compreensão Geral de Vídeo:

  • A avaliação no Video-MME-v2 mostrou que o modelo melhorou em relação ao baseline GLM-4.1V-Thinking tanto em raciocínio não linear (12,6 vs. 9,4) quanto em precisão simples (28,0 vs. 23,7), indicando que o pipeline de treinamento não sofreu overfitting para localização em detrimento do raciocínio geral.

• Estudos de Ablação:

  • Sensibilidade de FPS: O treinamento a 1 FPS rendeu os melhores resultados, equilibrando custo e evidência temporal.
  • Design de Recompensa: A combinação de recompensas temporais e conscientes de movimento foi crítica; o uso apenas de recompensas de movimento resultou em sinais de aprendizado inicial mais fracos.

5. Significância e Alegações

O artigo afirma que o gargalo em MLLM-baseado em STVG não é meramente a escala do modelo, mas a formulação da tarefa e o design do sinal de supervisão. Ao desacoplar o raciocínio semântico da geração geométrica e otimizar diretamente para as métricas da tarefa via RL, os autores demonstram que um modelo menor e especializado pode alcançar desempenho superior em localização de vídeos longos comparado a modelos generalistas massivos.

Os autores posicionam este trabalho como uma solução prática para a "peça faltante" no STVG baseado em MLLM: lidar com vídeos longos de forma eficiente enquanto produzem localização temporal e espacial utilizável e estável. Eles observam que, embora o método seja eficaz, trabalhos futuros podem estender essas capacidades de raciocínio para tarefas mais amplas, como análise de eventos e agentes de vídeo interativos, ou adaptar a abordagem para ambientes de mundo aberto mais ruidosos e em tempo real.