Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

Resumo Técnico: Raciocínio Espaçotempo-Aumentado por Ferramentas para Otimização de Questionamento de Vídeo

Definição do Problema
O Questionamento de Vídeo (VideoQA) serve como um benchmark crítico para avaliar se os modelos de fundação podem perceber, compreender e raciocinar sobre cenários dinâmicos do mundo real. No entanto, os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) enfrentam desafios significativos para modelar simultaneamente as relações espaciais dentro dos quadros de vídeo e compreender a dinâmica causal da evolução temporal. As abordagens atuais geralmente se dividem em duas categorias, ambas com limitações:

1. LLMs centrados em vídeo (Video-LLMs): Modelos como o Qwen-VL frequentemente exigem o processamento de um grande número de quadros de vídeo, levando a pipelines redundantes e ineficientes.
2. LLMs aumentados por ferramentas: Embora as ferramentas possam aprimorar o raciocínio, as implementações existentes sofrem de três problemas fundamentais:
   • Utilização Unidimensional: Elas focam tipicamente ou na dimensão espacial ou na temporal, falhando em modelar ambas simultaneamente.
   • Diversidade Desequilibrada de Ferramentas: Simplesmente aumentar o número de ferramentas introduz problemas de execução devido à incerteza inerente aos LLMs.
   • Agendamento Insuficiente: A falta de mecanismos de agendamento eficazes leva a uma invocação desordenada de ferramentas, causando "Atalhos de Cadeia de Ferramentas" (Toolchain Shortcuts), onde o modelo ignora o raciocínio profundo para responder diretamente, reduzendo a precisão e a eficiência.

Metodologia
Os autores propõem uma solução abrangente consistindo em um Kit de Ferramentas de Vídeo e um Framework de Raciocínio Espaçotempo-Espacial (STAR).

• Construção do Kit de Ferramentas de Vídeo:
  O kit é projetado com três princípios centrais: decompor tarefas nas dimensões temporal e espacial, integrar resultados de visão computacional via linguagem natural e suportar tanto o processamento ao nível de segmento quanto ao nível de quadro. Ele compreende aproximadamente 22 ferramentas plug-and-play categorizadas em:

  • Ferramentas Espaciais: Incluindo detecção de objetos (YOLO, Grounding DINO), utilização de caixas delimitadoras (conversão de texto, zoom de patch, marcadores visuais) e segmentação semântica.
  • Ferramentas Temporais: Incluindo seleção de quadros (baseada em raciocínio de LLM ou busca A*), localização temporal e corte de vídeo.
  • Ferramentas Gerais: Incluindo OCR, sumarização e modelos de linguagem-vídeo.
    Essas ferramentas são encapsuladas usando cartões de ferramentas padronizados para garantir a extensibilidade.

• Framework de Raciocência Espaçotempo-Espacial (STAR):
  O STAR é um framework agêntico, livre de treinamento, projetado para evitar Atalhos de Cadeia de Ferramentas e garantir a localização progressiva da Região de Interesse 3D (3D RoI) — o subconjunto específico do vídeo relevante para a pergunta através do tempo e do espaço.

  • Intercalação Espaçotempo-Espacial: Diferente de abordagens "desarticuladas" que processam o tempo e depois o espaço (ou vice-versa) sem feedback, o STAR impõe uma estratégia de invocação alternada. Se uma ferramenta temporal é usada, a próxima deve ser espacial, e vice-versa. Ferramentas gerais são reservadas como último recurso.
  • Dicionário de Quadros Visíveis: O framework mantém um dicionário ($V$) rastreando os índices dos quadros visíveis e as informações coletadas para cada um. Ferramentas temporais atualizam o dicionário selecionando quadros ou segmentos; ferramentas espaciais processam esses quadros e atualizam os dados correspondentes.
  • Processo Iterativo: O Planejador LLM observa os resultados, raciocina sobre o próximo passo e seleciona a ferramenta apropriada do conjunto restrito (temporal ou espacial) até que informações suficientes sejam coletadas para responder à pergunta.

Principais Contribuições

1. Kit de Ferramentas de Vídeo Abrangente: Um conjunto diversificado de 22 ferramentas plug-and-play cobrindo funcionalidades espaciais, temporais e gerais, projetado para aumentar as capacidades de raciocínio de MLLM enquanto equilibra quantidade e diversidade de ferramentas.
2. Framework STAR: Um novo framework de raciocínio que emprega a intercalação espaçotempo-espacial para invocar ferramentas alternadamente. Esta estratégia estreita progressivamente o espaço de busca para a 3D RoI, mimetizando o pensamento visual deliberado e evitando comportamentos de atalho.
3. Desempenho e Eficiência: O framework demonstra que aumentar o GPT-4o com ferramentas leves (usando modelos com menos de 3B de parâmetros) supera significativamente os baselines existentes tanto em precisão quanto em eficiência computacional.

Resultados Experimentais
Os autores avaliaram o STAR em quatro grandes benchmarks de VideoQA: VideoMME, LongVideoBench, NExT-QA e EgoSchema.

• VideoMME: O STAR alcançou uma melhora de 8,2% sobre o GPT-4o (usando 32 quadros) e superou o melhor Video-LLM de código aberto de 7B (InternVL3-8B) em 3,7%. Aproximou-se do desempenho de modelos de escala 72B enquanto reduzia o tempo de execução de 6–8 minutos para 15,8 segundos.
• LongVideoBench: O STAR melhorou o GPT-4o em 4,6%, mostrando força particular em segmentos de vídeo longos (180–600s) e extra-longos (900–3600s).
• NExT-QA: O STAR alcançou a maior precisão (82,1%) utilizando o menor número de quadros (7,2), superando tanto os Video-LLMs de 7B quanto outros métodos de seleção de quadros. No conjunto de validação, a variante leve (STAR-MINI) superou o DoraemonGPT em 6,3%.
• Estudos de Ablação: Comparações contra estratégias como "Sem Restrições", "Prompting" e "Desarticulação Espaçotempo-Espacial" confirmaram que a abordagem de intercalação espaçotempo-espacial produz o melhor equilíbrio entre precisão e eficiência de quadros, utilizando cadeias de ferramentas mais longas e diversas.

Significância e Alegações
O artigo afirma que o Kit de Ferramentas de Vídeo proposto e o framework STAR representam um passo importante para a construção de assistentes de análise de vídeo autônomos e inteligentes. Ao equipar MLLMs com um kit de ferramentas estruturado e extensível e um framework de raciocínio que impõe a localização progressiva de Regiões de Interesse 3D, o trabalho aborda as limitações dos modelos atuais no tratamento de raciocínio espaçotempo-espacial complexo. Os autores enfatizam que sua abordagem alcança alto desempenho usando ferramentas leves de código aberto, tornando-a escalável e eficiente em comparação com modelos massivos de muitos parâmetros.

Limitações observadas pelos autores: A implementação atual depende dos modelos OpenAI (GPT-4o/GPT-3.5) para o planejador, o que gera custos de API. O trabalho futuro visa substituir o planejador por modelos mais leves e integrar melhor o uso de ferramentas no processo de raciocínio. Adicionalmente, o sistema atual foca em conteúdo visual, deixando a integração de legendas e áudio para explorações futuras.