Resumo Técnico: Unindo VideoQA e Tarefas Agênticas Guiadas por Vídeo via Extração de Keyframes Generalizada

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham alcançado um sucesso significativo em benchmarks de Video Question Answering (VideoQA), os paradigmas de avaliação atuais focam amplamente na percepção de "baixo nível", como o reconhecimento de objetos, atributos e ações de curto prazo. Existe uma lacuna crítica em avaliar se os MLLMs podem aprender conhecimento procedural de "alto nível" de tutoriais em vídeo e generalizar esse conhecimento para resolver novas tarefas agênticas de longo horizonte.

Além disso, um gargalo compartilhado existe tanto em VideoQA quanto em tarefas agênticas guiadas por vídeo: a extração eficaz de conteúdo temporal relevante para a tarefa. Vídeos longos frequentemente contêm segmentos redundantes, enquanto evidências procedimentais cruciais podem ser breves. Estratégias de amostragem de frames ingênuas (por exemplo, amostragem uniforme) frequentemente perdem momentos críticos ou introduzem redundância excessiva, degradando o desempenho do raciocínio e a eficiência computacional.

2. Metodologia

2.1 VG-GUI-Bench: Um Novo Benchmark

Para abordar a falta de avaliação para compreensão de vídeo de alto nível, os autores introduzem o VG-GUI-Bench (Video-Guided GUI Benchmark).

• Objetivo: Avaliar se agentes de GUI baseados em MLLM podem seguir tutoriais em vídeo para completar tarefas interativas de GUI correspondentes.
• Estrutura: Cada entrada pareia um vídeo tutorial com uma tarefa de GUI específica que requer conhecimento procedural similar (por exemplo, navegar em uma interface para redefinir uma senha com base em uma demonstração em vídeo).
• Espaço de Ação: O benchmark define um espaço de ação padronizado incluindo CLICK, SCROLL, TYPE, PRESS (teclas do sistema), ZOOM e FINISH.
• Métricas:
  • Acurácia: Uma pontuação ponderada (0,3 para tipo de ação correto, 0,7 para argumentos corretos).
  • Conclusão: A proporção de etapas executadas corretamente por episódio.
  • Eficiência: O número médio de frames de entrada consumidos por etapa de predição.
  • Taxa de Melhoria de Desempenho (PIR): Mede o ganho em acurácia quando o vídeo é fornecido versus quando não há vídeo.

2.2 TASKER: Task-driven And Scene-aware Keyframe searchER

Os autores propõem o TASKER, um algoritmo de extração de keyframes generalizado que enquadra o problema como uma busca em grafo estruturado em árvore. Em vez de pré-computar características para todos os frames, o TASKER extrai informações seletivamente durante o processo de busca.

• Objetivo de Busca: Identificar um conjunto suficiente de keyframes cuja informação combinada permita ao modelo responder a uma pergunta ou completar uma tarefa agêntica.
• Expansão de Nós: O vídeo é inicialmente dividido em $M$ segmentos (nós). O algoritmo seleciona iterativamente um nó para expandir (subdividir) com base em uma função de custo.
• Funções de Custo e Variantes:
  • TASKER-GBFS (Greedy Best-First Search): Orientado pela Tarefa. O MLLM estima a "distância" até o destino (a resposta) identificando a informação visual ausente. Ele expande o segmento com maior probabilidade de conter essa informação ausente.
  • TASKER-Dijkstra: Consciente da Cena. O MLLM identifica segmentos com as mudanças de cena mais significativas (transições em cenas, figuras ou atividades). Estes são priorizados por serem considerados mais informativos.
  • TASKER-A*: Híbrido. Combina tanto a relevância da tarefa ($h(n)$) quanto a dinâmica da cena ($g(n)$), priorizando segmentos que satisfaçam ambos os critérios.
  • TASKER-BFS: Uma variante ingênua que realiza expansão em largura sem a avaliação de custo guiada pelo MLLM, utilizada quando o overhead do MLLM é uma preocupação.
• Terminação e Confiança: A terminação determinística tradicional é difícil para tarefas de vídeo de código aberto. O TASKER emprega um mecanismo de votação usando dois estimadores de confiança baseados em MLLM:
  1. Autoavaliação: O modelo reflete sobre sua própria resposta e cadeia de raciocínio para gerar um score de confiança.
  2. Sumarização Temporal: O modelo resume as legendas dos frames amostrados em uma visão geral coesa do vídeo e prediz a resposta novamente para gerar um segundo score de confiança.
     A busca termina apenas quando ambos os scores excedem um limiar $C$.
• Validação de Frames: Novos frames revelados são verificados quanto à redundância visual e relevância da tarefa. Frames redundantes são descartados, e segmentos que geram apenas frames redundantes são adicionados a um "conjunto congelado" para evitar reexploração.

3. Principais Contribuições

1. Taxonomia de Compreensão de Vídeo: Os autores propõem uma hierarquia de dois níveis conectando o VideoQA de baixo nível (percepção) com Tarefas Agênticas Guiadas por Vídeo de alto nível (aprendizado procedural e transferência), destacando o papel do "Aprendizado em Contexto de Vídeo".
2. VG-GUI-Bench: Um novo benchmark projetado para avaliar sistematicamente a transferência de conhecimento procedural de tutoriais em vídeo para interações de GUI, apresentando 1.000 casos de teste com espaços de ação padronizados.
3. Algoritmo TASKER: Um método de extração de keyframes zero-shot e livre de treinamento que trata a seleção de frames como um problema de busca em grafo generalizado. Ele equilibra dinamicamente a relevância da tarefa e a dinâmica da cena para identificar frames informativos.

4. Resultados Experimentais

Benchmarks de VideoQA

O TASKER foi avaliado no EgoSchema (fullset) e no NExT-QA.

• Desempenho: Usando o GPT-4 como LLM base, o TASKER alcançou 63,1% de acurácia no EgoSchema (superando o melhor baseline, VideoTree, por 2,0%) e 77,4% no NExT-QA (superando o melhor baseline por 1,8%).
• Eficiência: O TASKER processa apenas os frames visíveis. No EgoSchema, alcançou o mesmo nível de acurácia (66%) que o VideoTree utilizando apenas aproximadamente 1/4 dos frames.
• Generalização: O método superou consistentemente outros baselines (incluindo VideoAgent e VideoTree) mesmo utilizando MLLMs de código aberto (Qwen3-VL).

Resultados do VG-GUI-Bench

• Comparação com Baselines: No VG-GUI-Bench, o TASKER-A* alcançou a maior acurácia geral (40,96%) e a maior Taxa de Melhoria de Desempenho (0,618) entre os métodos de seleção de keyframes, superando o VideoTree e o VideoAgent.
• Conclusão de Tarefa: O TASKER-Dijkstra alcançou uma taxa de conclusão de 74,39%, aproximando-se do limite superior do "Oracle Keyframe" (76,32%), demonstrando a capacidade de eliminar efetivamente frames redundantes enquanto mantém uma alta conclusão de tarefa.
• Eficiência: As variantes do TASKER exigiram consistentemente menos frames por etapa em comparação com a amostragem uniforme e outros métodos de seleção dinâmica, ao mesmo tempo em que alcançaram maior acurácia.

5. Significância e Alegações

O artigo afirma que a extração de keyframes generalizada é um mecanismo crítico para preencher a lacuna entre o VideoQA superficial e tarefas agênticas complexas de longo horizonte. Ao formular a seleção de keyframes como um problema de busca em grafo impulsionado por MLLMs, o TASKER oferece uma solução livre de treinamento que melhora tanto a acurácia quanto a eficiência de frames.

Os autores enfatizam que sua abordagem fornece um mecanismo unificado para seleção de informação temporal aplicável tanto ao raciocínio (VideoQA) quanto à execução (Tarefas Agênticas). Os resultados sugerem que a compreensão eficaz de vídeo depende não apenas da capacidade do modelo, mas da seleção estratégica de conteúdo temporal informativo, uma capacidade que o TASKER aborda através de sua estratégia de busca orientada pela tarefa e consciente da cena. O trabalho destaca o potencial de tais métodos para permitir que modelos extraiam conhecimento acionável de vídeos e o apliquem a tarefas downstream sem a necessidade de retreinamento extensivo.