Resumo Técnico: ProcObject-10K

Declaração do Problema

Os benchmarks atuais para compreensão procedural em vídeos instrucionais são predominantemente centrados em ações. Eles modelam a estrutura procedural como sequências de ações ou eventos, frequentemente negligenciando o papel fundamental das transições de estado de objetos. Em tarefas procedurais do mundo real (por exemplo, culinária, montagem), o objetivo é alcançado por meio da transformação progressiva dos estados dos objetos sob interação humana. A mesma ação pode produzir resultados diferentes dependendo do estado inicial do objeto, o que, por sua vez, dita as ações subsequentes válidas.

Os conjuntos de dados existentes falham em avaliar se os modelos podem raciocinar sobre essas dinâmicas em nível de objeto. Enquanto alguns conjuntos de dados focam no rastreamento de objetos, carecem de estrutura procedural orientada a objetivos; inversamente, conjuntos de dados de vídeos instrucionais focam em sequências de ações sem modelar as dependências causais induzidas por mudanças no estado dos objetos. Consequentemente, os benchmarks atuais permitem que os modelos alcancem alto desempenho ao depender de priors linguísticos e padrões de ação, em vez de realizar raciocínio fino sobre como os objetos evoluem para completar uma tarefa.

Metodologia

1. O Benchmark PROCOBJECT-10K

Os autores introduzem o PROCOBJECT-10K, o primeiro benchmark projetado para avaliar conjuntamente o raciocínio centrado em objetos e o alinhamento temporal de evidências em vídeos instrucionais.

• Composição do Conjunto de Dados: O conjunto de dados compreende 10.522 pares de VideoQA de resposta aberta fundamentados em 1.799 clipes de vídeo abrangendo 137 tarefas em 9 domínios (incluindo visões egocêntricas e exocêntricas).
• Pipeline de Geração de Dados: Um pipeline semi-automático de quatro estágios foi empregado:
  1. Coleta: Vídeos foram curados a partir de conjuntos de dados existentes (CaptainCook4D, EgoPER, HoloAssist, COIN) conhecidos por interações complexas mão-objeto.
  2. Amostragem: Sequências de ações temporalmente contíguas foram amostradas para garantir coerência causal e aparência consistente dos objetos.
  3. Geração de QA: Modelos de Visão-Linguagem (VLMs) foram instruídos com legendas densas centradas em objetos e quadros esparsos para gerar perguntas, respostas e intervalos temporais de evidência de suporte.
  4. Verificação: Um processo rigoroso de filtragem removeu instâncias solucionáveis apenas pelo senso comum (apenas texto), verificou o alinhamento resposta-evidência via LLMs e incluiu revisão humana para refinar ambiguidades e garantir o alinhamento temporal.
• Taxonomia de Questões: O benchmark define cinco tipos de raciocínio centrados em dinâmicas de objetos:
  1. Alinhamento de Pré-condição: Identificação de estados de objetos necessários antes de uma ação.
  2. Evolução do Estado do Objeto: Rastreamento de como um objeto muda entre etapas.
  3. Raciocínio Contrafactual: Previsão de resultados se estados específicos de objetos fossem alterados.
  4. Reconhecimento de Erros: Identificação de erros no manuseio ou estado do objeto.
  5. Avaliação de Prontidão: Determinação se um objeto está no estado correto para a próxima etapa.

2. Ajuste Fino Supervisionado Centrado em Objetos (SFT)

Para abordar as lacunas de raciocínio identificadas, os autores propõem um framework de SFT que incentiva explicitamente os modelos a atender à evolução dinâmica de objetos relevantes para a ação.

• Construção de Pseudo-rótulos: Em vez de anotação manual, o framework usa um VLM para extrair frases-chave de objetos de pares de QA, que são então localizados em quadros de vídeo usando um modelo de detecção de objetos. Isso gera:
  • Máscaras Suaves em Nível de Patch: Supervisão espacial indicando sobreposição entre patches de imagem e objetos detectados.
  • Indicadores de Presença de Objeto: Supervisão temporal indicando quais quadros contêm objetos relevantes.
• Objetivos de Treinamento: A perda generativa padrão ($L_{gen}$) é aumentada com duas restrições auxiliares:
  • Restrição Espacial ($L_{spl}$): Incentiva o modelo a focar em patches de imagem que se sobrepõem a objetos de suporte.
  • Restrição Temporal ($L_{tmp}$): Incentiva o modelo a focar em quadros específicos onde ocorrem dinâmicas-chave de objetos.
• Inferência: As cabeças auxiliares são removidas durante a inferência para manter a eficiência, deixando um modelo com representações visuais centradas em objetos aprendidas.

Resultados Principais

1. A Lacuna entre Resposta e Alinhamento

A avaliação de 13 Grandes Modelos de Linguagem Multimodal (MLLMs) líderes revelou uma discrepância substancial:

• Respostas Plausíveis, Mau Alinhamento: Os modelos alcançaram pontuações razoáveis em perguntas de resposta aberta (baseadas em priors linguísticos), mas falharam em localizar as evidências temporais de suporte.
• Baixo Desempenho de Alinhamento: A Interseção sobre União média (mIoU) para alinhamento temporal permaneceu consistentemente abaixo de 45% em todos os modelos, mesmo para modelos proprietários e de código aberto em grande escala.
• Desempenho Cego de LLM: Modelos apenas de linguagem (por exemplo, GPT-5.4-Mini) alcançaram pontuações competitivas de resposta (pontuação LLM-como-Juiz ~3,14) sem entrada de vídeo, confirmando que os modelos atuais frequentemente contornam evidências visuais.

2. Impacto do SFT Centrado em Objetos

O modelo ajustado finamente com o framework de SFT centrado em objetos proposto (Qwen3-VL-4B) demonstrou melhorias significativas:

• Desempenho no Benchmark: Alcançou o maior desempenho na maioria das métricas, superando baselines muito maiores (por exemplo, modelos de 38B parâmetros) tanto em precisão de resposta quanto de alinhamento.
• Generalização:
  • VideoQA: O modelo ajustado finamente transferiu-se efetivamente para o benchmark MultiHop-EgoQA em configuração zero-shot, superando modelos ajustados especificamente nesse conjunto de dados.
  • Planejamento Embutido: Quando integrado como um planejador zero-shot no framework ALFRED, o modelo ajustado finamente melhorou a Taxa de Sucesso (SR) e as pontuações Condicionadas ao Objetivo (GC) em comparação com baselines zero-shot, indicando que o raciocínio centrado em objetos auxilia na execução de tarefas embutidas.

Significado e Alegações

O artigo alega que o PROCOBJECT-10K serve como uma ferramenta diagnóstica crítica, expondo a dependência dos MLLMs atuais de priors linguísticos em vez de dinâmicas finas de objetos. Os autores argumentam que:

1. A compreensão procedural requer raciocínio centrado em objetos: Sequências de ações isoladas são insuficientes; entender as dependências causais das transições de estado de objetos é fundamental para sistemas inteligentes que auxiliam em tarefas procedurais.
2. Supervisão explícita é necessária: O framework de SFT proposto demonstra que supervisionar explicitamente os modelos sobre dinâmicas de estado de objetos (via pseudo-rótulos e restrições espaço-temporais) é uma estratégia eficaz para fechar a lacuna entre resposta e alinhamento.
3. Transferibilidade: As representações centradas em objetos aprendidas a partir deste benchmark não se limitam ao próprio conjunto de dados, mas generalizam para outras tarefas de VideoQA fundamentadas e cenários de planejamento embutido, sugerindo valor mais amplo para a compreensão procedural em IA.

Os autores concluem que o PROCOBJECT-10K visa catalisar pesquisas futuras sobre raciocínio procedural centrado em objetos, integração mais estreita com agentes embutidos e o desenvolvimento de modelos de mundo que entendam melhor as transições de estado físico.