Pause and Think: A Dataset and Benchmark for Video-Grounded Assistive Action Suggestion

Resumo Técnico: Pause-and-Think: Um Conjunto de Dados e Benchmark para Sugestão de Ação Assistiva Baseada em Vídeo

Definição do Problema
Modelos de Visão-Linguagem (VLMs) recentes demonstram capacidades perceptivas e conversacionais robustas, mas enfrentam dificuldades com o raciocínio acionável fundamentado em vídeo. Embora modelos de fronteira consigam identificar objetos, eles frequentemente falham em gerar instruções concisas, conscientes do contexto e temporalmente consistentes para tarefas de múltiplos passos (ex: "O que devo fazer a seguir?"). Os benchmarks existentes baseiam-se primariamente em questões de múltipla escolha que testam o reconhecimento, em vez da capacidade de produzir orientação de forma livre e fundamentada. Além disso, modelos de grande escala frequentemente sofrem de deriva contextual, verbosidade e alucinações, tornando-os ineficientes para agentes assistivos de implantação em borda (edge) em tempo real.

Metodologia
Os autores introduzem um framework centrado em raciocínio composto por um novo conjunto de dados, um benchmark e uma estratégia de ajuste fino (fine-tuning) projetada para impor o comportamento "pause-and-think" (pausar e pensar) em modelos compactos.

1. Construção do Conjunto de Dados (Pause-and-think-T):

   • Fonte: Derivado de três conjuntos de dados de vídeo em larga escala (Epic-Kitchens, Assembly101, Ego4D) cobrindo perspectivas egocêntricas e exocêntricas.
   • Pipeline: Vídeos brutos e anotações passam por um refinamento de três estágios:
     • Refinamento de Anotação: Um modelo multimodal (gpt-oss-120b) corrige inconsistências temporais e organiza ações em fases orientadas a objetivos sem acesso aos frames do vídeo (refinamento apenas de texto).
     • Segmentação de Vídeo: Vídeos longos são recortados em segmentos de 5 a 20 segundos representando transições específicas de tarefas.
     • Geração de QA de Raciocínio: Utilizando o Qwen3-VL-235B, o sistema gera pares conversacionais estruturados. Crucialmente, as respostas são decompostas em duas partes: um segmento <thinking> (raciocínio intermediário fundamentado em evidência visual) e um segmento <answer> (instrução concisa e acionável).
   • Escala: O conjunto de treinamento final contém aproximadamente 10.051 instâncias de QA de alta qualidade e estrutura de raciocínio, equilibradas entre compreensão de cena e planejamento de objetivos.

2. Benchmark (Pause-and-think-B):

   • Um benchmark curado de 300 amostras projetado para avaliar a compreensão contextual e o planejamento de objetivos em ambientes impulsionados por vídeo. Inclui um subconjunto desafiador de casos de falha de modelos de fronteira para testar a robustez.

3. Protocolo de Treinamento:

   • Os autores realizam o ajuste fino de um modelo compacto de 4 bilhões de parâmetros (Qwen3-VL-4B) no conjunto de dados Pause-and-think-T.
   • O objetivo do treinamento incentiva o modelo a estruturar internamente a inferência em torno do estágio de raciocínio antes de gerar a resposta final, sem expor a cadeia de raciocínio durante a inferência.
   • Experimentos comparam modelos treinados com o componente <thinking> (T) versus aqueles sem ele (NT), e contra modelos de fronteira (ex: GPT-5.2, Qwen3-VL-235B).

Principais Contribuições

• Pause-and-think-T & B: Introdução de um conjunto de dados de treinamento centrado em raciocínio (~10k amostras) e um benchmark especificamente voltado para sugestão de ação assistiva, indo além do reconhecimento baseado em múltipla escolha para orientação de forma livre e fundamentada.
• Desempenho Pareto-Eficiente: Demonstração de que a supervisão de raciocínio direcionada em um conjunto de dados pequeno e de alta qualidade permite que um modelo de 4B alcance desempenho competitivo com sistemas de escala de fronteira (ex: Qwen3-VL-235B, GPT-5.2) utilizando 59× menos parâmetros.
• Redução de Verbosidade e Deriva: Evidência de que a supervisão de raciocínio estruturado reduz significativamente a deriva contextual e a verbosidade, produzindo instruções concisas, amigáveis ao usuário e fiéis ao contexto.

Resultos Experimentais

• Desempenho no Benchmark: O modelo ajustado de 4B atinge 58,0% de acurácia no benchmark Pause-and-think-B, igualando o GPT-5.2 (58,9%) e superando o GPT-4o (50,3%) e o Qwen3-VL-235B (58,9% com 59× mais parâmetros).
• Impacto do Raciocínio: Modelos treinados com a supervisão <thinking> (T) superam consistentemente seus equivalentes sem pensamento (NT) (58,0% vs. 54,67% para o modelo de 4B), particularmente em tarefas de planejamento orientado a objetivos.
• Generalização: O modelo mostra forte desempenho fora da distribuição (OOD) em benchmarks externos (TempCompass, EgoThink) sem treinamento específico. Notavelmente, supera o GPT-5.2 em raciocínio de ordem de eventos (+4,7%) e raciocínio situado (+11,0%) no EgoThink.
• Análise Qualitativa: O modelo ajustado pelo raciocínio exibe fundamentação espacial superior (orientação esquerda/direita, posicionamento relativo ao objeto) e robustez à oclusão em comparação com modelos de fronteira, que frequentemente dependem de vieses linguísticos ou alucinam etapas.
• Métricas de Utilidade: O modelo ajustado atinge a maior pontuação agregada de "utilidade" (0,760), impulsionada por uma concisão significativamente maior (0,806) enquanto mantém polidez competitiva.

Significância e Alegações
O artigo argumenta que a qualidade dos dados e a supervisão de raciocínio, em vez do mero escalonamento de parâmetros, são os principais motores para uma assistência eficaz fundamentada em vídeo. Ao impor um paradigma de "pause-and-think" através de supervisão estruturada, modelos compactos podem entregar orientação acionável e visualmente fundamentada, adequada para implantação em tempo real em dispositivos de borda. O trabalho desafia a necessidade de computação de escala de fronteira para agentes assistivos, mostrando que um modelo de 4B pode rivalizar com sistemas centenas de vezes maiores quando treinado em dados de alto sinal e estrutura de raciocínio. Os autores concluem que esta abordagem permite que os modelos generalizem além das distribuições de treinamento e realizem raciocínio temporal complexo sem exigir infraestrutura de Aprendizado por Reforço (RL) ou contagens massivas de parâmetros.