Resumo Técnico: GuideMe

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado fortes capacidades na compreensão de vídeo offline, sua habilidade de funcionar como coaches procedimentais em tempo real permanece inexplorada. Um verdadeiro coach procedimental deve operar em um loop fechado de interação: monitorando continuamente a execução de um usuário, detectando desvios ou erros em tempo real e fornecendo orientação corretiva para direcionar o usuário de volta ao caminho certo. Os conjuntos de dados e benchmarks existentes focam primariamente em anotações offline, instruções em nível de etapa ou rótulos de erro post-hoc. Nenhum suporta a avaliação de um ciclo de coaching completo e ativo sob restrições de streaming realistas, onde o assistente deve decidir proativamente quando intervir, o que aconselhar e se o usuário errou, tudo isso sem acesso a informações futuras.

Metodologia

1. O Benchmark GuideMe

Os autores introduzem o GuideMe, o primeiro benchmark de streaming multidomínio projetado para avaliar capacidades de correção em loop fechado em tarefas procedimentais.

• Escala e Escopo: O conjunto de dados compreende 2.458 vídeos (223,7 horas) abrangendo quatro domínios diversos: culinária, manipulação de objetos, orientação de vida cotidiana e fitness.
• Amostras de Interação: Contém 47.775 amostras de interação capturando quatro comportamentos distintos de assistência:
  1. Emitir instruções da próxima etapa.
  2. Fornecer feedback de conclusão para execução correta.
  3. Detectar erros de execução.
  4. Oferecer orientação corretiva para corrigir erros.
• Pipeline de Anotação: Um pipeline automatizado escalável de três estágios foi desenvolvido:
  • Extração de Atividade Instrucional: Anotações brutas de nível de etapa são extraídas, mescladas e categorizadas em ações corretas, erradas ou de correção com base em grafos de tarefas de origem.
  • Geração de Conhecimento: LLMs geram descrições de tarefas e sequências de etapas canônicas a partir das atividades extraídas, usando amostragem paralela e refinamento por consenso para garantir consistência lógica.
  • Geração de Conversa: Diálogos naturais são gerados alinhados com as fronteiras de ação, criando instruções pré-ação e feedback pós-ação (seja confirmação ou correção).

2. Protocolo de Inferência

A avaliação simula um cenário causal estrito onde o modelo observa um fluxo contínuo de vídeo via uma janela deslizante (padrão de 60 segundos) e histórico completo de diálogo. O modelo deve decidir proativamente em cada timestamp se permanece em silêncio ou gera uma resposta.

• Estratégia de Amostragem: Os autores empregam amostragem baseada em âncoras (Anchor-Based sampling), consultando o modelo em timestamps de intervenção de verdade fundamental (ground-truth) e um número igual de intervalos de silêncio para evitar o desequilíbrio de classes inerente à amostragem densa.

3. Estrutura de Avaliação

Uma estrutura de três componentes é proposta para avaliar o desempenho além da simples geração de texto:

1. Correspondência Bipartida Temporal-Semântica: Mede o alinhamento de sequência resolvendo um problema de correspondência bipartida de peso mínimo entre as respostas geradas e as de referência. Calcula o Soft-F1 (sPrecision, sRecall) usando embeddings semânticos e penalidades de distância temporal, permitindo equivalência semântica em vez de correspondência exata de strings.
2. Classificação Comportamental: Avalia o tempo de intervenção em nível de instância. Os resultados são categorizados como:
   • Silêncio Correto (CS - Correct Silent): Permanecer em silêncio corretamente.
   • Falso Alarme (FA - False Alarm): Falar quando o silêncio é necessário.
   • Sem Resposta (NR - No Response): Falhar em falar quando a intervenção é necessária.
   • Parcialmente Correto (PC - Partly Correct): Falar no momento certo.
     Estes são agregados em uma métrica de Pontuação (Score) que recompensa o silêncio correto e intervenções de alta qualidade, enquanto penaliza falsos alarmes e intervenções perdidas.
3. LLM-como-Juiz (LLM-as-a-Judge): Avalia a qualidade do conteúdo dos pares predição-referência correspondidos em uma escala de 0–5 (reescalonada para 0–100) baseada em relevância, plausibilidade factual e raciocínio causal.

Principais Resultados

Experimentos extensivos foram conduzidos em modelos proprietários (ex: Gemini 3.1 Pro, GPT-5.2, Doubao), MLLMs de código aberto (ex: série Qwen3-VL) e modelos de streaming especializados (ex: VideoLLM-online, Dispider).

• Assimetria de Desempenho: Uma descoberta crítica é a assimetria de capacidades. Os modelos geralmente performam razoavelmente em entrega de instrução básica (fornecer próximos passos), mas falham significativamente em detecção de erro e orientação corretiva.
• Modos de Falha: Os modelos tendem a se polarizar em dois modos de falha:
  • Agressivo: Intervêm frequentemente, mas geram muitos falsos alarmes (ex: VideoLLM-online).
  • Conservador: Permanecem em silêncio excessivamente, perdendo intervenções necessárias (ex: Dispider, MMDuet2).
• Lacunas Quantitativas: Mesmo os modelos com melhor desempenho lutam com o loop fechado. Por exemplo, o Gemini 3 Pro alcança um alto sF1 de instrução (42.0), mas cai significativamente em detecção de erro (33.8) e correção (34.3). A maior Pontuação (Score) geral (45.7) foi alcançada pelo Qwen3.5-397B-A17B, em grande parte devido a uma estratégia conservadora que minimiza falsos alarmes, mas ainda assim perde uma parte significativa das intervenções necessárias.
• Impacto do Ajuste Fino (Fine-Tuning): O ajuste fino no conjunto de treinamento do GuideMe melhorou o alinhamento temporal (o sF1 aumentou de 35.7 para 39.7 para o Qwen3-VL-8B), mas deslocou o comportamento para ser mais conservador, aumentando as intervenções perdidas (NR) enquanto reduzia os falsos alarmes.
• Sensibilidade ao Contexto: Remover o histórico de diálogo de verdade fundamental e depender das próprias predições do modelo leva a uma degradação acentuada no desempenho, indicando que o acúmulo de erros no histórico do diálogo impacta severamente a capacidade do modelo de realizar o coaching de forma eficaz.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Benchmark GuideMe: O primeiro benchmark de streaming multidomínio que unifica diversas tarefas procedimentais em um framework de avaliação de loop fechado, cobrindo o ciclo completo de instruir-observar-corrigir.
2. Pipeline de Anotação e Avaliação: Um pipeline de anotação de três estágios escalável para transformar conjuntos de dados heterogêneos em amostras de interação de streaming, pareado com um rigoroso framework de avaliação de três componentes (Correspondência Temporal-Semântica, Classificação Comportamental e LLM-como-Juiz) adaptado para orientação proativa.
3. Identificação de uma Lacuna de Capacidade: O estudo revela uma limitação fundamental nos MLLMs atuais: embora eles possam descrever o que deveria acontecer (conhecimento procedimental), eles atualmente são incapazes de realizar o coaching de forma eficaz com base no que está realmente acontecendo (detecção de erro e correção em tempo real).

Os autores concluem que o GuideMe serve como um campo de teste prático para o desenvolvimento de assistentes de IA que vão além da narração passiva em direção ao coaching procedimental genuinamente interativo, destacando que a habilidade de decidir quando falar e como corrigir é o desafio definidor para pesquisas futuras.