GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video

Resumen Técnico: GuideMe

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado sólidas capacidades en la comprensión de video offline, su capacidad para funcionar como entrenadores de procedimientos en tiempo real permanece inexplorada. Un verdadero entrenador de procedimientos debe operar en un ciclo cerrado de interacción: monitorear continuamente la ejecución de un usuario, detectar desviaciones o errores en tiempo real y proporcionar orientación correctiva para guiar al usuario de vuelta al camino correcto. Los conjuntos de datos y benchmarks existentes se centran principalmente en anotaciones offline, instrucciones a nivel de paso o etiquetas de error post-hoc. Ninguno soporta la evaluación de un ciclo de entrenamiento activo y completo bajo restricciones de streaming realistas donde el asistente debe decidir proactivamente cuándo intervenir, qué aconsejar y si el usuario ha cometido un error, todo ello sin acceso a información futura.

Metodología

1. El Benchmark GuideMe

Los autores presentan GuideMe, el primer benchmark de streaming multidominio diseñado para evaluar las capacidades de corrección en ciclos cerrados en tareas procedimentales.

• Escala y Alcance: El conjunto de datos comprende 2,458 videos (223.7 horas) que abarcan cuatro dominios diversos: cocina, manipulación de objetos, guía de la vida diaria y fitness.
• Muestras de Interacción: Contiene 47,775 muestras de interacción que capturan cuatro comportamientos distintos del asistente:
  1. Emitir instrucciones del siguiente paso.
  2. Proporcionar retroalimentación de finalización para una ejecución correcta.
  3. Detectar errores de ejecución.
  4. Ofrecer orientación correctiva para solucionar errores.
• Pipeline de Anotación: Se desarrolló un pipeline automatizado escalable de tres etapas:
  • Extracción de Actividad Instruccional: Se extraen las anotaciones brutas a nivel de paso, se fusionan y se categorizan en acciones de tipo correcto, incorrecto o corrección basándose en grafos de tareas de origen.
  • Generación de Conocimiento: Los LLM generan descripciones de tareas y secuencias de pasos canónicos a partir de las actividades extraídas, utilizando muestreo paralelo y refinamiento por consenso para asegurar la consistencia lógica.
  • Generación de Conversación: Se generan diálogos naturales alineados con los límites de acción, creando instrucciones pre-acción y retroalimentación post-acción (ya sea confirmación o corrección).

2. Protocolo de Inferencia

La evaluación simula un entorno causal estricto donde el modelo observa un flujo de video continuo mediante una ventana deslizante (por defecto 60 segundos) y el historial completo de diálogo. El modelo debe decidir proactivamente en cada marca de tiempo si permanecer en silencio o generar una respuesta.

• Estrategia de Muestreo: Los autores emplean un muestreo basado en anclajes (Anchor-Based sampling), consultando al modelo en marcas de tiempo de intervención de la verdad de terreno (ground-truth) y en un número igual de intervalos de silencio para evitar el desequilibrio de clases inherente al muestreo denso.

3. Marco de Evaluación

Se propone un marco de tres componentes para evaluar el rendimiento más allá de la simple generación de texto:

1. Emparejamiento Bipartito Temporal-Semántico: Mide la alineación a nivel de secuencia resolviendo un problema de emparejamiento bipartito de peso mínimo entre las respuestas generadas y las de referencia. Calcula el Soft-F1 (sPrecision, sRecall) utilizando embeddings semánticos y penalizaciones de distancia temporal, permitiendo la equivalencia semántica en lugar de una coincidencia exacta de cadenas.
2. Clasificación de Comportamiento: Evalúa el tiempo de intervención a nivel de instancia. Los resultados se categorizan como:
   • Silencio Correcto (CS): Permanecer en silencio correctamente.
   • Falsa Alarma (FA): Hablar cuando se requiere silencio.
   • Sin Respuesta (NR): No hablar cuando se requiere intervención.
   • Parcialmente Correcto (PC): Hablar en el momento adecuado.
     Estos se agregan en una métrica de Puntuación (Score) que recompensa el silencio correcto y las intervenciones de alta calidad mientras penaliza las falsas alarmas y las respuestas omitidas.
3. LLM-como-Juez (LLM-as-a-Judge): Evalúa la calidad del contenido de los pares de predicción-referencia emparejados en una escala de 0 a 5 (reescalada a 0–100) basada en relevancia, plausibilidad fáctica y razonamiento causal.

Resultados Clave

Se realizaron experimentos extensos en modelos propietarios (ej. Gemini 3.1 Pro, GPT-5.2, Doubao), MLLMs de código abierto (ej. serie Qwen3-VL) y modelos de streaming especializados (ej. VideoLLM-online, Dispider).

• Asimetría de Rendimiento: Un hallazgo crítico es la asimetría en las capacidades. Los modelos generalmente se desempeñan razonablemente bien en la entrega de instrucciones básica (proporcionar los siguientes pasos), pero fallan significativamente en la detección de errores y la orientación correctiva.
• Modos de Fallo: Los modelos tienden a polarizarse en dos modos de fallo:
  • Agresivo: Intervienen con frecuencia pero generan muchas falsas alarmas (ej. VideoLLM-online).
  • Conservador: Permanecen en silencio con demasiada frecuencia, perdiendo intervenciones necesarias (ej. Dispider, MMDuet2).
• Brechas Cuantitativas: Incluso los mejores modelos sufren con el ciclo cerrado. Por ejemplo, Gemini 3 Pro logra un alto sF1 de instrucción (42.0) pero cae significativamente en detección de errores (33.8) y corrección (34.3). La puntuación (Score) más alta (45.7) fue alcanzada por Qwen3.5-397B-A17B, debido en gran medida a una estrategia conservadora que minimiza las falsas alarmas, aunque todavía pierde una parte significativa de las intervenciones requeridas.
• Impacto del Ajuste Fino (Fine-Tuning): El ajuste fino en el conjunto de entrenamiento de GuideMe mejoró la alineación temporal (el sF1 aumentó de 35.7 a 39.7 para Qwen3-VL-8B) pero desplazó el comportamiento hacia uno más conservador, aumentando las intervenciones omitidas (NR) mientras reducía las falsas alarmas.
• Sensibilidad al Contexto: Eliminar el historial de diálogo de la verdad de terreno y depender de las propias predicciones del modelo conduce a una degradación aguda del rendimiento, lo que indica que la acumulación de errores en el historial del diálogo impacta severamente la capacidad del modelo para entrenar eficazmente.

Significado y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Benchmark GuideMe: El primer benchmark de streaming multidominio que unifica diversas tareas procedimentales en un marco de evaluación de ciclo cerrado, cubriendo el ciclo completo de instruir-observar-corregir.
2. Pipeline de Anotación y Evaluación: Un pipeline de anotación escalable de tres etapas para transformar conjuntos de datos heterogéneos en muestras de interacción de streaming, junto con un riguroso marco de evaluación de tres componentes (Emparejamiento Temporal-Semántico, Clasificación de Comportamiento y LLM-como-Juez) adaptado para la guía proactiva.
3. Identificación de una Brecha de Capacidad: El estudio revela una limitación fundamental en los MLLM actuales: aunque pueden describir lo que debería suceder (conocimiento procedimental), actualmente son incapaces de entrenar eficazmente basándose en lo que realmente está sucediendo (detección de errores y corrección en tiempo real).

Los autores concluyen que GuideMe sirve como un banco de pruebas práctico para desarrollar asistentes de IA que vayan más allá de la narración pasiva hacia un entrenamiento de procedimientos genuinamente interactivo, destacando que la capacidad de decidir cuándo hablar y cómo corregir es el desafío definitorio para la investigación futura.