Resumen Técnico: SERUM – Extracción y Refinamiento de Estados para el Modelado de Usuarios

Declaración del Probleo

Los asistentes de IA proactivos y personalizados requieren modelos estructurados de la intención y el flujo de trabajo del usuario. Sin embargo, la construcción de estos modelos a partir de video egocéntrico bruto y no estructurado sigue siendo un desafío significativo. Los enfoques existentes enfrentan dos limitaciones principales:

1. Dependencia de Taxonomías Predefinidas: Los métodos tradicionales de reconocimiento de actividades (por ejemplo, en EPIC-KITCHENS o Ego4D) dependen de taxonomías fijas y manuales, lo que impide manejar videos abiertos y no estructurados.
2. Limitaciones de la Anotación de Pasada Única: Aunque los Modelos de Visión-Lenguaje (VLM) pueden anotar fotogramas de video, la inferencia de pasada única sufre de alucinación y conflación temporal. Sin el contexto circundante, los VLM suelen colapsar actividades semánticamente distintas en etiquetas genéricas o fallan al inferir la intención subyacente de una acción, ya que el significado de un fotograma específico a menudo solo se aclara retrospectivamente.

La minería de procesos ofrece modelos de comportamiento estructurados, pero asume la existencia de registros de eventos limpios con tipos de eventos conocidos, lo cual no aplica al video bruto.

Metodología: El Marco de Trabajo SERUM

SERUM (State Extraction and Refinement for User Modeling) es un marco de trabajo de múltiples pasadas diseñado para extraer modelos de comportamiento interpretables y estructurados directamente de video de pantalla egocéntrico no estructurado sin anotación manual ni ontologías predefinidas.

Arquitectura Central

El marco opera en dos niveles complementarios:

• Acciones ($a_t$): Comportamientos observables de nivel medio (por ejemplo, "tirar de un repositorio git").
• Intenciones ($i_t$): Estados latentes dirigidos a objetivos inferidos a partir de secuencias de acciones (por ejemplo, "configurar un entorno de desarrollo").

El sistema utiliza un pipeline alternante de múltiples pasadas empleando el modelo Qwen3-VL-8B-Instruct:

1. Pasadas Alternantes: El sistema ejecuta pasadas impares para anotar acciones y pasadas pares para inferir intenciones.
2. Fundamentación Contextual:
   • Contexto Temporal: Una ventana deslizante de $w=20$ fotogramas vecinos se codifica como una Codificación de Longitud de Racha (RLE) para proporcionar un contexto local denso sin exceder los límites de tokens.
   • Resumen Inter-Pasada: Un resumen en lenguaje natural de todo el video (generado mediante map-reduce para videos largos) propaga el contexto narrativo global hacia adelante, actuando como memoria episódica comprimida.
3. Refinamiento Iterativo: Cada pasada condiciona su salida a las etiquetas generadas en la pasada anterior. Este bucle de retroalimentación permite al modelo revisar juicios previos a medida que el contexto se acumula, impulsando al sistema hacia un vocabulario auto-consistente.

Normalización de Etiquetas

Para abordar el problema del "vocabulario abierto" donde la anotación de texto libre produce sinónimos superficiales (por ejemplo, "enjuagar productos" frente a "limpiar vegetales"), SERUM emplea un paso de normalización de etiquetas:

• Fusión Semántica: Se calcula la similitud de coseno por pares utilizando embeddings de Sentence-BERT.
• Umbralización: Un umbral calibrado por humanos ($t^*=0.43$) fusiona etiquetas sinónimas. Este paso reduce el tamaño del vocabulario en aproximadamente un 46% en promedio y se trata como un componente central del diseño en lugar de una corrección post-hoc.

Salida: Modelos de Usuario

La salida final consiste en dos Modelos de Markov de Primer Orden (Modelos de Usuario):

• Un modelo sobre los estados de acción canonicalizados.
• Un modelo sobre los estados de intención canonicalizados.
  Estos modelos son grafos dirigidos ponderados donde las aristas representan probabilidades de transición, capturando la estructura probabilística del comportamiento del usuario para soportar la predicción del siguiente estado.

Contribuciones Clave y Resultados

Los autores evaluaron SERUM en 61 videos egocéntricos a través de cuatro dominios: programación, cocina, actividades físicas y vida cotidiana (un total de 11,125 fotogramas).

1. Equilibrio Esquemático (RQ1)

El proceso de anotación iterativa converge a un vocabulario de estado estable.

• Convergencia: El tamaño del vocabulario bruto se estabiliza en la Pasada 8, un fenómeno que los autores denominan equilibrio esquemático.
• Impacto de la Normalización: La normalización de etiquetas comprime aún más el vocabulario a un tamaño estable de ~10 estados, reduciendo significativamente la dispersión en las matrices de transición.

2. Rendimiento Predictivo (RQ2)

Los modelos de Markov resultantes fueron evaluados en la predicción del siguiente estado (entrenando en el primer 60% de los fotogramas, probando en el 40% restante).

• Superioridad sobre los Baselines: Los modelos de Markov normalizados superan significativamente a los baselines basados en frecuencia (Mayoría, Aleatorio Ponderado, Uniforme) tanto en precisión Top-1 como en Perplejidad.
  • Predicción de Acciones: El modelo de Markov Normalizado logró un 48.5% de precisión Top-1 frente al 37.6% del baseline de Mayoría.
  • Predicción de Intenciones: El modelo de Markov Normalizado logró un 58.2% de precisión Top-1 frente al 29.9% del baseline de Mayoría.
• Varianza de Dominio: Las mayores ganancias se observaron en tareas estructuradas como la programación (76.4% de precisión de acción normalizada), lo que refleja las estructuras de transición repetitivas inherentes a estos flujos de trabajo.

3. Evaluación Humana (RQ3)

Anotadores humanos con experiencia en el dominio evaluaron la calidad de las etiquetas.

• Precisión: El 88.3% de las etiquetas de la pasada final fueron calificadas como precisas (Krippendorff's $\alpha = 0.40$).
• Preferencia: Los anotadores prefirieron las etiquetas de la pasada final sobre las de la primera pasada el 82.8% de las veces, lo que indica que el refinamiento iterativo produce etiquetas significativamente mejores.
• Intención vs. Acción: Las etiquetas de intención fueron ligeramente más precisas (90%) que las de acción (86.7%), lo que sugiere que la inferencia consciente del contexto desambigua eficazmente los objetivos.

4. Estudios de Ablación (RQ4)

• Normalización de Etiquetas: La fusión de sinónimos mejoró la precisión Top-1 de Markov en +18.2 puntos porcentuales y redujo la perplejidad en 14.9 puntos.
• Pasadas de Intención: Eliminar la inferencia de intención (pipeline de solo actividad) causó que las etiquetas de actividad colapsaran en estados dominantes no informativos (por ejemplo, "escribiendo_en_teclado" para el 92–96% de los fotogramas de programación). Los anotadores prefirieron el pipeline completo (actividad + intención) el 73% de las veces.
• Ventana Temporal: Aumentar el tamaño de la ventana de contexto ($w=20$) mejoró la brecha entre Markov y el baseline de Mayoría, confirmando que el contexto temporal es crítico para la calidad del modelo.

Significado y Reivindicaciones

El artículo afirma que SERUM es, según su conocimiento, el primer sistema que produce modelos de proceso interpretables (tanto de acción como de intención) directamente de video de pantalla egocéntrico no estructurado sin:

• Anotación manual.
• Taxonomías predefinidas.
• Registros de eventos existentes.

Los autores posicionan a SERUM como una validación temprana para aplicaciones de asistencia de agentes proactivos y personalización, ofreciendo una vía escalable para el modelado de usuarios "en el mundo real". Reconocen limitaciones, como el costo computacional del pipeline de múltiples pasadas (aunque está cargado al inicio), pero enfatizan la capacidad del sistema para autocorregir alucinaciones mediante contexto iterativo y consenso.

El trabajo demuestra que la anotación de VLM iterativa y consciente del contexto puede suprimir las alucinaciones y la conflación temporal, convergiendo hacia una taxonomía de comportamiento estable y validada por humanos que permite el modelado predictivo de los flujos de trabajo del usuario.