Resumen Técnico: Asistente Conversacional Proactivo para Tareas de Manuales de Procedimiento basado en Audio e IMU

Declaración del Problema

Los asistentes conversacionales en tiempo real para tareas manuales procedimentales (por ejemplo, ensamblaje de muebles, cocina) dependen típicamente de la entrada de video para mantener la conciencia del contexto. Sin embargo, los enfoques basados en video presentan barreras significativas: son computacionalmente costosos, a menudo requieren hardware voluminoso para el procesamiento en el dispositivo, y comprometen la privacidad del usuario cuando los datos se suben a la nube. Además, los asistentes portátiles existentes suelen ofrecer solo asistencia reactiva (responder preguntas) en lugar de una guía proactiva (narrar pasos e intervenir). Si bien existen algunos sistemas proactivos, estos dependen frecuentemente de Dispositivos Montados en la Cabeza (HMD) para obtener video egocéntrico, lo que sufre de una baja adopción debido a la incomodidad del usuario. Existe la necesidad de un asistente ligero, que preserve la privacidad, que sea capaz de procesar en el dispositivo y que proporcione una guía completa paso a paso sin depender de video o infraestructura en la nube.

Metodología

Arquitectura del Sistema

El sistema propuesto es un asistente conversacional proactivo, totalmente en el dispositivo y en tiempo real. Utiliza únicamente datos de audio y de la Unidad de Medición Inercial (IMU) de un dispositivo portátil del usuario (específicamente un reloj inteligente en la muñeca dominante) para comprender el contexto. La arquitectura del sistema (Figura 1) opera de la siguiente manera:

1. Entrada: Una aplicación personalizada de Android en un reloj Snapdragon W5 Gen 1 transmite audio (32 kHz) y datos de IMU (50 Hz) a una caja de IA en el borde (Edge AI box).
2. Reconocimiento de Actividad: Una red neuronal procesa estas señales para reconocer actividades específicas del usuario (por ejemplo, lijar, taladrar, picar, revolver).
3. Orquestación: Un orquestador específico de la tarea realiza el seguimiento de las actividades reconocidas, las marcas de tiempo y los niveles de habilidad del usuario. Mantiene contadores para determinar el paso actual en la secuencia procedimental.
4. Inferencia del Modelo de Lenguaje (LM): El orquestador genera un prompt para un modelo de lenguaje cuando se reconoce una actividad, se detecta un comentario/pregunta del usuario o transcurre un temporizador. El prompt incluye la descripción de la tarea, el estado del orquestador y las cinco vueltas de diálogo más recientes.
5. Salida: El LM genera una respuesta, la cual se convierte a voz mediante Texto-a-Voz (TTS) y se transmite de vuelta al reloj para obtener una retroalimentación de baja latencia.

Tareas y Generación de Datos

El sistema fue evaluado en dos tareas procedimentales distintas:

• Ensamblaje de Muebles: Una tarea de ensamblaje de una mesa que implica lijar, voltear, atornillar marcos (vertical) y atornillar patas (horizontal).
• Cocina: Una tarea de preparación de sopa que involucra picar, rallar, calentar, verter y revolver a intervalos específicos.

Para entrenar al agente conversacional, un generador de conversación basado en reglas creó un conjunto de datos de conversaciones de múltiples turnos de 1,000 conversaciones por tarea. Este generador simula el comportamiento del usuario basándose en un nivel de habilidad (0–1), introduciendo errores (por ejemplo, taladrar demasiado pronto, olvidar revolver) y preguntas del usuario. También simula desafíos del usuario ante las correcciones y los reconocimientos verbales.

Modelo de Reconocimiento de Actividad

El reconocedor de actividades es una red neuronal de codificador dual:

• Codificador de Audio: Utiliza una arquitectura CNN10 PANN.
• Codificador de IMU: Utiliza un modelo Attend&Discriminate con capas de convolución, autoatención, recurrente y atención temporal.
• Entrenamiento: Los datos se obtuvieron de los conjuntos de datos SAMoSA, Adaimi y BoxLift, complementados con datos recolectados por los autores. El modelo fue entrenado durante 200 épocas con un tamaño de lote de 8.

Modelo de Lenguaje y Ajuste Fino (Finetuning)

Los autores experimentaron con tres modelos Qwen2.5 (0.5B, 1.5B y 3B de parámetros).

• Estrategia de Ajuste Fino: Los modelos fueron ajustados utilizando Adaptación de Bajo Rango (LoRA). Una innovación clave es el ajuste fino Aceptante de Caprichos del Usuario (UWA - User Whim Agnostic). El entrenamiento estándar podría esperar a que un usuario diga "De acuerdo" antes de que el asistente hable. El UWA ajusta el modelo para predecir el siguiente diálogo del asistente antes de que el usuario realice una declaración trivial, preservando la naturaleza proactiva del asistente.
• Despliegue: Todos los modelos (excepto el reconocedor de actividad) se ejecutan como microservicios Docker en un procesador Dragonwing IQ9 utilizando el SDK Qualcomm AI Engine Direct.

Contribuciones Clave

1. Asistente Proactivo en el Dispositivo: El diseño de un asistente en tiempo real que proporciona una guía completa paso a paso utilizando únicamente modalidades ligeras que preservan la privacidad (audio e IMU), eliminando la necesidad de video o procesamiento en la nube.
2. Conjunto de Datos de Conversación Sintética: Un método para generar conjuntos de datos de conversación de múltiples turnos con marcas de tiempo donde un asistente guía a un usuario, corrige errores y responde preguntas, adaptado a tareas procedimentales específicas.
3. Ajuste Fino para la Proactividad y la Precisión: Un enfoque de ajuste fino (incluyendo UWA) que mejora significativamente la capacidad del modelo para limitar el diálogo innecesario mientras aumenta la precisión de las respuestas.

Resultados

Reconocimiento de Actividad

El reconocedor de actividades alcanzó niveles variables de precisión y exhaustividad (recall).

• Desafíos: "Atornillar" fue en ocasiones clasificado erróneamente como "lijar" o "taladrar", y "saltear" fue detectado ocasionalmente como "picar".
• Impacto: Estos errores pueden conducir a una guía incorrecta, lo que sugiere que en futuras iteraciones podrían ser necesarios umbrales de probabilidad específicos para cada clase.

Rendimiento del Asistente Conversacional

Las métricas de evaluación incluyeron SentenceBERT, puntuaciones de implicación y un marco de evaluación de "LLM como juez" (usando GPT-5).

• Preentrenado vs. Ajustado (Finetuned): Los modelos preentrenados funcionaron adecuadamente en instrucciones clave y correcciones de errores (que estaban explícitas en el prompt), pero tuvieron dificultades para responder preguntas de los usuarios y a menudo generaban mensajes verbosos, irrelevantes o con alucinaciones (por ejemplo, "Procedamos...").
• Mejoras mediante el Ajuste Fino:
  • Exhaustividad (Recall): Un aumento del 150% en la exhaustividad de las respuestas.
  • Precisión (Precision): Un aumento del 50% en la precisión, lo que indica una reducción significativa del diálogo innecesario o irrelevante.
  • Calidad: Una mejora del 55% en las calificaciones juzgadas por el LLM en comparación con sus contrapartes preentrenadas.
• Comparación con GPT-5: Aunque GPT-5 superó los umbrales de corrección para la mayoría de los mensajes, sus respuestas fueron cualitativamente demasiado largas y verbosas para una guía objetiva. Los modelos pequeños ajustados proporcionaron una guía sucinta y objetiva adecuada para el despliegue en el borde (edge).

Significancia y Reivindicaciones

El artículo afirma presentar el primer asistente conversacional proactivo que proporciona una guía completa, paso a paso, para tareas procedimentales utilizando únicamente modalidades ligeras (audio e IMU) mientras se ejecuta totalmente en el borde (edge).

Los autores enfatizan que, al alejarse de la dependencia del video y la nube, el sistema aborda las preocupaciones de privacidad y las restricciones computacionales, lo que lo hace viable para la adopción generalizada en dispositivos portátiles cómodos y cotidianos como los relojes inteligentes. El estudio demuestra que, con estrategias de ajuste fino específicas (como UWA), los modelos de lenguaje pequeños pueden reemplazar eficazmente a los modelos más grandes basados en la nube para este dominio específico, ofreciendo un equilibrio entre guía proactiva, precisión y eficiencia.

Limitaciones

Los autores reconocen varias limitaciones:

• Suposición de la Muñeca: El sistema asume que la muñeca dominante es la derecha (cierto para aproximadamente el 90% de la población).
• Falsas Alarmas: El reconocedor de actividades puede generar falsos positivos en entornos que no son de la tarea (por ejemplo, girar un pomo de la puerta detectado como girar un pomo de la estufa).
• Límites de Contexto: En comparación con el video, el audio/IMU tiene una conciencia de contexto limitada (por ejemplo, distinguir entre picar rábanos vs. zanahorias es más difícil).
• Seguridad: El sistema carece de salvaguardas de seguridad para prevenir físicamente lesiones al usuario, solo ofrece advertencias verbales.
• Generalización: Un modelo ajustado para una tarea no tiene un mejor desempeño que un modelo preentrenado en una tarea diferente; la generalización entre tareas requiere un ajuste fino multitarea.