Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

Resumen Técnico: GLOBE – Asistencia Robótica Proactiva Personalizada y Robusta

Planteamiento del Problema
La asistencia robótica proactiva en entornos domésticos requiere la predicción precisa de las actividades humanas y el uso posterior de objetos bajo condiciones dinámicas y ruidosas. Los enfoques existentes, como los modelos espacio-temporales (p. ej., STOT, SLaTe-PRO), suelen depender de arquitecturas complejas que son computacionalmente costosas y sensibles a la variabilidad ambiental. Estos métodos frecuentemente tienen dificultades con el ruido del mundo real, como los desplazamientos de objetos causados por mascotas, niños pequeños o acciones humanas incidentales, que no están explícitamente modelados en los conjuntos de datos estándar. Además, existe la necesidad de marcos de trabajo que equilibren la precisión predictiva con la eficiencia computacional y la robustez para el despliegue a largo plazo.

Metodología: El Marco de Trabajo GLOBE
Los autores proponen GLOBE (uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling), un marco híbrido ligero diseñado para predecir el uso de objetos para la asistencia proactiva. El sistema opera a través de un proceso de dos fases: una fase de observación (entrenamiento) y una fase de asistencia (inferencia).

1. Predicción Secuencial mediante Modelos de Markov n-grama:

   • Predicción de Actividad: El sistema entrena modelos de Markov n-grama sobre datos secuenciales de actividad del usuario. Calcula las probabilidades de transición basadas en el historial de actividad reciente ($c_{act}$). Para manejar el contexto limitado, el modelo emplea una estrategia de "retroceso" (back-off), utilizando progresivamente secuencias de historial más cortas si la secuencia de historial más larga observada no fue encontrada durante el entrenamiento.
   • Predicción de Objetos: El uso de objetos se predice condicionado a la actividad predicha ($\hat{a}_t$) y al historial de objetos reciente ($c_{obj}$) dentro de ese contexto de actividad específico. El modelo restringe las predicciones al conjunto de objetos que coocurren con la actividad, asegurando la consistencia contextual.

2. Razonamiento de LLM Guiado por la Incertidumbre:

   • Para abordar la escasez, la ambigüedad o los patrones no vistos donde la confianza del modelo de Markov es baja, el marco invoca selectivamente un Modelo de Lenguaje de Gran Escala (LLM) preentrenado.
   • Un umbral de confianza ($d$) determina cuándo activar el LLM. Si la probabilidad del modelo secuencial cae por debajo de este umbral, el LLM es consultado con la actividad reciente, la secuencia de objetos y un conjunto filtrado de los $k$ mejores candidatos del modelo n-grama.
   • El LLM utiliza sus capacidades de razonamiento semántico para refinar la predicción, teniendo en cuenta un conocimiento contextual más amplio sin ser el único tomador de decisiones.

3. Conjunto de Datos HOMER-Noise:

   • Para evaluar la robustez, los autores introducen HOMER-Noise, una extensión del conjunto de datos existente HOMER+.
   • Este conjunto de datos simula perturbaciones ambientales realistas mediante la inyección de movimientos estructurados de objetos causados por tres fuentes distintas: Persona (reorganizar/ordenar), Mascota (desplazamiento incidental) y Niño Pequeño (movimiento aleatorio impredecible).
   • Estas perturbaciones se generan utilizando LLMs para asegurar la consistencia semántica con el entorno doméstico, creando un punto de referencia que distingue entre los cambios inducidos por la actividad y el ruido externo.

Contribuciones Clave

• Marco de Trabajo GLOBE: Una arquitectura híbrida que combina el modelado de Markov n-grama eficiente para patrones rutinarios con el razonamiento de LLM selectivo y guiado por la incertidumbre para casos límite. Este diseño evita la sobrecarga computacional de usar LLMs para cada predicción.
• Conjunto de Datos HOMER-Noise: Una novedosa extensión del conjunto de datos que modela explícitamente el ruido ambiental estructurado (interacciones de humanos, mascotas, niños pequeños) para simular mejor la variabilidad del hogar en el mundo real.
• Robustez y Eficiencia: El enfoque demuestra que los modelos secuenciales ligeros, aumentados por LLMs solo cuando es necesario, pueden lograr un rendimiento competitivo con los métodos de vanguardia (SOTA) mientras reducen significativamente el tiempo de entrenamiento y mejoran la resiliencia al ruido.

Resultados Experimentales
El marco fue evaluado tanto en el conjunto de datos limpio HOMER+ como en el conjunto de datos ruidoso HOMER-Noise, comparando su rendimiento contra SLaTe-PRO, STOT, modelos n-grama independientes y líneas base de LLM zero-shot.

• Rendimiento Predictivo: En el conjunto de datos limpio HOMER+, GLOBE alcanzó una puntuación F1 media de 0.73, igualando de cerca a SLaTe-PRO (0.74) y superando al modelo n-grama independiente (0.72) y al LLM zero-shot (0.29). GLOBE logró específicamente la puntuación F1 de predicción de actividad más alta (0.80).
• Eficiencia Computacional: GLOBE demostró una eficiencia de entrenamiento superior, requiriendo solo 8.33 segundos en comparación con los 11,415 segundos de SLaTe-PRO. Aunque la latencia de inferencia fue mayor (192.49s frente a 93s para SLaTe-PRO) debido a las llamadas a la API selectivas, este costo se incurre solo durante escenarios de baja confianza.
• Robustez al Ruido: Bajo condiciones de ruido estructurado (HOMER-Noise), GLOBE superó consistentemente a SLaTe-PRO en la puntuación F1 media a través de los tipos de ruido de Persona, Mascota y Niño Pequeño. Notablemente, GLOBE mantuvo un rendimiento estable de predicción de actividad (0.80) a través de todos los niveles de ruido, mientras que el rendimiento de SLaTe-PRO se degradó significativamente.
• Estudios de Ablación: Los resultados indicaron que el marco es robusto a través de varios niveles de ruido en el entrenamiento (0.25 a 0.75) y que un umbral de confianza de 0.5 ofrece el mejor equilibrio entre el modelado secuencial y la intervención del LLM.

Significancia y Reivindicaciones
El artículo afirma que GLOBE aborda brechas críticas en la asistencia robótica proactiva al ofrecer una solución que es tanto computacionalmente eficiente como robusta a la variabilidad ambiental. Al aprovechar las fortalezas de los modelos estadísticos ligeros para comportamientos rutinarios y reservar el razonamiento de LLM para situaciones de incertidumbre, el marco logra un equilibrio entre velocidad y adaptabilidad. La introducción de HOMER-Noise proporciona un punto de referencia más realista para evaluar sistemas destinados al despliegue en el mundo real, donde los estados de los objetos son alterados frecuentemente por factores ajenos a la actividad principal del usuario. Los autores validan el potencial del sistema a través de una integración de prueba de concepto con un manipulador móvil Stretch 3, demostrando su aplicabilidad en escenarios de interacción humano-robot.