Teaching Robots to Interpret Social Interactions through Lexically-guided Dynamic Graph Learning

1. Problema y Motivación

Para que un robot sea considerado socialmente inteligente, debe ser capaz de inferir los estados internos de los usuarios (latentes, como la intención y la actitud) a partir de su comportamiento observable, predecir acciones futuras y responder adecuadamente.

El problema central abordado en este trabajo es que la mayoría de los sistemas existentes tratan las tareas de percepción social (como la detección de acciones, la predicción de intenciones o el análisis de actitudes) como entidades aisladas o asumen relaciones estáticas y fijas entre ellas. Sin embargo, en la interacción humano-robot (HRI), los estados internos y las acciones observables están acoplados dinámicamente y evolucionan con el tiempo. Los modelos actuales no capturan adecuadamente esta complejidad ni la variabilidad contextual (por ejemplo, cómo cambia la relación entre "intención" y "acción" dependiendo de si el usuario está interesado o no).

2. Metodología: SocialLDG

Los autores proponen SocialLDG (Social Lexically-guided Dynamic Graph), un marco de aprendizaje multitarea (MTL) novedoso diseñado para modelar explícitamente las relaciones dinámicas entre seis tareas de percepción social.

A. Formulación del Problema

El sistema toma como entrada un flujo de video en perspectiva egocéntrica (desde el robot) y extrae características de pose corporal completa (cuerpo, cara y manos) utilizando AlphaPose. Se definen seis tareas interconectadas:

1. Contacto físico actual (Binario).
2. Contacto físico futuro (Probabilidad).
3. Intención de interacción (Latente: no interesado, interesado, interactuando).
4. Actitud hacia el robot (Latente: positiva/negativa).
5. Acción actual (Clasificación de acción social).
6. Acción futura (Predicción de acción).

B. Arquitectura del Modelo

El marco se basa en la teoría de Satisfacción de Restricciones Paralelas (PCS) de la psicología cognitiva, modelando la toma de decisiones como una red donde las restricciones (tareas) interactúan simultáneamente.

1. Representación de Señales Sociales:

   • Se utiliza un autoencoder auto-supervisado preentrenado para extraer representaciones espaciotemporales robustas de las secuencias de pose.
   • La arquitectura del codificador combina una Red de Atención en Grafos (GAT) para el procesamiento espacial (por cuadro) y un Transformer para el modelado temporal.
   • Se introduce una pérdida de MSE ponderada por la confianza para ignorar puntos clave ruidosos en el video.

2. Inyección de Priors Léxicos (Lexical Priors):

   • Para evitar el sobre-alisado (over-smoothing) en el grafo y dotar a cada nodo de significado semántico, se utilizan tokens léxicos.
   • Se emplea un modelo de lenguaje (SciBERT) congelado para generar embeddings a partir de descripciones textuales de cada tarea (ej. "Detectar si el usuario está haciendo contacto físico"). Estos embeddings inicializan los nodos del grafo.

3. Grafo Dinámico y Generador de Bordes Semánticos:

   • A diferencia de los grafos estáticos, SocialLDG utiliza un grafo dinámico donde la matriz de afinidad de tareas ($A$) evoluciona con el tiempo.
   • Un generador de bordes semánticos utiliza las representaciones sociales ($Z$) y los tokens léxicos ($e_k$) para calcular una matriz de sesgo de bordes ($B$). Esto permite que la fuerza y dirección de la influencia entre tareas cambien según el contexto (ej. en una etapa temprana de interacción, la intención influye más en la acción futura que en la actual).
   • Se utiliza un Transformador de Grafos con una función de activación sigmoid (en lugar de softmax) para permitir pesos de borde independientes y evitar la agregación forzada. Además, se aplican máscaras para prevenir fugas de información del futuro al presente.

3. Contribuciones Clave

1. Marco de MTL Guiado Léxicamente: Integración de priors semánticos a través de un modelo de lenguaje para inicializar nodos de tareas, mejorando la interpretabilidad y el rendimiento.
2. Aprendizaje de Relaciones Dinámicas: Uso de grafos dinámicos para modelar la afinidad entre tareas que cambia temporalmente, capturando la evolución de la interacción social.
3. Escalabilidad de Tareas: El modelo demuestra la capacidad de aprender nuevas tareas rápidamente sin olvidar las anteriores (sin catastrophic forgetting), gracias a la representación de señales sociales robusta y la modelización explícita de las relaciones.
4. Interpretabilidad: La matriz de afinidad aprendida ofrece insights sobre cómo los estados internos y observables se influyen mutuamente en diferentes etapas de la interacción.

4. Resultados Experimentales

El modelo fue evaluado en dos conjuntos de datos públicos de HRI: JPL-Social y HARPER.

• Rendimiento Superior: SocialLDG alcanzó un F1 promedio del 85.25% y una precisión del 85.61%, superando a todos los métodos de MTL de última generación (SOTA) como MMoE, PLE, DSelect-K y AssociationGraph.
• Estudio de Ablación:
  • La eliminación de los tokens léxicos o del generador de bordes degradó significativamente el rendimiento, confirmando que tanto la inicialización semántica como la guía topológica dinámica son esenciales.
  • El uso de SciBERT para los tokens léxicos mostró el mejor rendimiento, probablemente debido a la alineación del vocabulario técnico con las descripciones de las tareas.
• Escalabilidad: En experimentos de transferencia, SocialLDG logró generalizar a nuevas tareas (como predicción futura o estados latentes) con solo 1 época de ajuste fino, superando a una línea base de ajuste fino independiente.
• Visualización Dinámica: La visualización de la matriz de afinidad mostró que el modelo puede detectar automáticamente las transiciones entre etapas de interacción (pre-interacción, interacción activa, post-interacción) basándose en cambios en la densidad de las conexiones del grafo.

5. Significado y Conclusión

Este trabajo representa un avance significativo en la robótica social al demostrar que la inteligencia social no requiere solo más datos, sino una mejor arquitectura que refleje la naturaleza cognitiva de la interacción humana.

• Impacto: Al modelar explícitamente la dinámica entre lo latente (intención/actitud) y lo observable (acción), los robots pueden anticipar mejor el comportamiento humano y responder de manera más natural.
• Limitaciones: Los autores reconocen que los datos actuales son interacciones actuadas (no espontáneas) y que el modelo no impone restricciones de continuidad temporal, lo cual podría ser necesario para ciertas aplicaciones.
• Futuro: El enfoque sugiere que la combinación de priors lingüísticos con aprendizaje de grafos dinámicos es una ruta prometedora para crear sistemas de percepción social más robustos y explicables.

En resumen, SocialLDG establece un nuevo estándar para la percepción social en robots, demostrando que entender la "mente" del usuario requiere modelar no solo sus acciones, sino la red dinámica y cambiante de relaciones entre sus pensamientos, actitudes y movimientos.