Resumen Técnico: Atender al Contexto – Aprendizaje Continuo de Acciones Robóticas Socialmente Apropiadas mediante el Desentrelazamiento Ambiental-Social

1. Formulación del Problema

El artículo aborda el desafío de permitir que los robots sociales operen en diversos y cambiantes entornos interiores (por ejemplo, hogares, oficinas, salas de reuniones) donde la apropiación social depende del contexto. Una acción específica (por ejemplo, iniciar una conversación o limpiar) puede ser apropiada en un entorno (una sala de estar concurrida) pero disruptiva en otro (una sala de reuniones), incluso si la disposición social de las personas parece similar.

El problema central se enmarca como Aprendizaje Continuo Incremental de Dominios (DIL). A diferencia de los entornos incrementales de tareas, donde la tarea cambia pero el entorno es estático, el DIL requiere que el robot encuentre secuencialmente nuevos dominios (entornos) con distribidades de datos distintas. El robot debe aprender a predecir la idoneidad de múltiples acciones (por ejemplo, aspirar, servir, transportar objetos) en estos nuevos dominios mientras retiene el conocimiento de los anteriores, mitigando así el olvido catastrófico.

Se identifica una brecha crítica en el trabajo previo: los métodos existentes para aprender acciones socialmente apropiadas suelen tratar la escena como una entrada monolítica, mezclando implícitamente señales ambientales (diseño, mobiliario, apertura) y señales sociales (posiciones de agentes, configuraciones de grupos). Los autores argumentan que, para el aprendizaje incremental de dominios, es necesario separar explícitamente estas señales para reducir las correlaciones espurias y mejorar la transferencia de conocimiento.

2. Metodología: El Marco EDD

Los autores proponen el marco de Desentrelazamiento Explícito de Doble Rama (EDD), que consta de tres componentes principales:

A. Descomposición del Contexto Semántico

Para separar explícitamente la información ambiental y social, los autores emplean Segmentación Panóptica para descomponer cada imagen de la escena $x$ en dos vistas distintas:

1. Vista Ambiental ($x_E$): Esta vista resalta el fondo y el diseño espacial mientras oculta a los agentes sociales. Se construye enmascarando los agentes detectados y reemplazándolos con un color fijo, introduciendo también máscaras de cajas delimitadoras ("decoy") muestreadas de un conjunto de dominios para oscurecer aún más las ubicaciones de los agentes. Esto obliga a la red a depender de las affordances (posibilidades de acción) y las restricciones espaciales.
2. Vista Social ($x_S$): Esta vista aísla a los agentes sociales (humanos, mascotas, otros robots) contra un fondo uniforme. Se construye utilizando las máscaras de silueta de los agentes, preservando sus posiciones relativas y agrupaciones mientras se elimina el contexto ambiental.

B. Red de Doble Rama

Las vistas descompuestas son procesadas por una Arquitectura de Doble Rama:

• Codificador Ambiental ($\phi_E$): Procesa $x_E$ para extraer características relacionadas con el entorno (por ejemplo, tipo de habitación, densidad de muebles).
• Codificador Social ($\phi_S$): Procesa $x_S$ para extraer características relacionadas con las configuraciones de los agentes.
• Fusión y Regresión: Los vectores de características de ambas ramas se concatenan y se pasan a través de una Cabeza de Regresión compartida ($g$) para predecir un vector de $K$ dimensiones de puntuaciones de idoneidad para $K$ acciones posibles. Esto permite al modelo aprender cómo los factores ambientales y sociales influyen conjuntamente en la idoneidad de la acción.

C. Aprendizaje Continuo con Replay

Para gestionar la llegada secuencial de dominios sin acceso a datos pasados, el EDD utiliza una estrategia de Replay de Experiencia (Experience Replay):

• Un búfer de memoria almacena un número fijo de muestras de cada dominio encontrado.
• Durante el entrenamiento en un nuevo dominio, el modelo se entrena con una mezcla de datos del dominio actual y muestras reproducidas (replayed) del búfer.
• Este enfoque aproxima el entrenamiento conjunto en todos los dominios, minimizando la pérdida acumulada y mitigando el olvido catastrófico.

3. Contribuciones Clave

1. Desentrelazamiento Explícito: El artículo introduce un enfoque novedoso para el CL incremental de dominios en robótica social al separar explícitamente las señales ambientales y sociales al nivel de la entrada mediante segmentación panóptica, en lugar de depender de un aprendizaje de características implícito a partir de imágenes de escena completa.
2. Marco EDD: La propuesta del marco de Desentrelazamiento Explícito de Doble Rama, que combina la descomposición semántica con una arquitectura de doble rama y el ensayo basado en replay.
3. Evaluación Exhaustiva: Los autores evalúan el marco en seis dominios interiores (Hogar y cinco variantes de oficina) y realizan estudios de ablación sobre:
   • Estrategias de Desentrelazamiento: Comparación de máscaras de cajas delimitadoras, siluetas, acercamientos espaciales y ausencia de descomposición.
   • Orden de los Dominios: Pruebas de varias secuencias (basadas en complejidad, basadas en contraste) para evaluar la sensibilidad al orden de exposición de los dominios.
   • Baselines: Comparación contra métodos de CL específicos para robótica, modelos de visión de incremento de dominio y Modelos de Lenguaje-Visión (VLM) de cero disparo (zero-shot).

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos fusionado de OfficeDB y MannersDB+, centráéndose en el robot Pepper en nueve categorías de acción.

• Rendimiento vs. Baselines (RQ1): El EDD superó a todos los baselines, incluyendo métodos de CL para robótica de vanguardia (FedLGR), modelos de visión de incremento de dominio (DUCA, DARE++) y VLMs de cero disparo (Qwen, LLaVA, DeepSeek). El EDD logró el Error Cuadrático Medio más bajo (RMSE: 0.783) y los coeficientes de correlación de Pearson (PCC: 0.552) y Concordancia (CCC: 0.375) más altos con las calificaciones humanas. Notablemente, los VLMs mostraron un RMSE competitivo pero fallaron en correlacionar bien con los juicios humanos, lo que sugiere que los modelos fundacionales por sí solos son insuficientes para esta tarea específica.
• Estrategias de Desentrelazamiento (RQ2): La descomposición por Caja Delimitadora (Bounding-Box) (el método propuesto) produjo el mejor rendimiento general y el menor olvido (Transferencia hacia Atrás, BWT). Aunque el control de "Sin Descomposición" se comportó de manera similar en las métricas de error, la separación explícita proporcionó un mejor alineamiento con los juicios humanos (mayor PCC/CCC). La estrategia de "Primer Plano del Robot" mostró la mejor retención (menor BWT) pero una menor correlación, lo que sugiere que preserva bien las características específicas del dominio pero puede perder el contexto social más amplio.
• Orden de los Dominios (RQ3): El orden de exposición de los dominios tuvo un efecto medible pero modesto en el rendimiento. Si bien un currículo de "aumento de complejidad" mostró un rendimiento ligeramente mejor en el dominio Hogar, el impacto general en el olvido y la precisión general fue limitado en comparación con las elecciones arquitectónicas. El modelo se mantuvo relativamente robusto a través de diferentes estrategias de secuenciación.

5. Significación y Reivindicaciones

El artículo sostiene que desentrelazar explícitamente las señales ambientales y sociales es una estrategia viable y efectiva para el aprendizaje continuo en robótica social. Los autores argumentan que:

• La idoneidad social no es solo una función de la disposición de los agentes, sino que está determinada conjuntamente por el entorno (posibilidades de acción o affordances) y la configuración social.
• Tratar estas señales como entradas separadas permite al modelo adaptarse mejor a los cambios de dominio sin olvidar el conocimiento previo, ya que la rama ambiental puede adaptarse a nuevos diseños mientras la rama social retiene patrones de interacción de agentes generalizables.
• Los actuales VLMs de cero disparo, aunque potentes, carecen de los sesgos inductivos estructurales específicos necesarios para capturar la naturaleza matizada y dependiente del contexto de las normas sociales en entornos corporales (embodied).

El trabajo sugiere que los despliegues futuros a largo plazo de robots sociales se beneficiarán de arquitecturas que separen estructuralmente los tipos de contexto, permitiendo una adaptación más robusta a entornos diversos y cambiantes del mundo real. Los autores reconocen limitaciones, como el uso de datos sintéticos y la dependencia de la segmentación panóptica, y proponen trabajos futuros en validación en el mundo real, explicabilidad de las contribuciones de las ramas y mecanismos de fusión adaptativos.