SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

Resumen Técnico: SIL (Symbiotic Interactive Learning)

1. El Problema: Limitaciones del Modelo "Maestro-Aprendiz"

El estado actual de la interacción humano-robot (HRI) condicionada por lenguaje se basa predominantemente en un modelo unidireccional de "maestro-aprendiz". En este paradigma:

• Flujo unidireccional: El humano actúa como el "maestro" que emite comandos, y el agente (robot) actúa como un "aprendiz" pasivo que ejecuta instrucciones sin cuestionarlas ni aportar retroalimentación.
• Falta de co-adaptación: Los agentes actuales, aunque impulsados por Modelos Fundacionales (FMs) capaces de razonamiento, no mantienen estados de creencia evolutivos ni comparten un espacio latente con el usuario.
• Consecuencias: Esto genera una carga inferencial excesiva sobre el humano, quien debe reformular constantemente las instrucciones para compensar la rigidez del agente. Las interacciones son frágiles ante ambigüedades lingüísticas y contextuales, impidiendo la colaboración natural y la adaptación a largo plazo a las preferencias individuales del usuario.

2. Metodología: Marco SIL

SIL propone un marco de co-adaptación bidireccional donde tanto el humano como el agente mantienen y alinean sus estados de creencia dentro de un espacio latente de tareas compartido.

Componentes Clave del Sistema:

• Representación de Creencias Compartidas:

  • Ambos participantes ($i \in \{Humano, Agente\}$) mantienen un estado de creencia estructurado $B_t^i = (z_t^i, k_t^i, u_t^i, H_t^i, \Psi_t^i)$, donde $z_t^i$ es la incrustación latente de la tarea, $k_t^i$ es la certeza, y $H_t^i$ es el historial temporal.
  • Mecanismo de Influencia Bidireccional: Se utilizan vectores de influencia ($\delta$) calculados mediante transformaciones aprendidas sobre las incrustaciones latentes del otro participante. Si el agente falla ($s_t \approx 0$), el humano recibe una señal fuerte para adaptar su instrucción; si tiene éxito, la necesidad de ajuste disminuye.
  • Alineación de Creencias: Se mide la alineación ($\rho_t$) mediante la similitud coseno entre las creencias del humano y el agente, ponderada por la confianza. Si $\rho_t$ cae por debajo de un umbral, se activa un protocolo de clarificación proactiva.

• Arquitectura de Aprendizaje Continuo y Memoria:

  • Codificador Neuronal: Un encoder ligero mapea las entradas lingüísticas a incrustaciones latentes. Se entrena con una pérdida de contraste de tripletes (Triplet Loss) para agrupar interacciones exitosas y separar las fallidas.
  • Memoria Estructurada:
    • Memoria Episódica: Almacena registros de interacciones completas (entradas, respuestas, estados de creencia, éxito/fracaso).
    • Memoria Semántica: Generaliza patrones de éxito, fracaso y preferencias.
  • Prevención del Olvido Catastrófico: Se utiliza Consolidación Elástica de Pesos (EWC) para regularizar el entrenamiento en línea, protegiendo los parámetros críticos de tareas anteriores mientras se aprenden nuevas.

• Comprensión de Lenguaje Consciente de la Incertidumbre:

  • Utiliza un ensamble de Modelos de Lenguaje (LLM) con diferentes temperaturas para generar múltiples interpretaciones de un comando.
  • Calcula una métrica de incertidumbre basada en la dispersión semántica del ensamble y características lingüísticas (hedging, especificidad).
  • Si la incertidumbre es alta, el agente solicita aclaraciones o sugiere interpretaciones candidatas basadas en la memoria, en lugar de ejecutar ciegamente.

• Percepción Multimodal y Ejecución:

  • Integra modelos de visión (SAM, CLIP) para segmentación y clasificación de objetos.
  • Proyecta coordenadas 2D a 3D para la navegación y planificación de rutas en entornos físicos reales.

3. Contribuciones Principales

1. Caracterización del problema de aprendizaje unidireccional: Identifica y formaliza las limitaciones del modelo maestro-aprendiz en HRI, proponiendo SIL como un marco simbiótico bidireccional.
2. Representación y alineación de creencias compartidas: Introduce un mecanismo explícito para medir y alinear las creencias del humano y el agente en un espacio latente, permitiendo aclaraciones dirigidas y sugerencias proactivas.
3. Aprendizaje continuo con memoria estructurada: Integra una arquitectura de memoria episódica y semántica con EWC para preservar el conocimiento a largo plazo y evitar el olvido catastrófico.
4. Evaluación empírica exhaustiva: Demuestra mejoras significativas en eficiencia de interacción y robustez en comparación con líneas base estáticas y variantes ablatadas.

4. Resultados Experimentales

El sistema se evaluó en entornos simulados y del mundo real (robots Unitree Go1 y Segway personalizados) a través de 350 episodios de interacción en cinco dominios de tareas:

• Seguimiento de instrucciones encarnadas (EIF).
• Recuperación interactiva de información basada en memoria (MIIR).
• Razonamiento orientado a consultas (QOR).
• Diálogo y sugerencias proactivas (PDS).
• Aprendizaje de preferencias a largo plazo (LPL).

Métricas Clave:

• Tasa de Finalización de Tareas (TCR): SIL alcanzó un 90.4% de éxito, una mejora absoluta de ~20 puntos porcentuales sobre las mejores variantes ablatadas y el modelo estático (60.1%).
• Alineación de Creencias ($\rho$): SIL mantuvo una alineación estable de $\rho \approx 0.83$, mientras que los modelos sin co-adaptación o memoria oscilaron entre 0.52 y 0.65.
• Eficiencia de Clarificación: SIL requirió un promedio de 0.46 solicitudes de aclaración por tarea exitosa, demostrando una capacidad superior para resolver ambigüedades antes de la ejecución.

Hallazgos de las Pruebas de Ablación:

• Desactivar el mecanismo de co-adaptación causó la caída más drástica en el rendimiento (TCR ~61.7%), acercándose al nivel de un LLM estático.
• Desactivar EWC provocó olvido catastrófico, especialmente en tareas que requerían recordar alias de comandos tras tareas de distracción.
• La memoria y el modelado de preferencias mejoraron significativamente el rendimiento en tareas contextuales y de personalización.

5. Significado e Impacto

El trabajo de SIL representa un cambio de paradigma fundamental en la HRI:

• De la Ejecución Pasiva a la Colaboración Activa: Transforma al robot de un mero ejecutor de órdenes a un socio colaborativo capaz de inferir intenciones, recordar preferencias y corregir malentendidos proactivamente.
• Escalabilidad de la Interacción Natural: Al resolver la asimetría en la adaptación, SIL permite interacciones más largas, complejas y naturales, acercándose a la dinámica de comunicación humano-humano.
• Viabilidad a Largo Plazo: La integración de memoria estructurada y EWC resuelve el problema crítico de la estabilidad a largo plazo en agentes autónomos, permitiendo que el sistema aprenda y se adapte a usuarios específicos sin olvidar conocimientos previos.

En conclusión, SIL demuestra que la co-adaptación bidireccional en un espacio latente compartido es esencial para crear agentes robóticos verdaderamente autónomos y colaborativos capaces de operar en entornos del mundo real dinámicos y ambiguos.