Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language

Resumen Técnico: Masked IRL

1. El Problema: Ambigüedad y Sobreajuste en el Aprendizaje por Refuerzo Inverso (IRL)

El aprendizaje de funciones de recompensa a partir de demostraciones humanas es fundamental para que los robots se adapten a las preferencias de los usuarios. Sin embargo, este proceso es inherentemente mal planteado (ill-posed): muchas funciones de recompensa diferentes pueden explicar la misma trayectoria de demostración.

• Limitación de las demostraciones: Muestran cómo actuar, pero no especifican explícitamente qué es importante. Esto lleva a que los modelos de recompensa se sobreajusten a correlaciones espurias (detalles irrelevantes del estado) en lugar de capturar la intención real del usuario.
• Limitación del lenguaje natural: Aunque las instrucciones en lenguaje natural pueden especificar qué es importante, a menudo son ambiguas o subespecificadas (ej. "Mantente alejado" sin decir de qué). Los métodos existentes de aprendizaje condicionado por lenguaje suelen tratar las instrucciones como señales simples de condicionamiento, sin aprovechar su potencial para resolver ambigüedades ni para filtrar componentes de estado irrelevantes.

2. Metodología: Masked Inverse Reinforcement Learning (Masked IRL)

Los autores proponen Masked IRL, un marco que integra demostraciones e instrucciones de lenguaje natural utilizando Grandes Modelos de Lenguaje (LLMs) para resolver la ambigüedad y mejorar la eficiencia de la muestra. La metodología se basa en dos pilares principales:

A. Generación de Máscaras de Relevancia de Estado (State Masks)

• Concepto: Utilizar un LLM para inferir qué dimensiones del vector de estado son relevantes para una instrucción dada.
• Proceso: Dado un par {demostración, instrucción}, el LLM genera una máscara binaria ($m \in \{0, 1\}^d$) que indica qué componentes del estado importan.
• Pérdida de Enmascaramiento (Masking Loss): En lugar de eliminar explícitamente las dimensiones irrelevantes (lo cual es frágil ante errores del LLM), el método impone una invarianza. Se añade una pérdida que penaliza cualquier cambio en la recompensa si se perturba un componente de estado marcado como irrelevante ($m(j)=0$).
  • Esto fuerza al modelo a aprender a ignorar el ruido en dimensiones irrelevantes, reduciendo las correlaciones espurias.

B. Desambiguación de Instrucciones con LLM

• Problema: Las instrucciones ambiguas (ej. "Mantente alejado") no son suficientes por sí solas.
• Solución: El sistema utiliza el razonamiento del LLM en contexto. Se le proporcionan: (i) la descripción de la tarea, (ii) la instrucción ambigua, (iii) la representación de la demostración humana y (iv) una trayectoria de referencia (camino más corto).
• Resultado: El LLM infiere la instrucción clarificada (ej. "Mantente alejado de la laptop") basándose en la diferencia entre la demostración y la trayectoria de referencia. Estas instrucciones desambiguadas se utilizan luego para generar las máscaras de estado y entrenar el modelo.

C. Arquitectura del Modelo

• Se utiliza un modelo de recompensa condicionado por lenguaje que codifica la instrucción con un transformador T5 preentrenado.
• La codificación del lenguaje modula la entrada de estado mediante FiLM (Feature-wise Linear Modulation), permitiendo que la instrucción ajuste dinámicamente cómo se calcula la recompensa.
• El objetivo de entrenamiento combina la pérdida estándar de IRL (máxima entropía) con la pérdida de enmascaramiento.

3. Contribuciones Clave

1. Máscaras de relevancia guiadas por lenguaje: Introducción de un mecanismo que utiliza LLMs para identificar y enmascarar componentes de estado irrelevantes, mejorando la eficiencia de la muestra.
2. Mecanismo de desambiguación basado en LLM: Desarrollo de un pipeline que utiliza demostraciones para clarificar instrucciones de lenguaje subespecificadas, permitiendo un aprendizaje robusto incluso con lenguaje ambiguo.
3. Generalización robusta: Demostración de que combinar retroalimentación conductual (demostraciones) y semántica (lenguaje) permite recuperar recompensas más generalizables con menos datos.

4. Resultados Experimentales

Los experimentos se realizaron en simulación (brazo robótico Franka Emika) y en un robot real, evaluando tareas de entrega de objetos en entornos con humanos, laptops y mesas.

• Eficiencia de Muestra (RQ1):

  • Masked IRL supera a los métodos anteriores (como LC-RL) en hasta un 15% en la tasa de victoria (win rate).
  • Logra un rendimiento comparable utilizando hasta 4.7 veces menos demostraciones que los enfoques basados solo en condicionamiento de lenguaje.
  • Es robusto incluso cuando las máscaras generadas por el LLM no son perfectas (a diferencia del enmascaramiento explícito, que falla si la máscara es incorrecta).

• Robustez a la Ambigüedad (RQ2):

  • El uso de instrucciones desambiguadas mejora significativamente el rendimiento. Masked IRL con instrucciones desambiguadas supera a LC-RL con instrucciones ambiguas en un 21.4% en la tasa de victoria promedio en preferencias de prueba.
  • La precisión de la desambiguación del LLM fue del 76.4%, y las instrucciones desambiguadas mejoraron la puntuación F1 de las máscaras de estado en un 16.9% respecto a las instrucciones ambiguas.

• Validación en Mundo Real (RQ3):

  • En el robot físico, Masked IRL mostró una menor varianza de recompensa ante perturbaciones en dimensiones irrelevantes, confirmando que el modelo aprende a ignorar el ruido.
  • Redujo la regret (arrepentimiento) promedio en un 59.4% (con máscaras de verdad) y 44.8% (con máscaras LLM) en comparación con LC-RL, indicando trayectorias optimizadas más cercanas a la intención humana.

5. Significado e Impacto

Este trabajo aborda una de las principales barreras en la interacción humano-robot: la necesidad de grandes cantidades de datos para aprender preferencias complejas y la dificultad de interpretar instrucciones humanas vagas.

• Eficiencia: Reduce drásticamente la carga de recolección de datos para los usuarios, un factor crítico en la adopción de robots en entornos reales.
• Seguridad y Robustez: Al forzar la invarianza a estados irrelevantes, el robot es menos propenso a desarrollar comportamientos peligrosos o erróneos basados en correlaciones espurias.
• Sinergia LLM-Robot: Demuestra que los LLMs no solo pueden usarse para planificación de alto nivel, sino también como herramientas de supervisión estructural para el aprendizaje de recompensas, resolviendo ambigüedades mediante el razonamiento contextual sobre el comportamiento observado.

En conclusión, Masked IRL establece un nuevo estándar para el aprendizaje de recompensas multimodal, demostrando que la combinación inteligente de lenguaje y demostraciones permite a los robots aprender preferencias humanas de manera más rápida, segura y generalizable.