GIFT: Generalizing Intent for Flexible Test-Time Rewards

Resumen Técnico: GIFT (Generalizing Intent for Flexible Test-Time Rewards)

1. El Problema: Fallo en la Generalización de Recompensas

Los robots que aprenden funciones de recompensa a partir de demostraciones humanas a menudo fallan al generalizar a nuevos entornos o configuraciones. El problema central es que las recompensas aprendidas tienden a anclarse en correlaciones espurias de los datos de entrenamiento en lugar de capturar la intención humana subyacente.

• Causa: Los métodos existentes utilizan similitudes visuales o semánticas superficiales (por ejemplo, un cepillo de dientes se parece visualmente a un pincel, o se parece lingüísticamente a un "cepillo de dientes"). Sin embargo, bajo una intención específica (ej. "empacar suministros de arte"), un pincel es funcionalmente equivalente a una arcilla de modelar, no a un cepillo de dientes.
• Consecuencia: Cuando el robot enfrenta objetos o escenarios no vistos durante el entrenamiento (desplazamiento de distribución), la función de recompensa aprendida puede fallar catastróficamente, ignorando tareas importantes o fijándose en elementos irrelevantes.

2. Metodología: El Marco GIFT

GIFT propone un marco que fundamenta la generalización de recompensas en la intención de alto nivel del usuario, en lugar de en señales superficiales. El enfoque se basa en dos etapas principales utilizando Modelos de Lenguaje (LMs):

A. Inferencia de Intención de Alto Nivel

• Entrada: El sistema recibe pares de trayectorias: demostraciones preferidas por el humano ($D_H$) y trayectorias de referencia no preferidas ($D_{\neg H}$).
• Proceso: Se utiliza un LLM para contrastar estos comportamientos y generar un resumen en lenguaje natural que describe la intención subyacente (ej. "evitar líquidos cerca de electrónicos" en lugar de "evitar la taza de café sobre el portátil").
• Salida: Una estimación de la intención $\hat{\omega}$.

B. Alineación de Estados Condicionada a la Intención

• Núcleo de Similitud: Se define una función de similitud $K(s, s' | \omega)$ condicionada a la intención inferida. Esta función determina qué estados son "equivalentes" basándose en la utilidad funcional para la tarea, no en la apariencia visual o el nombre.
• Operador de Alineación ($f_{\hat{\omega}}$): Durante la prueba (test-time), los nuevos estados del robot se mapean a estados de entrenamiento equivalentes en comportamiento.
  • Si un objeto nuevo (ej. arcilla) cumple la misma función que un objeto de entrenamiento (ej. pincel) bajo la intención $\hat{\omega}$, se alinea con él.
  • Los objetos irrelevantes se mapean a una clase de "distractor".
• Generalización de la Recompensa: Una vez alineados los estados de prueba al dominio de entrenamiento, se aplica la función de recompensa aprendida previamente ($R_\theta$) sin necesidad de reentrenamiento.
  • Fórmula: $\tilde{R}_\theta(\xi' | \hat{\omega}) \triangleq R_\theta(f_{\hat{\omega}}(\xi'))$.

3. Contribuciones Clave

1. Cambio de Paradigma: Pasar de la similitud basada en características de bajo nivel (visuales/lingüísticas) a la similitud basada en la intención. Esto permite que el robot entienda qué objetos son relevantes según el objetivo del usuario.
2. Generalización sin Reentrenamiento: El marco permite reutilizar funciones de recompensa aprendidas en nuevos entornos con objetos no vistos, simplemente alineando los estados mediante la intención inferida.
3. Validación en Simulación y Mundo Real: El método se ha probado en un robot simulado (Jaco) y en un robot físico de 7 grados de libertad (Franka Panda), demostrando transferibilidad a entornos físicos.
4. Robustez ante Confundidores: GIFT supera a los baselines que fallan ante objetos con nombres similares (confundidores lingüísticos) o apariencia similar (confundidores visuales) pero funciones diferentes.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro tareas de manipulación en mesas (ej. "Empacar Mochila", "Guardar en Cajón") con más de 50 objetos no vistos.

• Tasa de Victoria Pareada (Pairwise Win Rate): GIFT superó consistentemente a los baselines de similitud visual (DINO), lingüística (BERT) y una versión ablativa de LM sin intención.
  • En tareas complejas como "Empacar Mochila" y "Guardar en Cajón", GIFT mostró una mejora del 20% sobre los mejores baselines.
  • En tareas más simples, la mejora fue del 7%.
• Alineación de Estados (F1 Score): GIFT logró puntuaciones F1 superiores en la alineación de estados, reduciendo significativamente tanto los Falsos Positivos (alinear objetos irrelevantes) como los Falsos Negativos (no alinear objetos relevantes).
  • Los baselines de "Oracle" (que ajustan umbrales) fallaron al cambiar el tipo de confundidor (visual vs. lingüístico), mientras que GIFT mantuvo un bajo error en todas las categorías gracias a la condición de intención.
• Experimentos en Mundo Real: En el robot Franka, GIFT logró planificar comportamientos que se alineaban correctamente con las preferencias humanas (ej. guardar un iPhone como objeto valioso y arcilla como suministro de arte), mientras que los baselines fallaban al tratar objetos distractores como relevantes.

5. Significado e Impacto

El trabajo de GIFT es significativo porque aborda uno de los mayores cuellos de botella en la robótica de aprendizaje por refuerzo: la fragilidad ante el desplazamiento de distribución.

• Interpretabilidad: Al basarse en la intención humana, el sistema es más interpretable y alineado con lo que realmente importa para el usuario.
• Eficiencia: Elimina la necesidad de que los usuarios vuelvan a enseñar al robot cada vez que cambia el entorno o los objetos, reduciendo la carga cognitiva y temporal.
• Seguridad: Al evitar correlaciones espurias, reduce el riesgo de que el robot ejecute acciones peligrosas o incorrectas en situaciones nuevas.

En conclusión, GIFT demuestra que el razonamiento de sentido común de los Modelos de Lenguaje, cuando se utiliza para inferir y condicionar la similitud de estados, permite a los robots generalizar funciones de recompensa de manera robusta y flexible, superando las limitaciones de los enfoques puramente visuales o semánticos.