Resumen Técnico: Aprendizaje de Preferencias de Formato Libre para la Manipulación Robóticaica

Declaración del Problema

El diseño de recompensas sigue siendo un cuello de botella crítico para la mejora de políticas de robots autónomos, particularmente en tareas de manipulación de largo horizonte. Los enfoques existentes enfrentan limitaciones significativas:

• Recompensas Dispersas: Las etiquetas binarias de éxito/fracaso proporcionan una señal insuficiente para tareas complejas donde el progreso intermedio es crucial.
• Preferencias Binarias Ambiguas: El aprendizaje de preferencias tradicional (por ejemplo, modelos de Bradley-Terry) requiere que los anotadores colapsen múltiples nociones de calidad en competencia (por ejemplo, velocidad vs. seguridad) en una única etiqueta binaria de "calidad general". Esto crea ambigüedad, especialmente al comparar segmentos de trayectoria de diferentes etapas de la tarea.
• Funciones de Recompensa Rígidas: Las recompensas escalares diseñadas a mano a menudo no logran capturar todo el espectro de la intención humana, como la higiene, la formalidad o el cuidado, lo que conduce a comportamientos no deseados durante la optimización.

El artículo postula que preservar la naturaleza multidimensional del juicio humano es esencial para aprender políticas robustas que capturen todos los aspectos de la intención de un usuario.

Metodología: Aprendizaje de Preferencias de Formato Libre (FPL)

FPL introduce un marco para aprender políticas robóticas a partir de preferencias humanas de formato libre definidas en lenguaje natural, en lugar de colapsar la retroalimentación en un único escalar. El método consta de tres componentes principales:

1. Recolección de Preferencias de Formato Libre

En lugar de preguntar "¿Qué trayectoria es mejor en general?", se muestra a los anotadores pares de trayectorias y se les pide que:

• Definan ejes de preferencia específicos en lenguaje natural (por ejemplo, "velocidad", "seguridad", "formalidad de la configuración", "suavidad"). Estos ejes pueden ser predefinidos o especificados por el anotador durante el proceso.
• Proporcionen preferencias por pares ($y_k \in \{0, 1\}$) para cada eje definido ($l_k$).
  Esto genera un conjunto de datos $\mathcal{P}$ de pares de trayectorias anotadas con etiquetas de lenguaje natural y preferencias binarias por eje.

2. Aprendizaje de Recompensa Condicionado por Lenguaje

FPL aprende un modelo de recompensa único $r_\phi$ condicionado por la descripción en lenguaje natural del eje, aprovechando las representaciones de modelos de visión y lenguaje (VLM) preentrenados.

• Calificación Condicionada al Eje: Para un par de trayectorias $(\tau_i, \tau_j)$ y un conjunto de ejes $\{(l_k, y_k)\}$, el modelo se entrena para minimizar una pérdida de Bradley-Terry modificada:
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• Modelado Temporal: A diferencia de los modelos estándar que califican observaciones individuales, FPL condiciona la recompensa a la historia de la observación. La recompensa a nivel de trayectoria se define como la suma de las puntuaciones por prefijo:
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  donde $g_\phi$ es un transformador multimodal. Esto permite que el modelo capture las dependencias temporales necesarias para evaluar las preferencias a nivel de trayectoria.

3. Extracción de Políticas Multidimensionales

En lugar de colapsar las recompensas multidimensionales aprendidas en un único escalar ponderado (lo que conlleva el riesgo de "reward hacking"), FPL entrena una política $\pi_\theta$ condicionada simultáneamente en los ejes de lenguaje natural y sus correspondientes puntuaciones de recompensa.

• La política se entrena mediante clonación de comportamiento (o RL offline) en un conjunto de datos donde las acciones están condicionadas por el conjunto de ejes $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ y sus recompensas asociadas $r_\phi(\tau | l_k)$.
• Entrenamiento Iterativo: El proceso puede ser iterativo. A medida que la política mejora, los anotadores pueden proporcionar retroalimentación más refinada, y el conjunto de ejes puede expandirse, creando un currículo natural.
• Dirigibilidad en Tiempo de Prueba: En la inferencia, la política puede dirigirse hacia comportos específicos variando los valores de recompensa objetivo condicionados a ejes específicos, sin necesidad de reentrenamiento.

Contribuciones Clave

1. Aprendizaje de Preferencias de Formato Libre (FPL): Un método novedoso para elidir y aprender de las preferencias humanas multidimensionales en lenguaje natural, evitando la ambigüedad de las etiquetas binarias de "calidad general".
2. Modelo de Recompensa Condicionado por Lenguaje: Una función de recompensa que mapea una trayectoria y una descripción de eje en lenguaje natural a una puntuación escalar, permitiendo el aprendizaje de diversos atributos (calidad, velocidad, seguridad, higiene) desde un solo modelo.
3. Componibilidad y Dirigibilidad: El marco permite que las políticas exhiban comportamientos composicionales (combinando rasgos no vistos juntos en los datos) y permite la dirección del comportamiento en tiempo de prueba ajustando el condicionamiento de la recompensa.
4. Supervisión Densa sin Segmentación: FPL aprende señales de progreso densas para tareas de largo horizonte sin requerir la segmentación explícita de subtareas o el modelado manual de recompensas.

Resultados Experimentales

Los autores evaluaron FPL en cuatro tareas del mundo real (poner un cubo en un cuenco, doblar unos pantalones cortos, emplatar una tostada, poner la mesa) y dos tareas simuladas (reordenamiento de objetos, cuadrado bimodal).

• Desempeño: FPL superó a las líneas base (incluyendo recompensas dispersas, aprendizaje de preferencias binarias y regresión ponderada) en un promedio de 38 puntos porcentuales en las tareas del mundo real.
• Simulación: En la tarea "Bimodal Square", FPL logró componer comportamientos (colocar una tuerca en un perno rápidamente) incluso cuando los datos de entrenamiento solo contenían ejemplos rápidos para el otro perno. También logró un alto desempeño en la tarea "invertida" (perno izquierdo) usando la misma política al cambiar el condicionamiento de la recompensa, una capacidad que no está presente en los métodos de línea base.
• Densidad de Recompensa: El análisis cualitativo mostró que las recompensas de FPL condicionadas al eje estaban localizadas temporalmente alrededor de eventos de subtareas específicos (por ejemplo, colocar una taza), mientras que las recompensas de preferencia binaria producían picos ambiguos en etapas tardías.
• Eficiencia de Anotación: La recolección de preferencias de formato libre fue aproximadamente un 50% más rápida por etiqueta que la recolección de preferencias binarias simples, ya que el costo de ver un video se comparte entre múltiples juicios específicos por eje.

Significancia y Reivindicaciones

El artículo afirma que FPL aborda el desafío fundamental de capturar la naturaleza "multidimensional" de la intención humana en la robótica. Al preservar la estructura de la retroalimentación humana en lugar de colapsarla, FPL:

• Proporciona una supervisión más densa y menos ambigua para la optimía de la política.
• Permite la generalización composicional, permitiendo que los robots combinen comportamientos aprendidos (por ejemplo, velocidad + seguridad) de formas no demostradas explícitamente.
• Ofrece dirigibilidad en tiempo de prueba, permitiendo a los usuarios ajustar el comportamiento del robot (por ejemplo, priorizar la velocidad sobre la delicadeza) sin reentrenamiento.
• Demuestra que el lenguaje natural es una interfaz viable y efectiva para definir ejes de recompensa, yendo más allá de las estructuras de recompensa rígidas y predefinidas.

Los autores concluyen que, si bien el aprendizaje de preferencias es más costoso que los enfoques no supervisados, FPL mejora significativamente la calidad y flexibilidad de las políticas aprendidas, lo que lo convierte en una dirección prometedora para el aprendizaje robótico en el mundo real.