Resumen Técnico: Desclonación de Comportamiento: Destilación de la Redirección de Modos en Pesos de Política sin Dirección en el Tiempo de Inferencia

Declaración del Problema

La clonación de comportamiento (BC) permite el entrenamiento de políticas visuomotoras capaces a partir de conjuntos de datos de demostraciones grandes y diversos. Sin embargo, estos conjuntos de datos suelen agregar demostraciones de diferentes operadores y contextos, lo que resulta en políticas que aprenden múltiples "modos de comportamiento" para una misma tarea. Aunque todos los modos pueden completar la tarea con éxito, algunos son inseguros, indeseables o incompatibles con restricciones de despliegue específicas (por ejemplo, pasar un cuchillo con la hoja primero en lugar de con el mango primero).

Las soluciones existentes enfrentan compromisos significativos:

1. Reentrenamiento Filtrado: Eliminar las demostraciones no deseadas y reentrenar desde cero proporciona un control directo, pero requiere acceso a los datos originales e incurre en altos costos computacionales para cada nuevo modo objetivo.
2. Dirección en el Tiempo de Inferencia (Inference-Time Steering): Los métodos que re-clasifican acciones, guían el muestreo de difusión o intervienen en los estados ocultos durante el despliegue evitan el reentrenamiento, pero introducen una carga sustancial de tiempo de inferencia, requiriendo módulos externos o bucles de muestreo que complican el control de baja latencia.

El artículo identifica la brecha para un método que pueda suprimir los modos no deseados en una política ya entrenada sin requerir el conjunto de datos original y sin añadir sobrecarga en el tiempo de inferencia.

Metodología: MoRE (Redirección de Modos)

Los autores proponen MoRE, un marco de edición de política post-hoc que destila una señal de redirección de modo directamente en los pesos de la política. El proceso involucra tres etapas principales:

1. Formulación del Problema

Dada una política de modo mixto $\pi_{\theta_0}$ entrenada en un conjunto de datos $D_{BC}$ particionado en modos $D_k$, el objetivo es editar la política a un nuevo conjunto de parámetros $\theta^*$ de tal manera que los rollouts de bucle cerrado caigan dentro de un conjunto de despliegue deseado $S \subseteq \{1, \dots, K\}$. Los datos de edición $D_{edit}$ pueden consistir en demostraciones originales o rollouts de bucle cerrado de la política mixta, etiquetados con modos de comportamiento.

2. Editor de Redirección de Modos Diferenciable

MoRE utiliza un clasificador de modo de comportamiento ligero y temporal $g_\phi$ entrenado sobre características extraídas de la política original.

• Extracción de Características: Para políticas de Lenguaje-Visión-Acción (VLA), las características son estados ocultos con media agrupada (mean-pooled); para Políticas de Difusión, las características incluyen la condición de observación y el bloque de acción limpia predicha.
• Congelación: Los parámetros del clasificador $\phi$ se congelan tras el entrenamiento. Durante la fase de edición, los parámetros de la política $\theta$ se actualizan mientras el clasificador permanece fijo. Esto permite que los gradientes del clasificador fluyan a través de las características dependientes de la política hacia los pesos de la misma.

3. Optimización con Pérdidas de Retención y Redirección

El objetivo de edición combina dos términos de pérdida para equilibrar la supresión del comportamiento con la competencia de la tarea:
$$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retener}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirigir}}$$

• Pérdida de Retención (Retain Loss): Aplicada a muestras en el conjunto de modos deseados ($D_{des}$), este término utiliza la pérdida de imitación original (por ejemplo, predicción de ruido o emparejamiento de velocidad) para preservar la competencia de la tarea y evitar que la política olvide cómo completar la tarea.
• Pérdida de Redirección (Redirect Loss): Aplicada a muestras de modos no deseados ($D_{undes}$), este término utiliza una pérdida de probabilidad de subconjunto para empujar la masa de probabilidad predicha por el clasificador hacia el conjunto deseado $S$.
• Enmascaramiento de Modo de Origen: Para asegurar la estabilidad, la pérdida de redirección solo se aplica a muestras no deseadas donde la probabilidad del modo de origen es inferior a un umbral $\tau$ (por ejemplo, 0.5). Esto asegura que la redirección ocurra solo en regiones de estado-acción compartidas entre modos, evitando la interrupción de las ramas de ejecución específicas de cada modo, donde la política ya se ha comprometido con una trayectoria.

Después de la edición, el clasificador se descarta. La política resultante $\pi_{\theta^*}$ se ejecuta a través de la ruta de inferencia original con cero sobrecarga adicional.

Contribuciones Clave

1. Formulación de la Desclonación de Comportamiento: El artículo define un nuevo escenario de edición de política enfocado en suprimir modos no deseados para el despliegue, evaluado mediante una métrica de "Tasa de Éxito de Despliegue" (SR) que requiere tanto la completitud de la tarea como la adherencia a un modo de comportamiento aceptable.
2. El Marco MoRE: Un método que destila la redirección guiada por un clasificador en los pesos de la política utilizando una pérdida de retención para mantener la competencia. Soporta ediciones de un solo objetivo y de múltiples objetivos, funciona con demostraciones o rollouts, y elimina el clasificador tras la edición.
3. Validación Exhaustiva: MoRE es validado a través de backbones de Política de Difusión y $\pi_{0.5}$ VLA, control de modo binario y multivariante, despliegues en simulaciones y robots reales, y tareas de manipulación y navegación de cuadrúpedos.

Resultados Experimentales

Los experimentos se realizaron en ocho tareas (cuatro simuladas, cuatro de robot real) que involucran tareas como entrega de cuchillo, colocación en múltiples ubicaciones y navegación de cuadrúpedos.

• Ganancias de Rendimiento: MoRE mejoró la Tasa de Éxito de Despliegue (SR) promedio en 44 puntos porcentuales respecto a la política de modo mixto original. Por ejemplo, en la tarea Push-T, la SR aumentó del 50.0% al 98.3%.
• Comparación con Baselines:
  • Vs. Aprendizaje de Preferencias (CPL): MoRE logró desplazamientos de modo más fuertes y una mayor SR. CPL proporcionó solo desplazamientos parciales y, en ocasiones, redujo la Tasa de Completitud de la Tarea (TCR).
  • Vs. Dirección en el Tiempo de Inferencia (DynaGuide): Aunque DynaGuide mejoró la alineación de modo en algunas tareas, incurrió en una ralentización del tiempo de inferencia de 8.47x. MoRE mantuvo la velocidad de inferencia original.
  • Vs. Reentrenamiento Filtrado: MoRE se acercó al rendimiento de las políticas reentrenadas desde cero con datos filtrados sin requerir acceso al conjunto de datos original o un reentrenamiento completo.
• Generalización: El método se transfirió con éxito a través de diferentes backbones de política (de Política de Difusión a $\pi_{0.5}$ VLA), diferentes tipos de embodiment (manipulación de brazo a navegación de cuadrúpedo) y de simulación a despliegue en el mundo real.
• Eficiencia de Datos: MoRE se mantuvo efectivo incluso utilizando únicamente rollouts de bucle cerrado de la política mixta como datos de edición, aunque las demostraciones originales produjeron resultados ligeramente mejores.

Significado y Reivindicaciones

El artículo posiciona a MoRE como una solución práctica para la "tensión de despliegue" entre la diversidad de los conjuntos de datos y las restricciones de seguridad/aceptabilidad. Al destilar las señales de redirección directamente en los pesos, MoRE permite la creación de políticas independientes y seguras que no requieren módulos de dirección externos ni reentrenamiento desde cero.

Los autores afirman explícitamente que MoRE debe verse como un método de edición de control de modo y no como una capa de seguridad certificada. Su efectividad depende de supuestos específicos:

• La disponibilidad de datos de edición etiquetados por modo (o rollouts inferibles de manera confiable).
• Una interfaz de clasificador donde las características expongan información de modo antes de que la trayectoria se comprometa totalmente con un modo de origen.

El trabajo sugiere que los comportamientos específicos pueden redirigirse directamente en los pesos del modelo, ofreciendo un camino para un despliegue robótico más seguro y controlable sin los costos computacionales o de latencia de la intervención en el tiempo de inferencia. Las direcciones de trabajo futuro identificadas incluyen el manejo de etiquetas más ruidosas, el descubrimiento de taxonomías de modo jerárquicas y el abordaje de cambios de distribución más fuertes.