Resumen Técnico: Política de Difusión Supervisada por Conjuntos (SDP)

Declaración del Problema

Las Políticas de Difusión (DP) han surgido como un marco robusto para la manipulación robótica, particularmente en espacios de acción-chunk de alta dimensión y continuos. Sin embargo, al igual que otros métodos de Clonación de Comportamiento (BC), las DP son vulnerables al desplazamiento de la distribución, donde la distribución de estados inducida por la política se desvía de los datos de entrenamiento durante el despliegue. Una estrategia de mitigación común involucra intervenciones de un humano en el bucle, donde un profesor corrige los fallos del robot.

Los canales actuales de agregación de datos y las pérdidas estándar de BC ignoran en gran medida la "señal negativa" proporcionada por las acciones no deseadas del robot durante estas intervenciones. Típicamente, solo registran las acciones correctivas del profesor, sesgando el aprendizaje hacia la distribución específica del profesor. Esto conduce al sobreajuste de datos de expertos potencialmente imperfectos o ruidosos y a una dependencia creciente de intervenciones costosas y de alta calidad. Además, los métodos existentes que intentan aprender de preferencias o correcciones (por ejemplo, la Optimización de Preferencia Directa o los Modelos Basados en Energía como CLIC) tienen dificultades con los action-chunks de alta dimensión o carecen de la estabilidad e integración con los mecanismos de action-chunking que hacen efectivas a las DP.

Metodología: Política de Difusión Supervisada por Conjuntos (SDP)

Los autores proponen la Política de Difusión Supervisada por Conjuntos (SDP), un marco que aprovecha los datos de acción-chunk contrastivos (pares de acciones positivas y negativas) para entrenar políticas de difusión. En lugar de tratar la acción del profesor como un único objetivo exacto, la SDP construye un conjunto de action-chunks deseados que sirve como un objetivo con valores de conjunto para el aprendizaje de la política.

1. Extensión de los Conjuntos de Acciones Deseados a Action-Chunks

Basándose en el concepto de supervisión con valores de conjunto de CLIC (que opera sobre acciones de un solo paso), la SDP extiende esto a action-chunks (secuencias de acciones $A_t = [a_t, \dots, a_{t+T-1}]$).

• Dado una observación $O_t$ y un par de action-chunks (negativo $A^-$ del robot, positivo $A^+$ del humano), la SDP define un conjunto de acciones deseado $\hat{A}_t$.
• Este conjunto se construye como una secuencia de conjuntos deseados de un solo paso $\hat{A}^s_{t+i}$, donde cada paso se define por la distancia entre las acciones negativa y positiva.
• Un action-chunk pertenece al conjunto si cada acción de un solo paso dentro de él cae dentro del correspondiente conjunto deseado de un solo paso. Esto relaja el requisito de coincidir con la acción exacta del profesor, permitiendo acciones alternativas que son igualmente deseables.

2. Objetivo de Entrenamiento y Muestreo

Entrenar una política de difusión para maximizar la probabilidad de muestrear de este conjunto no es trivial porque los modelos de difusión no proporcionan estimaciones de verosimilitud explícitas requeridas para las pérdidas de divergencia KL estándar utilizadas en los Modelos Basados en Energía.

• Aproximación: La SDP aproxima el objetivo maximizando la verosimilitud de una lista de action-chunks deseados muestreados extraídos de la distribución objetivo.
• Muestreo Restringido: Para generar estos samples, la SDP emplea un procedimiento de muestreo de difusión reflejada (reflected diffusion sampling). Durante el proceso de eliminación de ruido, las muestras intermedias se proyectan de nuevo en el conjunto deseado si este cruza el límite. Específicamente, si un paso de eliminación de ruido cae fuera del conjunto, se proyecta a la acción positiva correspondiente ($a^+$). Esto asegura que los samples generados permanezcan dentro del conjunto deseado mientras se mantienen cerca de la distribución actual de la política.
• Función de Pérdida: La política se entrena utilizando una pérdida de eliminación de ruido estándar (similar a BC) pero sobre estos action-chunks muestreados en lugar de las acciones brutas del profesor.

3. Canal de Agregación de Datos

La SDP se integra con un bucle de aprendizaje interactivo en línea:

• Cuando un humano interviene, el sistema registra tanto la acción del profesor ($A^+$) como la acción no ejecutada del robot ($A^-$) para el mismo paso de tiempo.
• Estos pares forman un conjunto de datos contrastivos utilizado para construir los conjuntos de acciones deseados.
• El marco soporta tanto el aprendizaje en línea (agregación de datos durante la ejecución) como el aprendizaje fuera de línea (aumento de conjuntos de datos de demostración existentes mediante la síntesis de acciones negativas).

Principales Contribuciones

1. Supervisión con Valores de Conjunto para Políticas de Difusión: El artículo introduce un nuevo marco que adapta la supervisión con valores de conjunto (previamente limitada a EBM y acciones de un solo paso) a políticas de difusión que operan en espacios de action-chunks de alta dimensión.
2. Aprendizaje Contrastivo a partir de Correcciones: La SDP utiliza eficazmente la señal negativa de los fallos del robot durante las intervenciones humanas, en lugar de descartarla. Esto reduce el sobreajuste a las acciones específicas del profesor y mejora la robustez ante datos ruidosos.
3. Estrategia de Muestreo por Reflexión: Los autores proponen un canal de entrenamiento práctico que involucra un proceso de eliminación de ruido restringido con operadores de reflexión para generar action-chunks deseados válidos para entrenar modelos de difusión.
4. Mejora de la Calidad de los Datos: El método induce conjuntos de datos de mayor calidad durante el aprendizaje en línea al fomentar la exploración dentro del conjunto de acciones deseado, lo que conduce a una mayor cobertura de estados en comparación con los enfoques estándar de BC.

Resultados Experimentales

Los autores evaluaron la SDP en múltiples tareas de manipulación simuladas (Push-T, Square, PickCan, TwoArmLift) y tareas del mundo real (Insert-T, Round-table Assembly).

• Aprendizaje Interactivo en Línea: La SDP superó consistentemente a las líneas base de vanguardia (DP, DP-DPO, CLIC, IBC) tanto en entornos de intervención precisos como ruidosos. Notablemente, la SDP mostró una degradación de rendimiento significativamente menor bajo retroalimentación ruidosa en comparación con la DP estándar, demostrando una robustez superior.
• Aprendizaje Fuera de Línea: Las políticas entrenadas fuera de línea en conjuntos de datos recolectados por agentes SDP superaron a aquellas entrenadas en conjuntos de datos recolectados por agentes DP estándar. Esto sugiere que la SDP genera conjuntos de datos con mejor cobertura de estado y propiedades para la generalización.
• Rendimiento en el Mundo Real: En tareas de largo horizonte en el mundo real, la SDP logró tasas de éxito más altas que la DP, particularmente cuando se entrenó en conjuntos de datos que contienen correcciones humanas. Se demostró que el método es más efectivo para aprovechar los datos de corrección para mejorar el rendimiento en tareas difíciles.
• Estudios de Ablación: Los experimentos confirmaron que la estrategia de muestreo basada en la reflexión es crítica para el rendimiento, superando a otras alternativas como la guía de clasificador (classifier guidance).

Significado y Reivindicaciones

El artículo afirma que la supervisión contrastiva es una señal poderosa pero subutilizada para el aprendizaje de políticas robóticas. Al cambiar de la imitación puntual a la supervisión con valores de conjunto, la SDP mitiga los problemas de sobreajuste inherentes al comportamiento de clonación estándar. Los autores argumentan que este enfoque permite que las políticas mejoren más allá de la calidad de los datos de entrenamiento (similar al Aprendizaje por Refuerzo) manteniendo la estabilidad y expresividad de los modelos de difusión.

El trabajo demuestra que modelar explícitamente el espacio de acciones aceptables mediante correcciones humanas conduce a políticas más robustas y a datos de entrenamiento de mayor calidad, reduando la dependencia de demostraciones de expertos perfectos. Los autores reconocen limitaciones, como el costo computacional de muestrear los action-chunks deseados durante el entrenamiento y la suposición de retroalimentación de corrección absoluta (en lugar de relativa).