Resumen Técnico: RoDiF – Ajuste Fino Directo Robusto de Políticas de Difusión con Retroalimentación Humana Corrupta

1. Planteamiento del Problema

Las políticas de difusión han emergido como un paradigma poderoso para el control robótico, ofreciendo capacidades superiores para capturar distribuciones multimodales y manejar espacios de acción de alta dimensión en comparación con las políticas gaussianas o deterministas tradicionales. Sin embargo, el ajuste fino de estas políticas preentrenadas para alinearlas con preferencias humanas específicas presenta dos desafíos fundamentales:

1. Desajuste Estructural: A diferencia de los modelos de lenguaje autorregresivos, las políticas de difusión operan mediante una cadena de eliminación de ruido de múltiples pasos anidada dentro del Proceso de Decisión de Markov (MDP) del entorno. Los métodos existentes de Optimización Directa de Preferencias (DPO) no consideran de forma nativa este doble proceso temporal (pasos internos de eliminación de ruido frente a la dinámica externa del entorno), lo que hace que la derivación de un objetivo DPO tratable sea no trivial.
2. Retroalimentación Humana Corrupta: La retroalimentación humana en el control robótico es a menudo estocástica y contiene inconsistencias que van más allá de los supuestos de ruido estándar (por ejemplo, cambios de etiqueta, desacuerdo entre anotadores o criterios no estacionarios). El ajuste fino ingenuo sobre tales datos provoca que los modelos se sobreajusten a comparaciones conflictivas, optimizando efectivamente para restricciones erróneas en lugar de la intención humana, lo que degrada tanto la alineación como el rendimiento de la tarea.

2. Metodología

El marco propuesto, RoDiF (Ajuste Fino Directo Robusto), aborda estos desafíos a través de una formulación teórica unificada y una estrategia de optimización con base geométrica.

2.1 Formulación de MDP Unificado

Para permitir el uso de DPO en políticas de difusión, los autores introducen un MDP Unificado que integra coherentemente la cadena de eliminación de ruido de la difusión con la dinámica del entorno.

• Definición de Estado y Acción: El estado unificado $s^+$ combina el estado actual del entorno $s_t$ y el vector de ruido inicial $a^K_t$. La acción unificada $a^+$ representa la secuencia de pasos de eliminación de ruido $(a^{K-1}_t, \dots, a^0_t)$.
• Dinámica de Transición: La función de transición aplana el proceso, tratando la inyección de ruido aleatorio y la transición del entorno como un solo paso.
• Factorización de la Política: La política unificada $\pi_\theta(a^+|s^+)$ se factoriza en el producto de las probabilidades de eliminación de ruido condicionales en cada paso $k$, permitiendo la aplicación de los trucos de reparametrización estándar de DPO al proceso de difusión sin un modelado explícito de la recompensa.

2.2 Perspectiva Geométrica de Corte de Hipótesis

RoDiF reinterpreta el objetivo de DPO a través de una lente geométrica.

• Espacio de Hipótesis: El espacio de parámetros de la política de difusión se ve como un espacio de hipótesis $\Theta$.
• Preferencia como Cortes: Cada par de preferencia humana (trayectoria ganadora $\tau_w$ frente a trayectoria perdedora $\tau_l$) induce una restricción de desigualdad (un "corte") en el espacio de parámetros. Un parámetro de política válido debe satisfacer $\Delta Q_\theta \geq 0$ para el par preferido.
• El Problema del Ruido: En presencia de etiquetas corruptas, una sola preferencia incorrecta puede crear un "falso corte" que excluye el parámetro óptimo real $\theta_H$ de la intersección de todos los cortes, desviando irreversiblemente el proceso de aprendizaje.

2.3 Estrategia de Votación Conservadora

Para lograr la robustez sin asumir una distribución de ruido específica, RoDiF emplea una estrategia de corte conservadora:

• Mecanismo de Votación: En lugar de requerir que un parámetro satisfaga todos los cortes de preferencia (lo cual falla si alguna etiqueta está corrupta), el método trata cada corte como un voto.
• Umbral de Conservadurismo: Se introduce un nivel de conservadurismo $\gamma \in [0, 1]$, que representa una estimación del límite superior de la tasa de corrupción. El objetivo de optimización se relaja para retener los parámetros que satisfacen al menos $\lfloor(1-\gamma)N\rfloor$ cortes.
• Función de Pérdida Robusta: La pérdida DPO estándar se modifica para una pérdida robusta $L_{RoDiF}$. La función escalón de Heaviside no diferenciable (utilizada para contar votos) se suaviza mediante una función sigmoide para permitir la optimización basada en gradientes. Esto permite que la política ignore hasta $\gamma N$ etiquetas inconsistentes mientras sigue convergiendo hacia la verdadera política alineada con el humano.

3. Contribuciones Clave

1. Formulación de MDP Unificado: Una formulación novedosa que integra los pasos de eliminación de ruido de la difusión con las transiciones del entorno, permitiendo la derivación de un objetivo DPO tratable y libre de recompensa para políticas de difusión.
2. Algoritmo RoDiF: Un algoritmo con base geométrica que ajusta finamente de forma robusta las políticas de difusión mediante el aprovechamiento del corte de hipótesis conservador. Mitiga el impacto de las etiquetas de preferencia inconsistentes sin requerir conocimiento previo de la distribución del ruido.
3. Validación Empírica: Experimentos extensos que demuestran que RoDiF supera significativamente a las líneas base del estado del arte (incluyendo DPO estándar, CPO, IPO y SimPO) en tareas de manipulación de largo horizonte y alta dimensión, manteniendo un alto rendimiento de alineación incluso bajo un 30% de etiquetas de preferencia corruptas.

4. Resultados Experimentales

El método fue evaluado en cinco tareas de manipulación de largo horizonte (Evitar, Empujar, Clasificar, Alinear, Apilar) utilizando tres diferentes arquitecturas de difusión (UNet, Transformer, MLP).

• Efectividad de la Alineación: RoDiF dirigió con éxito las políticas preentrenadas hacia los modos especificados por el usuario, incluso cuando esos modos no eran dominantes en la política preentrenada (por ejemplo, logrando >84% de alineación de modo en la tarea de "Evitar" donde la línea base fue <21%).
• Robustez al Ruido:
  • Bajo un 0% de corrupción, RoDiF se desempeñó de manera comparable a DPO estándar.
  • Bajo un 20% y 30% de corrupción, DPO estándar y otras líneas base (como SimPO) se degradaron significamente (por ejemplo, la tasa de éxito de SimPO cayó del 43% al 10% bajo un 20% de ruido).
  • RoDiF mantuvo un alto rendimiento (>84% de tasa de éxito) en todos los niveles de ruido, aislando eficazmente la señal de dirección del ruido sistemático de las etiquetas.
• Agnosticismo de Arquitectura: El método demostró ser efectivo en diversas arquitecturas de difusión (UNet, Transformer, MLP).
• Eficiencia de Muestreo: El marco demostró una alta eficiencia de muestreo, logrando una alineación sólida con tan solo 10 pares de ganador-perdedor en tareas específicas.

5. Significado y Reivindicaciones

El artículo afirma que RoDiF hace avanzar la seguridad y la fiabilidad del aprendizaje robótico basado en preferencias. Al mitigar explícitamente los efectos de la retroalimentación humana errónea o inconsistente, el marco reduce el riesgo de actualizaciones de política frágiles o inestables. Esto se presenta como un paso crítico hacia el despliegue de sistemas robóticos en entornos del mundo real sensibles a la seguridad, donde los anotadores humanos pueden proporcionar datos imperfectos. El trabajo enfatiza la robustez como un requisito fundamental para el despliegue responsable, ofreciendo una solución que no depende de datos perfectos o de un modelado de recompensa complejo.