Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

Resumen Técnico: Clonación de Comportamiento Ponderada por Razón de Densidad

Enunciado del Problema
El aprendizaje por refuerzo (RL) fuera de línea permite la optimización de políticas a partir de conjuntos de datos fijos, ofreciendo una solución crítica para dominios de seguridad crítica como vehículos autónomos y robótica industrial, donde la exploración en línea es inviable. Sin embargo, los conjuntos de datos del mundo real se ven frecuentemente comprometidos por envenenamiento de datos derivado de fallos de sensores, ataques ciberfísicos, errores de anotación o manipulaciones adversarias. La Clonación de Comportamiento (BC) estándar y los algoritmos de RL fuera de línea tratan implícitamente todas las trayectorias como igualmente fiables, mezclando muestras limpias y corruptas durante la optimización. Esto conduce a un rendimiento degradado de la política, inestabilidad o violaciones de seguridad, particularmente bajo envenenamiento moderado a severo, donde anomalías sutiles pueden interrumpir tareas de control como el seguimiento de trayectorias. Los estudios existentes de robustez a menudo se centran en canales de corrupción específicos o asumen distribuciones de mezcla conocidas, dejando un vacío en el manejo de mecanismos de contaminación arbitrarios y desconocidos en conjuntos de datos de control fuera de línea.

Metodología
El artículo propone Clonación de Comportamiento Ponderada por Razón de Densidad (BC Ponderada), un marco de aprendizaje por imitación robusto diseñado para aprender a partir de conjuntos de datos fuera de línea contaminados sin conocimiento previo del mecanismo de corrupción. La metodología central se basa en tres etapas:

1. Utilización de un Conjunto de Referencia: El enfoque asume el acceso a un conjunto de referencia ($D_{ref}$) pequeño, verificado y disjunto de trayectorias de expertos limpias, distinto del conjunto de datos principal ($D$) potencialmente contaminado.
2. Estimación de la Razón de Densidad Basada en Discriminador: Se entrena un discriminador binario $d_\phi$ para distinguir entre trayectorias del conjunto de referencia limpio (clase 1) y el conjunto de datos principal contaminado (clase 0). El discriminador minimiza una pérdida de entropía cruzada binaria. Bajo muestreo equilibrado, la razón de densidad $r(\tau) = p_{clean}(\tau)/p(\tau)$ se recupera como $d_\phi(\tau) / (1 - d_\phi(\tau))$.
3. Objetivo Ponderado: Estas razones estimadas se recortan a un rango determinista $[\epsilon, C]$ para garantizar la estabilidad numérica y se utilizan como pesos en el objetivo de la Clonación de Comportamiento. La pérdida empírica se convierte en:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   donde $w_i = \text{clip}(r(\tau_i), \epsilon, C)$. Este esquema de ponderación prioriza las trayectorias que se asemejan al comportamiento experto limpio, mientras que reduce el peso o descarta segmentos anómalos.

El método se evalúa frente a cuatro protocolos de envenenamiento específicos aplicados a puntos de referencia de control continuo:

• Envenenamiento de Recompensa: Inversión de recompensas positivas para penalizar el buen comportamiento.
• Envenenamiento de Estado: Adición de ruido gaussiano a los estados para simular fallos de sensores.
• Envenenamiento de Transición: Mezcla de observaciones del siguiente estado para interrumpir las conexiones causales.
• Envenenamiento de Acción: Perturbación de acciones con ruido gaussiano.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Propuesta Algorítmica: Introduce la BC Ponderada, que utiliza pequeños conjuntos de referencia verificados para identificar y reducir el peso de las trayectorias corruptas mediante ponderación basada en discriminador. Esto permite un aprendizaje robusto de políticas sin requerir conocimiento del mecanismo de corrupción específico.
2. Fundamentos Teóricos: Los autores establecen garantías teóricas, incluidos límites de aproximación de riesgo limpio uniforme y garantías de exceso de riesgo limpio para la política aprendida. Crucialmente, se demuestra que estos límites son independientes de la tasa de contaminación ($\alpha$) bajo umbrales de recorte apropiados, separando los errores de muestra finita, los errores del discriminador y el sesgo de recorte.
3. Marco de Evaluación: Se establece un marco de evaluación integral, que incorpora diversos escenarios de envenenamiento (acción, estado, transición y recompensa) en puntos de referencia de control continuo (D4RL), abordando un vacío en la literatura existente que a menudo asume tipos de corrupción específicos.

Resultados
Se realizaron experimentos en los puntos de referencia D4RL (HalfCheetah, Ant, Hopper, Walker2d) con niveles de contaminación que van del 20% al 100% ($\alpha \in \{0.2, \dots, 1.0\}$). La BC Ponderada se comparó con la BC Tradicional, el Aprendizaje Q por Lotes Constrained (BCQ) y el Actor-Crítico Regularizado por Comportamiento (BRAC).

• Robustez: La BC Ponderada mantuvo un rendimiento casi óptimo incluso con altas tasas de contaminación ($\alpha \ge 0.8$), mientras que las líneas base sufrieron una degradación significativa.
• Envenenamiento de Acción: En este escenario, las líneas base colapsaron (por ejemplo, la BC Tradicional degradó a ~2,500 de retorno frente a la BC Ponderada manteniendo >10,000 en HalfCheetah con $\alpha=1.0$). El discriminador identificó con éxito las trayectorias con acciones corruptas como desviaciones de la variedad de comportamiento.
• Envenenamiento de Estado y Transición: La BC Ponderada mostró estabilidad consistente, mientras que las restricciones basadas en VAE de BCQ fallaron en modelar dinámicas corruptas, y BRAC exhibió inestabilidad bajo corrupción de estado.
• Envenenamiento de Recompensa: Dado que la BC depende de pares estado-acción en lugar de señales de recompensa, la BC Ponderada mantuvo el 80-90% del rendimiento de la línea base, mientras que BRAC falló en varios entornos.
• Retención: La BC Ponderada retuvo más del 80% del rendimiento limpio hasta un 60% de contaminación en todos los tipos de envenenamiento, superando significativamente la degradación lineal observada en la BC Tradicional.

Significado y Afirmaciones
El artículo afirma que la BC Ponderada proporciona una solución robusta para el RL fuera de línea en presencia de envenenamiento de datos arbitrario, un requisito crítico para desplegar controladores basados en aprendizaje en sistemas de seguridad crítica. Al aprovechar un pequeño conjunto de referencia verificado, el método filtra eficazmente los datos corruptos sin necesidad de modelar la naturaleza específica del ataque. El análisis teórico confirma que el enfoque converge a la política experta limpia con límites de muestra finita que no dependen de la severidad de la contaminación. Empíricamente, el método demuestra una resiliencia superior en comparación con los algoritmos de RL fuera de línea más avanzados, particularmente en regímenes de alta contaminación donde los métodos estándar fallan. El trabajo enfatiza que la evaluación a nivel de trayectoria es esencial para capturar la consistencia temporal y las anomalías relevantes para el control, distinguiéndolo de métodos que solo abordan artefactos aislados de estado-acción.