Resumen Técnico: BEACON

Declaración del Problema

El aprendizaje de robots mediante clonación de comportamiento (BC) ha avanzado significativamente con modelos de secuencia como las Políticas de Difusión, sin embargo, persiste un cuello de botella crítico: las políticas entrenadas en un dominio (fuente) a menudo se degradan al desplegarse en otro (objetivo), incluso cuando la semántica de la tarea es idéntica. Estas brechas de dominio surgen de discrepancias visuales (textura, iluminación, pose de la cámara) y desajustes físicos (fricción, dinámicas de contacto, retardos de actuación). Si bien la recolección de conjuntos de datos a gran escala en el dominio objetivo es costosa y difícil de escalar, los datos de origen (por ejemplo, de simulación o demostraciones humanas) son abundantes pero a menudo desajustados.

Los enfoques existentes para este problema se dividen en dos categorías:

1. Aleatorización de Dominio: Aumenta la diversidad de la fuente para mejorar la robustez, pero no alinea explícitamente las distribuciones.
2. Adaptación de Dominio: Alinea explícitamente las representaciones de origen y objetivo (por ejemplo, mediante coincidencia de características o entrenamiento adversarial). Sin embargo, estos métodos a menudo dependen de objetivos heurísticos, pueden pasar por alto desplazamientos no visuales y tienen dificultades con configuraciones de múltiples fuentes donde las fuentes difieren entre sí y también del objetivo.

La pregunta central abordada por este artículo es: ¿Cómo podemos aprovechar las demostraciones de origen abundantes pero desajustadas para mejorar la generalización en el dominio objetivo minimizando la necesidad de datos etiquetados del objetivo, sin depender de pérdidas de alineación heurísticas?

Metodología: BEACON

Los autores proponen BEACON (Adaptación de Máximo Esfuerzo para Co-Entrenamiento Cruzado de Dominios), un marco impulsado por la teoría que reencuadra el co-entrenamiento cruzado de dominios como un problema de reponderación por importancia consciente de la discrepancia.

Fundamento Teórico

BEACON se basa en el marco de Adaptación de Máximo Esfuerzo (BEA) [23]. En lugar de mezclar ingenuamente datos de origen y objetivo o imponer una alineación de características, BEACON aprende conjuntamente una política $\pi_\theta$ y un conjunto de pesos por muestra $q$ para minimizar un límite de generalización derivado teóricamente para el dominio objetivo.

La función objetivo (Ecuación 6) minimiza:
$$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$$

Donde:

• $\ell_{BC}$ es la pérdida de clonación de comportamiento por difusión.
• $d_i$ es un término de discrepancia que penaliza las muestras de origen que no coinciden con el objetivo.
• $p_0$ es una ponderación de referencia (distribución empírica solo del objetivo).
• Los términos de regularización ($\lambda_1, \lambda_2$) aseguran que los pesos aprendidos permanezcan anclados a la distribución objetivo y previenen soluciones degeneradas.

Adaptaciones Prácticas para Robótica

Aplicar el marco BEA original a políticas de difusión de alta dimensión requirió varias adaptaciones clave:

1. Estimación de Discrepancia a Nivel de Instancia: En lugar de una única penalización a nivel de dominio, BEACON calcula una puntuación de discrepancia por muestra $d_i$. El estimador predeterminado utiliza k-Vecinos Más Cercanos (k-NN) en el espacio de incrustación del codificador de visión de la política. Mide la distancia de una muestra de origen a sus vecinos más cercanos en el objetivo, normalizada por la dispersión dentro del objetivo. Esto permite al sistema identificar y reducir el peso de trayectorias de origen específicas "atípicas" que son visual o comportamentalmente incompatibles con el objetivo, incluso dentro de un único simulador.
2. Optimización Alternada Estocástica: Debido al costo computacional de los modelos de difusión, BEACON emplea actualizaciones alternadas estocásticas en lugar de una minimización por lotes completos. Alterna entre:
   • Actualización de Pesos ($q$): Un paso de subgradiente proyectado basado en la pérdida por ejemplo y la discrepancia.
   • Actualización de Política ($\theta$): Un paso AdamW sobre la pérdida del minibatch ponderado.
   • Control de Complejidad: El control de capacidad basado en normas original se reemplaza por una decadencia de pesos compatible con el optimizador ($\gamma \|q\|_\infty R(\theta)$), vinculando el peso máximo de la muestra a la fuerza de regularización.
3. Extensión Multi-Fuente (MS-BEACON): Para escenarios con dominios de origen heterogéneos (por ejemplo, múltiples simuladores), el método introduce un esquema de ponderación de dos niveles: un peso a nivel de dominio $w$ para seleccionar dominios de origen útiles, y un peso a nivel de instancia $\tilde{q}$ para filtrar trayectorias desajustadas dentro de cada dominio.

Contribuciones Clave

1. Co-Entrenamiento Impulsado por Teoría: BEACON es el primer método que adapta el marco BEA a políticas generativas de robots, minimizando directamente un límite de generalización basado en discrepancias en lugar de depender de pérdidas de alineación de características heurísticas.
2. Reponderación a Nivel de Instancia Escalable: La introducción de estimadores de discrepancia a nivel de instancia escalables (k-NN en el espacio de incrustación) permite que el método maneje políticas de secuencia de alta dimensión y datos de origen heterogéneos de manera efectiva.
3. Alineación de Características Implícita: El artículo demuestra que la alineación de características emerge naturalmente como un subproducto del objetivo de reponderación consciente de la discrepancia, sin requerir un término de pérdida de alineación explícito.
4. Robustez Multi-Fuente: La extensión MS-BEACON equilibra efectivamente dominios de origen heterogéneos, mitigando la transferencia negativa cuando las fuentes difieren significativamente entre sí y del objetivo.

Resultados Experimentales

BEACON se evaluó en tareas de manipulación sim-a-sim, sim-a-real y de múltiples fuentes (apilamiento de bloques, limpieza de tazas, enhebrado) en un robot Franka Emika Panda.

• Generalización Superior: BEACON superó consistentemente a las líneas base, incluyendo Solo-Objetivo, Co-Entrenamiento de proporción fija y métodos de alineación de características (MMD, UOT).
  • En sim-a-sim (brechas de textura y punto de vista), BEACON logró una tasa de éxito promedio de 0.64 (brecha de textura) y 0.45 (textura + punto de vista), superando a la siguiente mejor línea base (MMD) por un margen significativo.
  • En sim-a-real, donde las políticas Solo-Objetivo casi fallaron (0.10 de éxito promedio), BEACON logró un 0.77 de éxito promedio, demostrando robustez ante brechas tanto visuales como físicas.
• Robustez Fuera de Distribución (OOD): BEACON mantuvo el rendimiento cuando se evaluó en instancias de tareas fuera de la distribución de las demostraciones objetivo, mientras que las líneas base de alineación de características (como MMD) sufrieron una degradación significativa.
• Alineación Implícita: Las visualizaciones UMAP confirmaron que BEACON acerca las características latentes de origen y objetivo como resultado de la dinámica de reponderación, a pesar de carecer de una pérdida de alineación explícita.
• Eficiencia de Datos: Escalar las demostraciones objetivo mejoró aún más el rendimiento de BEACON, lo que indica que la reponderación de origen amplifica el valor de los datos objetivo en lugar de reemplazarlos.

Significado y Afirmaciones

El artículo afirma que BEACON ofrece un paradigma complementario a los métodos existentes de adaptación de dominio. En lugar de centrarse en forzar la coincidencia de espacios latentes (lo que puede colapsar la geometría relevante para la tarea), BEACON se centra en seleccionar qué trayectorias de origen deben influir en el aprendizaje del objetivo.

Los autores afirman que:

• La reponderación por importancia es una palanca de diseño más fundamental para el aprendizaje de robots cruzado de dominios que la elección de dónde alinear representaciones en una red.
• Fundamentar esta palanca en la teoría de generalización produce ganancias concretas en robustez y eficiencia de datos.
• El método es particularmente efectivo en regímenes de pocos datos objetivo, donde la recolección de grandes conjuntos de datos objetivo es inviable.

El artículo reconoce limitaciones, señalando que los experimentos se restringieron a interacciones cuasi-estáticas y que la suposición de datos reales escasos podría no cumplirse en todos los escenarios futuros donde podrían estar disponibles grandes conjuntos de datos heterogéneos del mundo real. Sin embargo, los resultados sugieren que el mecanismo de reponderación propuesto sigue siendo una estrategia robusta para manejar desplazamientos de dominio.