How Should a Simulation-to-Reality Transfer Budget Be Spent?

Resumen Técnico: ¿Cómo debería gastarse un presupuesto de transferencia de simulación a realidad?

Planteamiento del problema
En el aprendizaje de robots, la "brecha de realidad" surge cuando las políticas entrenadas en simulación fallan en el hardware físico debido a discrepancias entre la dinámica simulada y la real. Dos estrategias principales abordan esto: la Identificación de Sistemas (ID), que utiliza datos de robots reales para estimar parámetros físicos y ajustar el simulador, y la Randomización de Dominio (DR), que entrena políticas sobre una distribución de simuladores aleatorizados para aprender comportamientos robustos. Ambas estrategias compiten por el mismo recurso escaso: el tiempo limitado de interacción con el robot real (rollouts). Mientras que la literatura existente a menudo estudia estos métodos de forma aislada, la compensación entre asignar presupuesto a la medición precisa (ID) frente a justificar una distribución de aleatorización más amplia (DR) sigue estando poco comprendida. Este artículo enmarca la elección como un problema de asignación de presupuesto: dado un número fijo de rollouts de robot real, ¿cómo deberían dividirse entre la identificación y la aleatorización?

Metodología
Los autores realizaron un estudio sim-to-sim controlado para aislar esta compensación sin las variables de confusión del hardware físico.

• Configuración: Un simulador de "Realidad" ($R$) con parámetros fijos y ocultos (masa del brazo $m$ y longitud de la varilla $\ell$) sirvió como sistema objetivo. Un simulador de "Entrenamiento" ($T$) permitió que estos parámetros fueran ajustados. Los parámetros reales se establecieron en $\theta^* = (2.0, 1.5)$, significativamente alejados del prior nominal $\theta_0 = (1.0, 1.0)$.
• Asignación de Presupuesto: El estudio varió dos variables independientes:
  1. $n$ (Presupuesto de Identificación): El número de rollouts en $R$ utilizados para estimar los parámetros. Estos rollouts utilizaron una política de excitación de torque aleatorio. Los parámetros se estimaron mediante búsqueda de cuadrícula (grid search) minimizando el error de predicción de la velocidad angular de un paso, sujeto a ruido de sensor gaussiano ($\sigma=1.0$).
  2. $w$ (Ancho de Aleatorización): El ancho de la distribución uniforme utilizada para aleatorizar los parámetros durante el entrenamiento, definido como una fracción de la estimación puntual $\hat{\theta}$. $w=0$ implica entrenar en la estimación puntual; un $w$ mayor implica una banda más ancha centrada en $\hat{\theta}$.
• Entrenamiento y Evaluación: Para cada configuración $(n, w)$, se entrenó una política de Soft Actor-Critic (SAC) durante 75,000 pasos. El rendimiento se evaluó mediante el retorno zero-shot en el sistema objetivo oculto $R$ a lo largo de 20 episodios deterministas.
• Alcance: El estudio realizó un barrido de $n \in \{0, 5, 10, 25, 50\}$ y $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ a través de diez semillas, totalizando 250 ejecuciones. La significancia estadística se evaluó utilizando intervalos de confianza de bootstrap pareado.

Resultados Clave
Los experimentos revelaron una jerarquía distinta en el valor de la medición frente a la amplitud de la aleatorización:

1. Dominancia de la Medición: La asignación de rollouts de robot real a la identificación ($n$) fue el principal motor del rendimiento. La brecha de transferencia se cerró abruptamente con los primeros pocos rollouts. Específicamente, pasar de $n=0$ a $n=10$ produjo una mejora masiva en el retorno (aprox. +427 puntos), mientras que aumentar $n$ más allá de 10 proporcionó rendimientos decrecientes.
2. Las Estimaciones Puntuales Superan a la Aleatorización: Una vez que hubo cualquier dato real disponible ($n > 0$), el entrenamiento en los parámetros puntuales estimados ($w=0$) superó significativamente al entrenamiento sobre cualquier banda de aleatorización ensanchada. Incluso una banda estrecha ($w=0.2$) resultó en retornos estadísticamente menores en comparación con $w=0$.
3. La Aleatorización no puede Sustituir a la Medición: La aleatorización amplia que teóricamente contenía el sistema real (por ejemplo, un baseline de rango de prior que cubría $[0.3, 3.0]$) no pudo sustituir a la medición. Las políticas entrenadas con $n=0$ y una aleatorización amplia funcionaron mal (retorno $\approx -749$), comparables al baseline de $n=0, w=0$, y significativamente peores que el baseline de "pure fidelity" de $n=50, w=0$ (retorno $\approx -337$).
4. Robustez: Estos hallazgos se mantuvieron a través de diferentes brechas de realidad (pequeña, principal, grande) y niveles de ruido de sensor. Aunque el "punto de inflexión" específico de la curva de presupuesto se desplazó con los niveles de ruido (por ejemplo, requiriendo más rollouts con mayor ruido), el orden cualitativo se mantuvo: la medición es crítica, y ensanchar la banda después de la medición es perjudicial.

Contribuciones y Significado
El artículo no propone un nuevo algoritmo, sino que proporciona una caracterización medible de la compensación entre identificación y aleatorización bajo un presupuesto fijo.

• Formalización: Formula la elección entre ID y DR como un único problema de asignación de presupuesto y mapea la superficie completa de retorno.
• Evidencia Empírica: Demuestra que en un régimen donde la dinámica es identificable y la familia del simulador contiene el sistema objetivo, la medición domina a la amplitud. Un pequeño número de rollouts de identificación cierra la mayor parte de la brecha de transferencia.
• Recomendación Estratégica: Los autores concluyen que los pipelines de sim-to-real deben priorizar la medición de los parámetros que pueden ser identificados dentro de la clase de modelo del simulador. La aleatorización de dominio debe reservarse únicamente para la incertidumbre que permanece después de la medición, en lugar de usarse como un sustituto de la misma.

Limitaciones y Alcance
Los autores señalan explícitamente que estos resultados se aplican a un "régimen benigno" donde:

• El simulador está bien especificado (sin desajuste estructural del modelo).
• Solo dos parámetros son desconocidos.
• El sistema real es representable por la familia del simulador.

El artículo reconoce que en escenarios del mundo real que involucran desajustes estructurales (por ejemplo, fricción no modelada, holgura o dinámica de contacto) donde ningún ajuste de parámetros puede reproducir perfectamente el objetivo, el valor de la amplitud de la aleatorización puede aumentar. Los presentes hallazgos sirven como una base para ese escenario más difícil, sugiriendo que cuando los parámetros pueden ser identificados, la fidelidad debe preceder a la aleatorización.