Domain-Adaptive Communication-Rate Optimization for Sim-to-Real Humanoid-Robot Wireless XR Teleoperation

Resumen Técnico: Optimización de la Tasa de Comunicación Adaptativa al Dominio para la Teleoperación Inalámbrica de Realidad Extendida (XR) en Robots Humanoides de Simulación a Realidad

Enunciado del Problema
La teleoperación inalámbrica de Realidad Extendida (XR) ofrece un método escalable para recopilar demostraciones de alta calidad de robots humanoides mediante interfaces humanas inmersivas. Sin embargo, su adopción generalizada se ve obstaculizada por la alta sobrecarga energética requerida para el muestreo y la transmisión frecuentes de movimiento, especialmente dada la naturaleza variable en el tiempo de los canales inalámbricos (debido a la movilidad, el bloqueo y la interferencia). Además, entrenar políticas conscientes de la comunicación directamente en robots físicos suele ser impráctico debido a las restricciones de seguridad, los costos de hardware y las ineficiencias en la recopilación de datos. En consecuencia, las políticas se entrenan típicamente en simulación, pero esto introduce un desplazamiento de distribución "de simulación a realidad" que degrada el rendimiento al desplegarse en hardware físico. El desafío central consiste en diseñar un marco que optimice conjuntamente la precisión de la reconstrucción del movimiento y el consumo de energía de la comunicación, abordando explícitamente la brecha de distribución entre el entrenamiento en simulación y el despliegue en el mundo real.

Metodología
El artículo propone un marco de sistema unificado que integra el muestreo, la transmisión, la interpolación y la reconstrucción, acoplado con un enfoque de aprendizaje por refuerzo (RL) adaptativo al dominio.

1. Marco de Sistema y Formulación del Problema:

   • El sistema opera en intervalos de decisión discretos donde se seleccionan tasas de muestreo por dimensión para los datos de movimiento XR.
   • Se formula un problema de optimización a largo plazo para minimizar el costo promedio de teleoperación en el sistema real, equilibrando el error de reconstrucción y la energía de comunicación efectiva.
   • Dado que el sistema real no se utiliza para el entrenamiento interactivo, el problema se resuelve utilizando despliegues en simulador corregidos por datos offline del dominio real. Esto se modela como un Proceso de Decisión de Markov (MDP) donde el objetivo incluye un peso de relación de densidad ($\iota_t$) para convertir las expectativas del simulador en expectativas del dominio real.

2. Análisis Teórico (PAC-Bayes):

   • Los autores derivan una caracterización de generalización PAC-Bayes para la transferencia de simulación a realidad.
   • Este análisis descompone la brecha de rendimiento del dominio real en cuatro componentes: riesgo empírico ponderado por importancia, error de aproximación de la relación de densidad, desviación de muestra finita y sesgo de representación del codificador.
   • Esta base teórica guía el diseño de la optimización de la política para mitigar fuentes específicas de error, particularmente el sesgo del codificador y las imprecisiones en la estimación de la relación de densidad.

3. Algoritmo de Optimización de Política Adaptativa al Dominio:

   • El algoritmo propuesto utiliza la Optimización de Política Proximal (PPO) mejorada con ponderación de relación de densidad latente y regularización de región de confianza. El entrenamiento procede en tres fases:
     • Calentamiento del Codificador: Un codificador de Perceptrón Multicapa (MLP) se inicializa utilizando una pérdida de Discrepancia de Medida Máxima (MMD) sobre muestras mixtas del simulador y del dominio real para crear un espacio latente compartido.
     • Fase 1 (Codificador Congelado): El codificador se congela. Se estima una relación de densidad latente ($\hat{\iota}$) (utilizando uLSIF o KLIEP) para servir como peso de importancia. La política de tasa de comunicación se optimiza en el espacio latente utilizando PPO ponderado.
     • Fase 2 (Ajuste Fino del Codificador): La política se congela y el codificador se ajusta finamente. Se añade un término de regularización de región de confianza (centrado en los parámetros del codificador de la Fase 1) a la pérdida MMD para evitar una deriva de representación descontrolada mientras se mejora la alineación entre dominios.
   • Este proceso iterativo alterna entre la optimización de la política y el refinamiento controlado del codificador.

Contribuciones Clave

• Marco: Un marco de teleoperación inalámbrica XR de simulación a realidad que considera conjuntamente el muestreo de movimiento por dimensión, la transmisión consciente de la energía y la reconstrucción del robot bajo desplazamiento de distribución.
• Caracterización Teórica: Un límite de generalización PAC-Bayes que cuenta explícitamente con errores de estimación de la relación de densidad latente y sesgo de representación inducido por el codificador, proporcionando orientación teórica para una transferencia de política robusta.
• Algoritmo: Un nuevo marco de entrenamiento adaptativo al dominio que combina la corrección de la relación de densidad latente con PPO y regularización de región de confianza. Este enfoque permite un aprendizaje efectivo de políticas utilizando datos de simulación mientras corrige el sesgo de despliegue en el mundo real utilizando datos offline, sin requerir interacción en línea con el robot físico.

Resultados Experimentales
Los experimentos se realizaron utilizando un conjunto de datos público de teleoperación de humanoides (Humanoid Everyday) y un entorno de simulación personalizado (Unitree Isaac Lab).

• Convergencia: Los métodos propuestos (DR-PPO-uLSIF y DR-PPO-KLIEP) demostraron una convergencia estable, mostrando DR-PPO-uLSIF una convergencia más rápida y un rendimiento más suave en comparación con las variantes basadas en KLIEP.
• Rendimiento frente a Líneas Base: En comparación con líneas base que incluyen PPO sin ponderar, PPO-MMD (sin reponderación de densidad) y Transmisión a Tasa Completa (FT), los métodos propuestos lograron errores de reconstrucción significativamente menores bajo diversas condiciones de canal inalámbrico.
• Eficiencia Energética: Los algoritmos propuestos redujeron el consumo de energía de comunicación efectiva a aproximadamente la mitad de la de PPO sin ponderar y PPO-MMD, particularmente en condiciones de canal degradadas (por ejemplo, -105 dB).
• Adaptabilidad: El sistema aprendió con éxito tasas de muestreo adaptativas al movimiento, aumentando la frecuencia de transmisión para dimensiones de alta dinámica (por ejemplo, ángulos de manos diestras) y reduciéndola para dimensiones estables, optimizando así la compensación entre precisión y energía.

Significado
El artículo afirma que su principal significado radica en abordar los desafíos acoplados de la eficiencia energética y la discrepancia de simulación a realidad en la IA corporal inalámbrica. Al integrar el análisis de generalización teórica con un marco de inteligencia de comunicación adaptativo al dominio, el trabajo demuestra que es posible lograr políticas de teleoperación robustas y eficientes energéticamente utilizando datos de simulación corregidos por trayectorias offline del mundo real. Los hallazgos destacan la necesidad de ir más allá de las técnicas estándar de adaptación de dominio para abordar problemas de control de comunicación secuencial donde las decisiones actuales afectan los estados futuros del sistema.