Domain-Adaptive Communication-Rate Optimization for Sim-to-Real Humanoid-Robot Wireless XR Teleoperation

Sintesi Tecnica: Ottimizzazione del Tasso di Comunicazione Adattiva al Dominio per la Teleoperazione XR Wireless Sim-to-Real di Robot Umanoidi

Enunciato del Problema
La teleoperazione in Realtà Estesa (XR) wireless offre un metodo scalabile per la raccolta di dimostrazioni di robot umanoidi di alta qualità tramite interfacce umane immersive. Tuttavia, l'adozione diffusa è ostacolata dall'elevato dispendio energetico richiesto per il campionamento e la trasmissione frequenti dei movimenti, in particolare data la natura variabile nel tempo dei canali wireless (dovuta a mobilità, ostruzioni e interferenze). Inoltre, l'addestramento di politiche consapevoli delle comunicazioni direttamente su robot fisici è spesso impraticabile a causa di vincoli di sicurezza, costi hardware e inefficienze nella raccolta dei dati. Di conseguenza, le politiche sono tipicamente addestrate in simulazione, ma ciò introduce uno spostamento distributivo "sim-to-real" che degrada le prestazioni quando vengono implementate su hardware fisico. La sfida principale consiste nel progettare un framework che ottimizzi congiuntamente l'accuratezza della ricostruzione del movimento e il consumo energetico delle comunicazioni, affrontando esplicitamente il divario distributivo tra l'addestramento in simulazione e l'implementazione nel mondo reale.

Metodologia
Il documento propone un framework di sistema unificato che integra campionamento, trasmissione, interpolazione e ricostruzione, accoppiato a un approccio di apprendimento per rinforzo (RL) adattivo al dominio.

1. Framework di Sistema e Formulazione del Problema:

   • Il sistema opera su slot decisionali discreti in cui vengono selezionati i tassi di campionamento per dimensione per i dati di movimento XR.
   • Viene formulato un problema di ottimizzazione a lungo termine per minimizzare il costo medio di teleoperazione sul sistema reale, bilanciando l'errore di ricostruzione e l'energia di comunicazione effettiva.
   • Poiché il sistema reale non viene utilizzato per l'addestramento interattivo, il problema viene risolto utilizzando rollout di simulatore corretti da dati reali offline. Questo è modellato come un Processo Decisionale di Markov (MDP) in cui l'obiettivo include un peso basato sul rapporto di densità ($\iota_t$) per convertire le aspettative del simulatore in aspettative del dominio reale.

2. Analisi Teorica (PAC-Bayes):

   • Gli autori derivano una caratterizzazione di generalizzazione PAC-Bayes per il trasferimento sim-to-real.
   • Questa analisi scompone il divario di prestazioni nel dominio reale in quattro componenti: rischio empirico pesato per importanza, errore di approssimazione del rapporto di densità, deviazione da campione finito e bias di rappresentazione dell'encoder.
   • Questo fondamento teorico guida la progettazione dell'ottimizzazione della politica per mitigare specifiche fonti di errore, in particolare il bias dell'encoder e le imprecisioni nella stima del rapporto di densità.

3. Algoritmo di Ottimizzazione della Politica Adattiva al Dominio:

   • L'algoritmo proposto utilizza Proximal Policy Optimization (PPO) potenziato con pesatura del rapporto di densità latente e regolarizzazione della regione di fiducia. L'addestramento procede in tre fasi:
     • Warm-up dell'Encoder: Un encoder Multi-Layer Perceptron (MLP) viene inizializzato utilizzando una perdita di Massima Discrepanza del Mezzo (MMD) su campioni misti di simulatore e dominio reale per creare uno spazio latente condiviso.
     • Fase 1 (Encoder Congelato): L'encoder viene congelato. Viene stimato un rapporto di densità latente ($\hat{\iota}$) (utilizzando uLSIF o KLIEP) per fungere da peso di importanza. La politica del tasso di comunicazione viene ottimizzata nello spazio latente utilizzando PPO pesato.
     • Fase 2 (Raffinamento dell'Encoder): La politica viene congelata e l'encoder viene raffinato. Viene aggiunto un termine di regolarizzazione della regione di fiducia (centrato sui parametri dell'encoder della Fase 1) alla perdita MMD per prevenire una deriva di rappresentazione incontrollata migliorando al contempo l'allineamento cross-dominio.
   • Questo processo iterativo alterna l'ottimizzazione della politica e il raffinamento controllato dell'encoder.

Contributi Chiave

• Framework: Un framework di teleoperazione XR wireless sim-to-real che considera congiuntamente il campionamento del movimento per dimensione, la trasmissione consapevole dell'energia e la ricostruzione del robot sotto spostamento distributivo.
• Caratterizzazione Teorica: Un limite di generalizzazione PAC-Bayes che tiene esplicitamente conto degli errori di stima del rapporto di densità latente e del bias di rappresentazione indotto dall'encoder, fornendo una guida teorica per un trasferimento robusto della politica.
• Algoritmo: Un nuovo framework di addestramento adattivo al dominio che combina la correzione del rapporto di densità latente con PPO e regolarizzazione della regione di fiducia. Questo approccio consente un apprendimento efficace della politica utilizzando dati di simulazione, correggendo al contempo il bias di implementazione nel mondo reale utilizzando dati offline, senza richiedere interazione online con il robot fisico.

Risultati Sperimentali
Gli esperimenti sono stati condotti utilizzando un dataset pubblico di teleoperazione per robot umanoidi (Humanoid Everyday) e un ambiente di simulazione personalizzato (Unitree Isaac Lab).

• Convergenza: I metodi proposti (DR-PPO-uLSIF e DR-PPO-KLIEP) hanno dimostrato una convergenza stabile, con DR-PPO-uLSIF che mostra una convergenza più rapida e prestazioni più lisce rispetto alle varianti basate su KLIEP.
• Prestazioni vs. Baseline: Rispetto alle baseline che includono PPO non pesato, PPO-MMD (senza riponderazione della densità) e Trasmissione a Tasso Completo (FT), i metodi proposti hanno raggiunto errori di ricostruzione significativamente inferiori in condizioni variabili del canale wireless.
• Efficienza Energetica: Gli algoritmi proposti hanno ridotto il consumo energetico di comunicazione effettivo a circa la metà rispetto a PPO non pesato e PPO-MMD, in particolare in condizioni di canale degradato (ad es. -105 dB).
• Adattività: Il sistema ha appreso con successo tassi di campionamento adattivi al movimento, aumentando la frequenza di trasmissione per le dimensioni ad alta dinamica (ad es. angoli della mano dattilica) e riducendola per le dimensioni stabili, ottimizzando così il compromesso tra accuratezza ed energia.

Significato
Il documento afferma che il suo significato principale risiede nell'affrontare le sfide accoppiate dell'efficienza energetica e del disallineamento sim-to-real nell'IA incarnata wireless. Integrando l'analisi teorica della generalizzazione con un framework di intelligenza delle comunicazioni adattivo al dominio, il lavoro dimostra che è possibile ottenere politiche di teleoperazione robuste ed efficienti dal punto di vista energetico utilizzando dati di simulazione corretti da traiettorie reali offline. I risultati evidenziano la necessità di andare oltre le tecniche standard di adattamento del dominio per affrontare problemi di controllo delle comunicazioni sequenziali in cui le decisioni attuali influenzano gli stati futuri del sistema.