A Hybrid Autoencoder for Robust Heightmap Generation from Fused Lidar and Depth Data for Humanoid Robot Locomotion

Riepilogo Tecnico: Un Autoencoder Ibrido per la Generazione Robusta di Mappe di Altezza

Problematica
La locomozione affidabile per i robot umanoidi in ambienti non strutturati e antropocentrici è ostacolata dall'inerente instabilità della morfologia bipede e dai limiti degli attuali sistemi di percezione. Gli approoli tradizionali si affidano spesso a pipeline a sensore singolo (o telecamere di profondità o LiDAR) o a tecniche di mappatura manualmente progettate e computazionalmente costose come SLAM e voxelizzazione. Questi metodi soffrono frequentemente di sensibilità all'illuminazione, alle proprietà delle superfici, a una latenza significativa e al drift (deriva). Inoltre, le attuali pipeline percezione-controllo mancano spesso di una rappresentazione intermedia robusta che bilanci il dettaglio del terreno con l'efficienza computazionale richiesta per il controllo in tempo reale.

Metodologia
Il documento propone un framework modulare basato sull'apprendimento, che decoppia la percezione dal controllo, utilizzando una mappa di altezza (heightmap) centrata sul robot come rappresentazione intermedia. Il cuore del sistema è una Struttura Encoder-Decoder Ibrida (EDS) progettata per ricostruire il terreno partendo da dati sensoriali grezzi ad alta dimensionalità.

• Fusione Sensoriale: Il sistema fonde i dati provenienti da tre fonti: una telecamera di profondità Intel RealSense, un LiDAR LIVOX MID-360 e un IMU integrato.
  • Elaborazione LiDAR: Per consentire un'efficiente elaborazione tramite CNN, la nuvola di punti 3D non strutturata del LiDAR viene trasformata, tramite proiezione sferica, in un'immagine di range 2D strutturata (risoluzione 276 × 40). Questo include passaggi di pre-elaborazione come il riempimento dei vuoti (gap-filling), l'interpolazione dei vicini più prossimi e il filtraggio della mediana per mitigare gli artefatti di proiezione.
  • Elaborazione della Profondità: Le immagini di profondità sono elaborate a una risoluzione di 160 × 120.
• Architettura:
  • Encoder: Branche separate di Reti Neurali Convoluzionali (CNN) elaborano le immagini di profondità e le immagini di range LiDAR. Ogni branca utilizza quattro strati convoluzionali con stride per sottocampionare la risoluzione spaziale ed estrarre le caratteristiche, mappandole in un vettore latente a 256 dimensioni.
  • Fusione e Nucleo Temporale: I vettori latenti vengono concatenati con un vettore di stato del robot a 15 dimensioni (dati IMU) e con la previsione della mappa di altezza del passo temporale precedente. Questa rappresentazione unificata è elaborata da un nucleo ricorrente composto da due strati di unità GRU (Gated Recurrent Unit) impilati (256 unità nascoste) per garantire la coerenza temporale e gestire le occlusioni.
  • Decoder: Una testa di decoder completamente connessa produce la mappa di altezza predetta finale di 165 dimensioni.
• Strategia di Addestramento: Viene impiegata una procedura di addestramento in due fasi. In primo luogo, autoencoder convoluzionali simmetrici vengono pre-addestrati in modalità non supervisionata su dati simulati rumorosi per stabilizzare l'estrazione delle caratteristiche. In secondo luogo, questi encoder vengono integrati nel pieno EDS con il nucleo GRU e addestrati in un contesto supervisionato utilizzando mappe di altezza reali (ground-truth).
• Ottimizzazione della Mappa di Altezza: La mappa di altezza centrata sul robot è ottimizzata per il comportamento della policy di locomozione. Lo studio identifica una risoluzione della griglia ottimale di 7 cm all'interno di una griglia di 0,98 m × 0,7 m, con il centro spostato 0,2 m in avanti per dare priorità al percorso immediato del robot.
• Policy di Controllo: Una policy di Apprendimento per Rinforzo Profondo (DRL), addestrata tramite Proximal Policy Optimization (PPO) in Isaac Lab, utilizza la mappa di alteità generata, segnali propriocettivi e comandi di velocità per controllare 23 gradi di libertà attuati. La funzione di ricompensa è modellata per incoraggiare comportamenti anticipatori, come il sollevamento dei piedi in presenza di imminenti variazioni di elevazione.

Contributi Chiave

1. Architettura EDS Ibrida: Introduzione di un'architettura di fusione multimodale che combina CNN per l'estrazione di caratteristiche spaziali e GRU per la modellazione temporale, specificamente adattata alla percezione del terreno per umanoidi.
2. Rappresentazione Ottimizzata della Mappa di Altezza: Valutazione sistematica della spaziatura e della risoluzione della griglia, stabilendo che una risoluzione di 7 cm con un campo visivo spostato in avanti fornisce il miglior compromesso tra precisione del passo e stabilità dell'addestramento.
3. Proiezione LiDAR Efficiente: Implementazione di un metodo di proiezione sferica per i dati LiDAR che converte le nuvole di punti 3D in immagini di range 2D adatte alle CNN, riducendo la complessità computazionale rispetto ai metodi basati su voxel.
4. Addestramento in Due Fasi: Una metodologia che separa il pre-addestramento non supervisionato degli encoder dalla fusione temporale supervisionata per migliorare la convergenza e la robustezza.

Risultati

• Accuratezza della Percezione: L'approccio di fusione multimodale ha raggiunto un Errore Assoluto Medio (MAE) di 2,19 cm. Ciò rappresenta un miglioramento del 7,2% rispetto alle configurazioni basate solo sulla profondità (2,36 cm) e un miglioramento del 9,9% rispetto alle configurazioni basate solo sul LiDAR (2,43 cm).
• Contesto Temporale: L'utilizzo di un orizzonte temporale di 3,2 secondi (32 passi temporali) ha ridotto gli errori di ricostruzione di circa il 30% rispetto agli orizzonti più brevi, con rendimenti decrescenti osservati a 6,4 secondi.
• Stabilità della Locomozione: L'integrazione della mappa di altezza ottimizzata e della modellazione della ricompensa ha portato a una riduzione del 70,1% delle terminazioni causate da cadute rispetto a un baseline cieco. Inoltre, l'errore di velocità lineare è diminuito del 25,0% e l'errore di velocità angolare del 17,2%.
• Robustezza: La policy ha mantenuto una locomozione stabile anche quando gli input della mappa di altezza erano corrotti da rumore Gaussiano con una deviazione standard fino a 2 cm.

Significato e Limitazioni
Il documento sostiene di aver stabilito una base validata per la locomozione umana in tempo reale e consapevole del terreno, separando la percezione dal controllo e ottimizzando la rappresentazione intermedia. Il framework dimostra che la fusione sensoriale ibrida e la spaziatura personalizzata della griglia consentono pattern di andatura anticipatori, permettendo ai robot di navigare terreni complessi in modo più sicuro.

Tuttavia, gli autori riconoscono specifiche limitazioni:

• Levigatura delle Discontinuità: La funzione di perdita MSE (Mean Squared Error) pixel per pixel tende a levigare le brusche discontinuità verticali (es. bordi di scale) trasformandole in pendenze graduali, il che può ridurre la precisione del passo su superfici discontinue.
• Sensibilità al Rumore: L'affidabilità del controllo degrada significativamente quando il rumore della mappa di altezza supera una deviazione standard di 2 cm.
• Limiti della Rappresentazione: La mappa di altezza 2.5-D non può catturare strutture aggettanti (overhanging).
• Gap Sim-to-Real: Sebbene il sistema funzioni bene in simulazione, rimane un divario per l'implementazione nel mondo reale, in particolare riguardo al pre-addestramento su dataset reali disordinati.

Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi su funzioni di perdita che preservino i bordi (edge-preserving), architetture ibride CNN-Transformer e una completa randomizzazione del dominio per affrontare queste limitazioni.