Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data

Sintesi Tecnica: Trinity: Unificazione della Segmentazione del Terreno Indipendente dalla Classe e della Segmentazione Semantica per Ambienti Esterni Non Strutturati

Enunciato del Problema
I robot mobili operanti in ambienti esterni non strutturati richiedono una comprensione robusta del terreno per la navigazione, la stima dello stato e la pianificazione della missione. Gli approcci esistenti basati sulla visione affrontano due limitazioni principali:

1. Stima della Traversabilità: I metodi attuali si affidano spesso ad annotazioni specifiche del robot o a mappature di classi semantiche. Ciò crea una dipendenza in cui i modelli devono essere riaddestrati o ridefinanziati quando le capacità del robot cambiano o quando vengono dispiegati in nuovi ambienti, limitando la trasferibilità e la scalabilità.
2. Segmentazione Semantica: I metodi standard si concentrano su classi semantiche predefinite (ad esempio, "strada", "edificio"). Tuttavia, i terreni esterni spesso presentano regioni irregolari, transizioni graduali e similarità visive che rendono le tassonomie fisse insufficienti. Inoltre, la traversabilità di un terreno (ad esempio, terra o erba) è dipendente dal contesto, variando con le condizioni ambientali e la specifica piattaforma robotica, rendendo difficile definire etichette semantiche assolute universalmente.

Metodologia: Trinity-Net
Gli autori propongono Trinity-Net, un'architettura unificata basata su transformer progettata per eseguire congiuntamente la segmentazione semantica specifica della classe (CS) e la segmentazione del terreno indipendente dalla classe (CA) senza fare affidamento su una tassonomia del terreno fissa.

• Architettura: La rete utilizza un encoder di immagini DINOv2 congelato per estrarre le caratteristiche. Queste caratteristiche sono elaborate da un Split Transformer che divide implicitamente lo spazio delle caratteristiche in componenti CS e CA utilizzando set di query apprendibili ($q_{CS}$ e $q_{CA}$).

  • Meccanismo di Split: Viene applicata una perdita ausiliaria agli embedding delle query aggiornati per incoraggiare la separazione delle regioni CS e CA. Le query vengono quindi espanse e passate a due moduli successivi: il CS-Transformer (che gestisce categorie critiche per la missione e indipendenti dalla piattaforma, come alberi o rocce) e il CA-Transformer (che gestisce regioni di terreno visivamente coerenti senza etichette predefinite).
  • Aggregazione delle Query: Per gestire la variabilità dei terreni reali, vengono utilizzate più query per regione. Gli output vengono aggregati, campionati verso l'alto e concatenati per formare un tensore di previsione unificato.
  • Corrispondenza: Poiché il componente CA non impone un allineamento fisso tra le query e le regioni, viene utilizzato un matcher ungherese per allineare le regioni CA previste con le maschere ground truth prima di applicare la perdita di entropia incrociata.

• Generazione dei Dati (RUGDSynth): Per addestrare il componente CA, gli autori hanno esteso il simulatore OAISYS. Hanno introdotto RUGDSynth, un dataset sintetico su larga scala contenente oltre 42.000 campioni distribuiti su 4.500 mondi.

  • Etichettatura Basata sui Materiali: A differenza dei simulatori basati su oggetti tipici, OAISYS utilizza una semantica basata sui materiali, consentendo la simulazione di diverse texture del terreno (ad esempio, sabbia, fango, ghiaia) essenziali per l'apprendimento indipendente dalla classe.
  • Miglioramenti: Il simulatore è stato esteso con un modulo di posizionamento basato sulla fisica (MeshPhysicsScatter) per la generazione realistica di oggetti e un modulo materiale personalizzato (MaterialCSCATerrain) per randomizzare texture e scale del terreno, garantendo un'alta diversità visiva.

• Metrica di Valutazione: Riconoscendo che l'Intersezione sull'Unione (IoU) standard è insufficiente per compiti indipendenti dalla classe in cui il numero di regioni previste è arbitrario, gli autori introducono il Residual Recall (resR). Questa metrica aggrega tutte le maschere di previsione non abbinate per quantificare l'eccesso di regioni previste rispetto al ground truth.

Contributi Chiave

1. Trinity-Net: Un'architettura unificata che disaccoppia la rappresentazione del terreno indipendente dal robot dalla previsione semantica rilevante per la missione, consentendo l'apprendimento di priori visivi del terreno che possono essere combinati con l'esperienza specifica del robot.
2. RUGDSynth: Un dataset sintetico derivato dal simulatore OAISYS esteso, che fornisce campioni di terreno indipendenti dalla classe e categorie specifiche della classe per facilitare l'addestramento su larga scala.
3. Dataset EXTerra: Un dataset del mondo reale raccolto da un sito di missione analogo per l'esplorazione planetaria, annotato sia con etichette specifiche della classe che indipendenti dalla classe, utilizzato per valutare le capacità di trasferimento di dominio.

Risultati
Gli esperimenti sono stati condotti sul benchmark RUGD e sul dataset EXTerra.

• Prestazioni Specifiche della Classe: Sul dataset RUGD, Trinity-Net ha ottenuto la più alta IoU media (51,80%) tra i modelli confrontati (m1, CRLNet e SAM), dimostrando prestazioni solide nell'identificare oggetti specifici come recinzioni, edifici e veicoli.
• Prestazioni Indipendenti dalla Classe: Trinity-Net ha superato significativamente il Segment Anything Model (SAM) e altri baseline nella segmentazione indipendente dalla classe, ottenendo una IoU media del 69,01% su RUGD. I risultati qualitativi indicano che, mentre SAM tende a sovrasegmentare i dettagli in primo piano o a faticare con i confini sfocati del terreno, Trinity-Net distingue efficacemente le regioni del terreno.
• Rilevanza dei Dati Sintetici: L'addestramento esclusivamente su RUGDSynth ha prodotto metriche migliori rispetto all'addestramento solo su dati RUGD reali, indicando l'alto valore dei dati sintetici. Le prestazioni migliori sono state ottenute combinando entrambi i dataset, suggerendo che si completano a vicenda.
• Trasferimento di Dominio: Il modello addestrato su dati sintetici e RUGD è stato trasferito con successo al dataset EXTerra (contesto di esplorazione planetaria), superando SAM nei compiti indipendenti dalla classe anche quando i confini erano visivamente ambigui.

Significato e Affermazioni
Il paper afferma che Trinity-Net offre un approccio flessibile alla comprensione della scena che evita la rigidità delle tassonomie del terreno fisse. Imparando priori visivi indipendenti dal robot, il sistema può servire come fondamento per compiti a valle come la stima della traversabilità, l'odometria visiva e la pianificazione della missione, adattabile a diverse piattaforme robotiche e ambienti. Gli autori sostengono che la formulazione del compito proposta, insieme al rilascio dei dataset RUGDSynth e EXTerra, stimolerà ulteriori ricerche negli ambienti esterni non strutturati e contribuirà all'avanzamento dell'autonomia dei futuri sistemi robotici. Il lavoro sottolinea che, sebbene le etichette semantiche e la traversabilità siano dipendenti dal contesto, la segmentazione basata sull'aspetto visivo fornisce una rappresentazione stabile e trasferibile.