Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

Sintesi Tecnica: Apprendimento della Navigazione di Categoria a Livello di Ultimo Metro da Dimostrazioni RGB di un Singolo Istanza

Definizione del Problema
Il documento affronta una lacuna critica nella manipolazione mobile: il disallineamento tra la navigazione globale e l'esecuzione della manipolazione. Mentre i sistemi di navigazione globale garantiscono tipicamente un'accuratezza grossolana a livello di metri (ad esempio, fermandosi entro 1 metro dal target), le policy di manipolazione richiedono una precisione a livello di centimetri per la posizione e a livello di gradi per l'orientamento per operare in modo affidabile all'interno della propria distribuzione di addestramento. Le soluzioni esistenti per il posizionamento ad alta precisione si affidano spesso a priori costosi o fragili, come mappe ad alta risoluzione, campi di radianza neurale (NeRF), telecamere di profondità o LiDAR. Gli autori definiscono il problema della "navigazione dell'ultimo metro" come la fase specifica tra la pianificazione del percorso globale e la manipolazione, con l'obiettivo di raggiungere un allineamento preciso rispetto a un oggetto target utilizzando solo osservazioni RGB onboard, senza sensori di profondità, LiDAR o priori di mappa.

Metodologia
Gli autori propongono un framework di apprendimento per imitazione incentrato sull'oggetto, addestrato su un singolo istanza di una categoria di oggetti (ad esempio, una specifica sedia verde) che si generalizza a istanze non viste. Il sistema è formulato come un compito di behavioral cloning (BC) in cui una policy $\pi$ mappa input multimodali in primitive di movimento discrete (avanti, laterale, rotazione).

1. Input: La policy si condiziona su tre input:

   • Osservazione Corrente ($O_t$): Immagini RGB multi-vista (fronte, retro, sinistra, destra) dalle telecamere onboard.
   • Osservazione del Goal ($O_{goal}$): Immagini catturate alla posa terminale desiderata.
   • Prompt Testuale ($\phi_{text}$): Una descrizione in linguaggio naturale dell'oggetto target.

2. Architettura: Il sistema consiste in tre moduli (Fig. 2):

   • Encoder Visivo: Utilizza un encoder DINOv2 pre-addestrato e congelato per estrarre embedding di caratteristiche semanticamente ricche dalle immagini correnti e del goal.
   • Modulo di Segmentazione: Un processo a due stadi guidato dal testo che utilizza OwlV2 per il rilevamento iniziale dell'oggetto e la generazione del bounding box, seguito da SAM2 per raffinare la maschera di segmentazione. Questo modulo isola l'oggetto target dallo sfondo.
   • Decoder di Azione: Il decoder integra le coordinate del bounding box (codificate come embedding del box) con gli embedding visivi mascherati. Fondamentalmente, calcola una matrice di punteggio spaziale ($S \in \mathbb{R}^{64 \times 64}$) che rappresenta la similitudine del coseno a coppie tra i token spaziali delle viste corrente e del goal. Questa matrice codifica esplicitamente l'offset spaziale tra la vista corrente e quella del goal. La matrice appiattita e l'embedding del box vengono inviati a una rete feedforward per predire azioni discrete.

3. Meccanismo di Arresto Ausiliario: Per affrontare la difficoltà di apprendere una terminazione precisa da dati di dimostrazione rumorosi, gli autori introducono un override basato su regole. Il robot si ferma se l'Intersection over Union (IoU) tra le maschere corrente e del goal supera 0,6 e la differenza del centro di massa orizzontale è inferiore a 25 pixel.

Contributi Chiave

1. Framework Centrato sull'Oggetto: Un nuovo framework di apprendimento per imitazione che risolve il problema della navigazione dell'ultimo metro, producendo pose di base pronte per la manipolazione utilizzando solo input RGB.
2. Generalizzazione da Istanza a Categoria: Dimostrazione che un modello addestrato su un singolo istanza di un oggetto può trasferirsi in modo affidabile a istanze non viste della stessa categoria in ambienti e condizioni di illuminazione diverse.
3. Validazione Efficiente dei Sensori: Validazione nel mondo reale che prova come una navigazione precisa dell'ultimo metro sia ottenibile senza sensori di profondità, LiDAR o priori di mappa, affrontando i vincoli pratici in cui tali sensori potrebbero non essere disponibili o essere troppo costosi.

Risultati Sperimentali
Il sistema è stato valutato su un robot Boston Dynamics Spot in ambienti indoor e outdoor.

• Metriche: Sono state introdotte due metriche: Edge Alignment (valutazione dell'allineamento con un confine lineare di ground-truth) e Object Alignment (valutazione del facing visivo verso il target tramite la distanza del centro di massa).
• Performance:
  • Sull'istanza vista (sedia di addestramento), il sistema ha raggiunto il 94% di successo nella valutazione ground-truth e il 96,67% nella valutazione visiva.
  • Sulle istanse non viste (diverse sedie), il sistema ha raggiunto il 74,58% di successo nell'edge alignment e l'89,42% nell'object alignment.
  • Il framework si è generalizzato anche ad altre categorie (organizzatori per cassetti e valigie) con tassi di successo medi del 60–96% a seconda della metrica e della categoria.
• Ablation: I confronti hanno mostrato che il grounding visivo implicito (senza segmentazione esplicita) falliva completamente (0% di successo), e che la Score Matrix esplicita era critica per la generalizzazione a livello di categoria rispetto ai meccanismi standard di cross-attention; il meccanismo di arresto ausiliario era essenziale per convertire il successo della navigazione in completamento del compito.
• Modalità di Fallimento: I principali fallimenti sono stati attribuiti all'instabilità della segmentazione in condizioni di illuminazione difficili (es. ambienti bui) e al rumore intrinseco nei dati di dimostrazione riguardo alle posizioni di arresto finale.

Significatività e Claim
Il documento sostiene che una navigazione precisa dell'ultimo metro può essere raggiunta a livello di categoria utilizzando solo osservazioni RGB, offrendo un percorso scalabile verso una manipolazione mobile unificata. Rimuovendo la dipendenza da sensori di profondità, LiDAR o mappe pre-costruite, l'approccio abbassa la barriera hardware per il dispiegamento di manipolatori mobili autonomi in ambienti umani dinamici e reali. Gli autori sottolineano che il loro metodo colma il gap dell' "ultimo metro", consentendo ai robot di raggiungere pose pronte per la manipolazione che permettono alle policy di manipolazione a valle di operare all'interno della loro distribuzione di addestramento, riducendo così i fallimenti di esecuzione. Il lavoro suggerisce che, sebbene le prestazioni attuali siano limitate dalla qualità della segmentazione e dalla visibilità non ostruita, l'approccio proposto, centrato sull'oggetto e basato sui dati, fornisce una base robusta per futuri progressi nella manipolazione mobile basata sulla visione.