Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

Technische Samenvatting: Leren van categorie-specifieke 'last-meter' navigatie vanuit RGB-demonstraties van een enkel exemplaar

Probleemdefinitie
Het artikel adresseert een kritieke kloof in mobiele manipulatie: de mismatch tussen globale navigatie en de uitvoering van manipulatie. Terwijl globale navigatiesystemen doorgaans grove, meter-niveau nauwkeurigheid garanderen (bijv. stoppen binnen 1 meter van een doelwit), vereisen manipulatiebeleid (policies) centimeter-niveau precisie in positie en graad-niveau precisie in oriëntatie om betrouwbaar binnen hun trainingsdistributie te opereren. Bestaande oplossingen voor hoge-precisie positionering vertrouwen vaak op dure of broze priors, zoals hoog-resolutie kaarten, Neural Radiance Fields (NeRFs), dieptecamera's of LiDAR. De auteurs definiëren het "last-meter navigatie"-probleem als de specifieke fase tussen globale padplanning en manipulatie, met als doel een nauwkeurige uitlijning ten opzichte van een doelobject te bereiken met uitsluitend onboard RGB-observaties, zonder dieptesensoren, LiDAR of kaart-priors.

Methodologie
De auteurs stellen een object-centraal imitatie-leerframework voor dat getraind is op een enkel exemplaar van een objectcategorie (bijv. een specifieke groene stoel) en dat generaliseert naar ongeziene exemplaren. Het systeem wordt geformuleerd als een behavioral cloning (BC) taak waarbij een beleid $\pi$ multi-modale inputs mapt naar discrete bewegingsprimitieven (vooruit, zijwaarts, rotatie).

1. Inputs: Het beleid conditioneert op drie inputs:

   • Huidige Observatie ($O_t$): Multi-view RGB-beelden (voor, achter, links, rechts) van onboard camera's.
   • Doel Observatie ($O_{goal}$): RGB-beelden vastgelegd bij de gewenste terminale pose.
   • Tekst Prompt ($\phi_{text}$): Een natuurlijke taalbeschrijving van het doelobject.

2. Architectuur: Het systeem bestaat uit drie modules (Fig. 2):

   • Vision Encoder: Gebruikt een bevroren, vooraf getrainde DINOv2 encoder om semantisch rijke feature embeddings te extraheren uit huidige en doel-beelden.
   • Segmentatie Module: Een twee-fasen tekstgestuurd proces gebruikmakend van OwlV2 voor initiële objectdetectie en bounding box-generatie, gevolgd door SAM2 om de segmentatiemasker te verfijnen. Deze module isoleert het doelobject van de achtergrond.
   • Action Decoder: De decoder integreert de bounding box coördinaten (gecodeerd als een box embedding) met de gemaskeerde visuele embeddings. Cruciaal is dat het een spatiale scorematrix ($S \in \mathbb{R}^{64 \times 64}$) berekent die de pairwise cosine similarity representeert tussen de spatiale tokens van de huidige en doel-views. Deze matrix codeert expliciet de spatiale offset tussen de huidige view en het doel. De geflaten matrix en de box embedding worden gevoed aan een feedforward netwerk om discrete acties te voorspellen.

3. Auxiliaire Stopmechanisme: Om de moeilijkheid van het leren van precieze terminatie uit ruisige demonstratiegegevens aan te pakken, introduceren de auteurs een regelgebaseerde override. De robot stopt als de Intersection over Union (IoU) tussen de huidige en doel maskers groter is dan 0,6 en het horizontale zwaartepuntverschil minder dan 25 pixels is.

Belangrijkste Bijdragen

1. Object-centraal Framework: Een nieuw imitatie-leerframework dat het last-meter navigatieprobleem oplost en manipulatie-gereed basisposes produceert met uitsluitend RGB-inputs.
2. Instance-naar-Categorie Generalisatie: Demonstratie dat een model getraind op een enkel objectexemplaar betrouwbaar kan transfereren naar ongeziene exemplaren van dezelfde categorie over diverse omgevingen en lichtomstandigheden heen.
3. Sensor-efficiënte Validatie: Real-world validatie die bewijst dat precieze last-meter navigatie haalbaar is zonder diepte, LiDAR of kaart-priors, wat praktische beperkingen adresseert waar dergelijke sensoren wellicht niet beschikbaar of kostbaar zijn.

Experimentele Resultaten
Het systeem werd geëvalueerd op een Boston Dynamics Spot robot in binnen- en buitenomgevingen.

• Metrieken: Er werden twee metrieken geïntroduceerd: Edge Alignment (evalueert uitlijning met een grondwaarheid lineaire grens) en Object Alignment (evalueert de visuele oriëntatie van het doelobject via de afstand van het zwaartepunt).
• Prestaties:
  • Op het geziene exemplaar (trainingsstoel) behaalde het systeem 94% succes in grondwaarheid evaluatie en 96,67% in visuele evaluatie.
  • Op ongeziene exemplaren (andere stoelen) behaalde het systeem 74,58% succes in edge alignment en 89,42% in object alignment.
  • Het framework generaliseerde ook naar andere categorieën (ladesorganizers en koffers) met gemiddelde succespercentages van 60–96%, afhankelijk van de metriek en categorie.
• Ablatie: Vergelijkingen toonden aan dat impliciete visuele grounding (zonder expliciete segmentatie) volledig faalde (0% succes), en dat de expliciete Score Matrix cruciaal was voor categorie-niveau generalisatie vergeleken met standaard cross-attention mechanismen. Het auxilaire stopmechanisme was essentieel voor het omzetten van navigatie-succes naar taakvoltooiing.
• Foutmodi: De primaire foutmodi werden toegeschreven aan segmentatie-instabiliteit in uitdagende lichtomstandigheden (bijv. dimme omgevingen) en de inherente ruis in de demonstratiegegevens met betrekking tot de uiteindelijke stop-posities.

Betekenis en Claims
Het artikel claimt dat precieze last-meter navigatie op categorie-niveau kan worden bereikt met uitsluitend RGB-observaties, wat een schaalbare weg biedt naar verenigde mobiele manipulatie. Door de afhankelijkheid van dieptesensoren, LiDAR of vooraf gebouwde kaarten te verwijderen, verlaagt deze aanpak de hardwarebarrière voor het inzetten van autonome mobiele manipulatoren in dynamische, real-world menselijke omgevingen. De auteurs benadrukken dat hun methode de "last-meter" kloof overbrugt, waardoor robots in staat zijn om manipulatie-gereed te worden gepositioneerd, wat downstream manipulatiebeleid in staat stelt om binnen hun trainingsdistributie te opereren, waardoor executiefouten worden verminderd. Het werk suggereert dat hoewel de huidige prestaties beperkt worden door segmentatiekwaliteit en onbelemmerd zicht, de voorgestelde object-centrale, data-gedreven aanpak een robuust fundament biedt voor toekomstige vooruitgang in visuele mobiele manipulatie.