Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction

Deze studie presenteert een gefinetuned Vision-Language Model dat, middels een monocular camera en natuurlijke taal, objectposities in 3D schat met een mediane fout van 13 mm, waardoor de interactie tussen mens en robot aanzienlijk wordt verbeterd.

De kern

Titel: Hoe we een robotarm een "derde oog" en een "brein" hebben gegeven

Stel je voor dat je een robotarm hebt die op een werkbank staat. Deze arm heeft een camera aan zijn "pols" (zoals een horloge) en kan kijken. Maar tot nu toe was deze robot een beetje als een mens met een bril op, maar zonder hersenen die begrijpen wat hij ziet. Hij zag een beeld, maar wist niet precies waar een object was in de ruimte, of hoe diep het zat.

De auteurs van dit onderzoek hebben een slimme oplossing bedacht om dit probleem op te lossen. Ze hebben de robot een Vision-Language Model (VLM) gegeven. Dat klinkt ingewikkeld, maar je kunt het zien als een super-intelligente assistent die twee dingen kan:

1. Kijken en begrijpen: Hij kent de wereld (net als jij en ik) en kan objecten herkennen.
2. Talen spreken: Je kunt tegen hem praten (of tekst typen) en hij begrijpt wat je bedoelt.

Het probleem: De "2D-val" en de "diepte-gordel"
Normaal gesproken kijken deze slimme assistenten alleen naar een platte foto (2D). Ze kunnen zeggen: "Daar is een blikje cola." Maar voor een robot is dat niet genoeg. De robot moet weten: "Hoe ver staat dat blikje van mij vandaan? Hoe hoog is het?" Dat is de 3D-positie.

Het is alsof je iemand vraagt om een bal te vangen, maar je geeft hem alleen een platte tekening van de bal. Hij weet niet of de bal dichtbij of ver weg is. De meeste slimme modellen in de wereld van robots zijn nog niet goed in het schatten van die diepte (de Z-richting) als ze alleen een gewone camera hebben.

De oplossing: Een slimme "verkeersregelaar"
De onderzoekers hebben een nieuw model getraind dat als een slimme verkeersregelaar werkt.

• Als je de robot vraagt: "Wat zie ik hier?", stuurt de regelaar de vraag naar het originele brein van de assistent. Die weet alles over de wereld en kan antwoorden zoals "Dat is een ijsje".
• Maar als je vraagt: "Waar zit dat ijsje precies in de ruimte?", stuurt de regelaar de vraag naar een speciale module. Die module is speciaal getraind om diepte te schatten.

Dit is heel slim omdat ze het originele brein niet hebben "kapotgemaakt" of vervangen. Ze hebben er gewoon een extra "diepte-bril" opgezet. Ze noemen dit conditional routing (voorwaardelijke routekeuze).

De training: Duizenden foto's van een robotarm
Om dit te leren, moesten ze de robotarm duizenden uren laten kijken. Ze hebben een dataset gemaakt met meer dan 100.000 foto's.

• De robotarm bewoog langzaam naar verschillende objecten toe (van een glazen pot tot een vreemd gevormd speelgoed).
• De camera keek erop, en het systeem leerde: "Ah, als ik dit zie en ik ben op deze hoogte, dan is het object op deze afstand."
• Ze gebruikten een slimme techniek (QLoRA) om dit te leren zonder dat de computer te zwaar werd. Het is alsof je een student niet alles opnieuw laat leren, maar alleen een paar specifieke hoofdstukken laat oefenen.

De resultaten: Hoe goed werkt het?
Het resultaat is verrassend goed voor zo'n moeilijke taak:

• De gemiddelde fout is ongeveer 1,3 centimeter. Dat is ongeveer de dikte van een duim.
• In 25% van de gevallen is de fout zo klein (minder dan 1 cm), dat de robot het object veilig kan grijpen of duwen zonder dat hij het laat vallen of er naast grijpt.

Waar gaat het soms mis?
Natuurlijk is de robot niet perfect. De onderzoekers keken naar de fouten en ontdekken interessante patronen:

• Vlakke of vreemde vormen: Als een object heel hoog en smal is (zoals een lijmstift of een frisdrankfles), is het lastig voor de camera om de top te zien.
• Vreemde ontwerpen: Als een object er heel anders uitziet dan wat de robot "kent" (bijvoorbeeld een ijsvormpje met een rare vorm), raakt hij in de war.
• Diepte is lastig: Het schatten van de hoogte (de Z-richting) is het moeilijkst. Het is alsof je probeert de afstand te schatten van een object in een zwart-wit foto zonder schaduwen.

Conclusie: De toekomst
Dit onderzoek laat zien dat we robots niet alleen hoeven te programmeren met strakke regels, maar dat we ze intuïtief kunnen maken met behulp van taal en visie. De robot kan nu niet alleen "zien", maar ook "begrijpen" waar dingen zijn in de 3D-wereld.

In de toekomst willen ze dit nog beter maken door de robot in meer verschillende omgevingen te laten oefenen en door hem nog meer "lichaamsgevoel" (zoals hoe zijn eigen arm beweegt) te laten gebruiken. Het is een grote stap richting robots die echt veilig en natuurlijk met mensen kunnen samenwerken in onze huizen en fabrieken.

Technische samenvatting

Probleemstelling

Hoewel vooraf getrainde Vision-Language Models (VLM's) veelbelovend zijn voor intuïtieve mens-robotinteractie vanwege hun rijke wereldkennis en 2D-objektdetectie, ontbreekt het aan modellen die specifiek zijn ingericht op het detecteren van 3D-coördinaten. Bestaande robotische modellen (zoals de RT-X familie of VLA's) zijn vaak gespecialiseerd in het uitvoeren van acties of het wijzen op objecten in 2D-ruimte, maar vereisen vaak extra fine-tuning voor specifieke robots of zijn niet open-source. Er is een kritieke kloof in de literatuur voor modellen die vanuit één monoculaire RGB-camera (geen dieptekamer) en natuurlijke taalinput direct de 3D-positie van een object kunnen schatten in de werkruimte van een robot.

Methodologie

De auteurs hebben een hybride aanpak ontwikkeld die de algemene kennis van een VLM combineert met gespecialiseerde regressie voor 3D-schatting.

1. Architectuur en Routing:

   • Het model gebruikt een conditionele routing-mechanisme. Dit zorgt ervoor dat algemene visuele vragen worden verwerkt door de oorspronkelijke, kwantiseerde basis-VLM (om de algemene capaciteiten te behouden), terwijl taakspecifieke vragen (3D-positie) worden doorgestuurd naar een aangepaste architectuur.
   • De aanpassing gebeurt via QLoRA (Quantized Low-Rank Adaptation). Hierbij blijven de basisparameters van het model intact; er worden alleen parameters voor de LoRA-matrices en een aangepast regressiehoofd getraind.
   • De input bestaat uit een enkele RGB-image (van een camera gemonteerd op de pols van de robot), een tekstprompt, en de huidige staat van de robot (grijperpositie en -oriëntatie).

2. Dataset en Datacollectie:

   • Er is een heterogene dataset verzameld van meer dan 100.000 afbeeldingen met ongeveer 750 verschillende objecten.
   • De data is verzameld met een Doosan A0509 robotarm (6-joint) met een Logitech Brio webcam op de pols.
   • De camera is gericht naar beneden langs de grijper. De robot beweegt de Tool Center Point (TCP) van een willekeurige bovenpositie naar een centrale positie boven het object.
   • De dataset bevat variatie in verlichting, objectvormen (regulier, onregelmatig, verticaal, breed) en scenario's (enkel- en meervoudige objecten).

3. Training:

   • Het model is getraind op een cluster met vijf NVIDIA Tesla A100 GPU's.
   • Er is gebruikgemaakt van Huber-loss voor training en validatie.
   • Om "data-leakage" te voorkomen (waarbij het model de hoogte van een object zou kunnen onthouden in plaats van te leren), is een groepsgewijze splitsing gebruikt: alle afbeeldingen van hetzelfde object bevinden zich in dezelfde set (train, val of test).
   • De evaluatie is gebaseerd op Mean Absolute Error (MAE) en Euclidische afstand.

Belangrijkste Bijdragen

• Eerste toepassing van VLM's voor monoculaire 3D-positie: Het paper toont aan dat generieke VLM's kunnen worden gefinetuned voor nauwkeurige 3D-schatting zonder de basiscapaciteiten te verliezen.
• Conditionele Routing: Een innovatieve methode om een enkel model te gebruiken dat zowel algemene visuele vragen kan beantwoorden als gespecialiseerde 3D-regressie uitvoert, afhankelijk van de prompt.
• Efficiënte Finetuning: Door QLoRA te gebruiken, wordt een groot model (3,7 miljard parameters) effectief aangepast zonder de volledige basis te hertrainen, wat rekenkracht bespaart.
• Omvangrijke, Heterogene Dataset: Het beschikbaar stellen en gebruik van een dataset met 100k+ afbeeldingen die specifiek is opgezet voor robotische interactie met variatie in objecten en omstandigheden.

Resultaten

• Prestaties: Het beste model (gebaseerd op LLaVA-v1.5 met 7B parameters) bereikte een mediaan MAE van 13 mm op de testset en een mediaan Euclidische fout van 27 mm.
• Verbetering: Dit resulteert in een vijfvoudige verbetering ten opzichte van een eenvoudige baseline (LLaVA-v1.5 als feature-extractor met een lineaire regressielayer) zonder finetuning.
• Praktische bruikbaarheid: Ongeveer 25% van de voorspellingen valt binnen een foutmarge die als acceptabel wordt beschouwd voor robotische taken zoals grijpen of duwen (gemiddeld <10 mm fout per coördinaat).
• Foutanalyse:
  • Het model presteert het slechtst bij verticaal gestalte objecten (bijv. lijmstokjes) en objecten met onconventioneel ontwerp (bijv. ijsvormpjes), waarschijnlijk door bias in de trainingsdata van het internet.
  • De z-coördinaat (hoogte) is moeilijker te voorspellen dan x en y, wat resulteert in een grotere spreiding in de fouten. Dit is inherent aan monoculaire beeldinvoer zonder dieptekamer.
  • Objecten met onregelmatige vormen of brede objecten (waarvan de randen niet volledig zichtbaar zijn bij nadering) tonen hogere fouten.

Betekenis en Toekomstperspectief

Dit onderzoek bewijst dat generieke Vision-Language Models potentieel hebben om robuuste, open-set 3D-positie schattingen te leveren voor mens-robotinteractie, zelfs zonder gespecialiseerde 3D-sensoren. De mediaan fout van 13 mm is een succesvolle prestatie voor een open-set taak.

Beperkingen en Toekomstig Werk:

• Het model is momenteel nog bevooroordeeld ten opzichte van de specifieke werkruimte en camera van de gebruikte robotarm.
• Toekomstige verbeteringen omvatten het uitbreiden van de dataset met meer variatie in werkruimtes en robotmodellen, het integreren van proprioceptieve robotdata in late feature-fusie, en het ontwikkelen van geleerde routing-strategieën in plaats van handmatige prompts.

Samenvattend biedt dit werk een veelbelovende route naar meer intuïtieve robots die objecten in 3D kunnen begrijpen en manipuleren op basis van natuurlijke taalcommando's en één camera.