💻 computer science

ORACLE-Grasp: Zero-Shot Affordance-Aligned Robotic Grasping using Large Multimodal Models

ORACLE-Grasp is een zero-shot raamwerk dat Large Multimodal Models gebruikt als semantische orakels om robotten in staat te stellen onbekende objecten in ongestructureerde omgevingen te grijpen op basis van hun functie, zonder dat er specifieke training of handmatige invoer nodig is.

Oorspronkelijke auteurs: Avihai Giuili, Rotem Atari, Avishai Sintov

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Avihai Giuili, Rotem Atari, Avishai Sintov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die net in een nieuwe keuken is gekomen. Hij moet een hamer vastpakken om een spijker te slaan. Een oude robot zou misschien denken: "Ik pak het ding vast waar ik het beste grip op heb," en zou per ongeluk de kop van de hamer vastpakken. Dat werkt niet goed om te slaan. Een mens denkt echter: "Ah, ik pak het bij het handvat, want daar is het voor gemaakt."

Dit artikel introduceert ORACLE-Grasp, een slimme nieuwe manier om robots dit "menselijke" denkvermogen te geven, zonder dat ze eerst duizenden uren moeten oefenen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Orakel" in de robot (De Grote Brein)

Stel je voor dat je robot een super-intelligente gastheer heeft die alles over de wereld weet, maar die zelf geen handen heeft. Dit is een zogenaamd "Groot Meervoudig Model" (een AI die zowel plaatjes als taal begrijpt, net als een heel slimme chatbot).

In het verleden moesten robots eerst leren wat een "hamer" is door duizenden foto's van hamers te bekijken. ORACLE-Grasp doet dit niet. Het vraagt de "gastheer": "Wat zie je hier en hoe zou een mens dit vastpakken?" De AI antwoordt direct, omdat hij al weet hoe dingen werken, zonder dat de robot ooit eerder een hamer heeft gezien.

2. Het "Ruitjespelletje" (Hoe de robot ziet)

Het probleem is dat deze slimme gastheer niet goed is in precieze coördinaten. Als je vraagt "waar is het handvat?", wijst hij misschien met een hele grote, onnauwkeurige vinger naar het hele object.

Om dit op te lossen, doet ORACLE-Grasp alsof hij het plaatje van het object in een raster van ruitjes verdeelt (zoals een kruiswoordpuzzel of een kaartspel).

De eerste vraag: De robot vraagt de AI: "Wat is dit voor object en welk deel is het handvat?" (Dit is de "Scene Context Prompt"). De AI denkt na: "Het is een hamer, het handvat is lang en cilindrisch."
De tweede vraag: Vervolgens vraagt de robot: "Kijk naar dit raster van ruitjes. Welk ruitje bevat het handvat?" (Dit is de "Grasp Region Prompt").

De AI moet nu kiezen uit de ruitjes in plaats van een vrij antwoord te geven. Dit maakt het veel makkelijker voor de AI om precies te zijn.

3. De "Redenerende Robot" (Chain of Thought)

Wat dit zo speciaal maakt, is dat de AI niet alleen het antwoord mag geven, maar ook moet uitleggen waarom.
De robot zegt: "Kies het juiste vakje."
De AI antwoordt: "Ik kies vakje 5, omdat dat het handvat is en niet de kop, want je slaat met de kop."

Dit dwingt de AI om te denken als een mens. Het voorkomt dat de robot per ongeluk een kwetsbaar deel (zoals het glas van een vaas) vastpakt in plaats van het stevige handvat.

4. De "Laser-focus" (Verfijning)

Soms is de eerste keuze van de AI nog niet 100% perfect. Daarom gebruikt de robot een slimme truc:

Vroegtijdig stoppen: Als de AI drie keer op rij hetzelfde vakje kiest, weet de robot: "Oké, we hebben het gevonden!" en stopt hij om tijd te besparen.
Diepte-check: Als de robot een camera heeft die diepte ziet (zoals onze ogen), kijkt hij even na of er echt een stevig oppervlak is op die plek, of dat het misschien een gat is (zoals bij een theepot met een holle handgreep). Hij past de greep dan heel nauwkeurig aan.

Waarom is dit belangrijk?

Vroeger waren robots als specifiek getrainde studenten: ze waren goed in wat ze hadden geleerd, maar faalden bij iets nieuws.
ORACLE-Grasp is als een algemeen slimme denker: hij heeft nooit een specifieke hamer of blikopener gezien, maar hij begrijpt het concept van een handvat en hoe je iets vastpakt om het te gebruiken.

Kort samengevat:
ORACLE-Grasp is een systeem dat robots leert om niet alleen te kijken waar iets is, maar ook te begrijpen waarvoor het dient. Het gebruikt een slimme AI als een "orakel" dat de robot helpt om op de juiste plek te grijpen, alsof hij een mens is die net een nieuwe tool in handen krijgt. Dit maakt robots veel flexibeler en veiliger voor het werk in onze huizen, ziekenhuizen en magazijnen.

Probleemstelling

Het grijpen van onbekende objecten in ongestructureerde omgevingen (zoals huishoudens, ziekenhuizen en magazijnen) blijft een fundamentele uitdaging voor service-robots. Traditionele methoden zijn vaak afhankelijk van:

Dense trainingsdatasets: Ze vereisen grote hoeveelheden gelabelde data voor specifieke objectklassen.
Geometrische modellering: Ze vertrouwen op nauwkeurige 3D-reconstructie of dieptebestanden.
Gebrek aan semantisch inzicht: Bestaande diepe leermethoden voorspellen vaak alleen de geometrische stabiliteit van een greep, maar negeren de functie van het object (affordance). Bijvoorbeeld: een hamer kan geometrisch gezien aan het hoofd of het handvat worden vastgegrepen, maar semantisch gezien is het handvat de enige juiste keuze voor het beoogde gebruik.

Het doel is een systeem te creëren dat zero-shot werkt (zonder training op specifieke objecten), semantisch redeneert over de functie van een object, en een menselijke, taakgerichte greep kan selecteren op basis van een enkele afbeelding.

Methodologie: ORACLE-Grasp

ORACLE-Grasp is een raamwerk dat Large Multimodal Models (LMMs) gebruikt als "semantische orakels" om grijpselectie te sturen zonder taakspecifieke training of handmatige invoer. Het systeem reformuleert het grijprobleem als een gestructureerd, iteratief besluitvormingsproces.

De kerncomponenten zijn:

Dual-Prompt Strategie (Tweestaps Prompting):
- Scene Context Prompt (SCP): De eerste prompt vraagt de LMM om een beknopte beschrijving van het hoofdobject te geven, met specifieke focus op grijpbaarheden (bijv. "handvat", "grijpbaar gedeelte"). Dit activeert Chain-of-Thought (CoT) redenering en zorgt voor een semantische context.
- Grasp Region Prompt (GRP): De tweede prompt gebruikt de output van de SCP en vraagt de LMM om de beste grijpzone te identificeren binnen een gediscretiseerde roosterindeling van de afbeelding. In plaats van vrij tekstuele output of onnauwkeurige bounding boxes, kiest de LMM een specifiek roostercel (grid cell). Dit verhoogt de ruimtelijke precisie.
Iteratieve Verwerking en Aggregatie:
- Het proces wordt meerdere keren herhaald met verschillende roostergroottes (van grof naar fijn).
- De geselecteerde roostercellen worden geaggregeerd. Overlappende gebieden worden geïdentificeerd via Intersection-over-Union (IoU).
- De uiteindelijke grijppositie ( $\bar{p}$ ) wordt bepaald door het zwaartepunt (centroid) van alle geselecteerde maskers.
- De grijporientatie ( $\theta$ ) wordt berekend via Principal Component Analysis (PCA) op de verzameling van de geselecteerde punten, wat de dominante richting van het object bepaalt.
Optimalisatie en Verfijning:
- Vroege Stop (Early Stopping): Als de geselecteerde punten convergeren binnen een bepaalde straal, stopt het proces vroegtijdig om rekentijd te besparen.
- Oriëntatieverfijning: Als het object schuin staat ten opzichte van het rooster, wordt de afbeelding rotatie-gecorrigeerd om de grid-uitlijning te verbeteren.
- Diepte-gebaseerde verfijning (Grasp Refinement): Bij aanwezigheid van RGB-D data (dieptekaart), wordt de voorspelde 2D-positie gecontroleerd op geldigheid. Het systeem scant de diepte langs de lijn van de camera naar het grijppunt om te voorkomen dat de robot in een holte of achtergrond grijpt, en past de positie aan naar het dichtstbijzijnde fysieke oppervlak.

Belangrijkste Bijdragen

ORACLE-Grasp Framework: Een volledig zero-shot raamwerk dat LMMs gebruikt voor affordance-gealigneerde grijping zonder training, labels of aangepaste encoders.
Dual-Prompt Strategie: Een innovatieve aanpak die semantische redenering (SCP) koppelt aan ruimtelijke selectie (GRP) via een rooster, wat leidt tot mensachtige en contextbewuste beslissingen.
Contextvrije Grijping: Het demonstreert dat LMMs in staat zijn om functionele grijppunten af te leiden voor onbekende objecten zonder externe taakannotaties of gestructureerde priors.
Integratie van Diepte: Een hybride aanpak die LMM-redenering combineert met klassieke computerzichttechnieken (diepteverfijning) voor fysieke uitvoerbaarheid.

Resultaten

De auteurs hebben ORACLE-Grasp getest op twee datasets:

Test-set I: 100 RGB-afbeeldingen met diverse objecten (inclusief AI-generatie via DALL·E) voor evaluatie van de grijppositie en -oriëntatie ten opzichte van menselijke annotaties.
Test-set II: 20 RGB-D afbeeldingen van echte objecten, gebruikt voor fysieke robotexperimenten met een Franka Research 3-arm.

Kernbevindingen:

Nauwkeurigheid: De methode bereikte een lage Normalized Root Mean Squared Error (NRMSE) voor positie en een lage Mean Absolute Error (MAE) voor oriëntatie in vergelijking met menselijke annotaties. Het gebruik van de SCP (context) verbeterde de nauwkeurigheid aanzienlijk ten opzichte van alleen de GRP.
Succespercentages: In de fysieke robotexperimenten bereikte het systeem een gemiddeld succespercentage van 88% bij het oppakken van diverse objecten (zoals tandpasta, blikken, gereedschap).
Ablatiestudie: Het verwijderen van de "Brief Explanation" (CoT) of de diepte-verfijning leidde tot een significante daling in nauwkeurigheid en succes, wat aantoont dat zowel semantisch redeneren als ruimtelijke verfijning cruciaal zijn.
Efficiëntie: Dankzij het vroege stopmechanisme werd in 89% van de gevallen de inferentie tijdig beëindigd, wat de rekentijd met gemiddeld 27% verlaagde.

Betekenis en Conclusie

ORACLE-Grasp markeert een verschuiving in robotgrijping van "geometrisch expert" naar "semantisch generalist".

Generalisatie: Het elimineert de noodzaak voor objectspecifieke modellen of uitgebreide datasets, waardoor robots direct kunnen omgaan met volledig nieuwe objecten.
Taakrelevantie: Door te focussen op affordance (wat kan ik ermee doen?), kiest het systeem grepen die niet alleen stabiel zijn, maar ook functioneel correct (bijv. een schroevendraaier bij het handvat vastpakken).
Toekomstperspectief: Hoewel de huidige inferentietijd van LMMs nog een uitdaging vormt voor real-time controle, biedt dit raamwerk een solide basis voor autonome service-robots die in dynamische, ongestructureerde omgevingen kunnen opereren. De modulariteit van het systeem maakt het toekomstig uitbreidbaar naar scenario's met meerdere objecten en complexe menselijke instructies.