💻 computer science

Kitchen Robotic Manipulation utilizing Foundation Models

Dit artikel presenteert een modulaire perceptie-pipeline voor robotische manipulatie in de keuken die meerdere foundation models integreert om robuuste 6D-pose schatting en grasp planning te bereiken, waarbij een ADI van 89,12% op een rommelige benchmark wordt aangetoond en succesvolle zero-shot implementatie op fysieke robots voor taken zoals het verplaatsen van borden en het stapelen van kopjes wordt gedemonstreerd.

Oorspronkelijke auteurs: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om te helpen in een rommelige keuken. Het klinkt simpel, maar voor een machine is een keuken een nachtmerrie van chaos. In tegen tegenstelling tot een fabriek, waar elk gereedschap op exact dezelfde plek ligt, is een keuken vol met stapels afwas, objecten die achter anderen verborgen liggen en glibberige, glanzende oppervlakken. Om een koffiemok op te pakken, moet een robot deze eerst duidelijk kunnen "zien", precies moeten bepalen waar deze zich in de 3D-ruimte bevindt, en weten hoe hij hem kan vastpakken zonder de hele stapel omver te stoten. Dit is de wereld van robotische perceptie: de wetenschap van het geven van ogen en hersenen aan machines, zodat ze een rommelige, veranderende wereld kunnen begrijpen.

Om dit te doen, ontwikkelen wetenschappers Foundation Models. Denk aan deze modellen als superintelligente studenten die bijna elk boek hebben gelezen en bijna elke foto op het internet hebben bekeken voordat ze aan een specifieke taak beginnen. Omdat ze zoveel hebben gezien, hoeven ze niet telkens opnieuw te worden onderwezen wanneer ze een nieuwe kamer binnenkomen; ze kunnen hun algemene kennis gebruiken om een "beker" te herkennen, zelfs als ze die specifieke beker nog nooit eerder hebben gezien. De grote vraag die onderzoekers stellen is: kunnen we deze krachtige, vooraf getrainde "hersenen" rechtstreeks in het lichaam van een robot pluggen, zodat deze huishoudelijke taken kan uitvoeren zonder dat er voor elk huis maandenlange aangepaste training nodig is?

Het "Zwitsers Zakmes"-brein van de Keukenrobot

In dit artikel bouwt een team van onderzoekers een "robotische perceptie-pipeline" die ontwor Eng de robotarm helpt door een rommelige keukengootsteen te navigeren en vaat rond te verplaatsen. In plaats van één groot, rigide brein te bouwen dat alleen werkt voor één specifieke keuken, hebben ze een modulair systeem gecreëerd. Stel je een high-end camera voor waarbij je de lens, de sensor en de processor kunt verwisselen afhankelijk van wat je fotografeert. Dit robotsysteem werkt op dezelfde manier: het stelt onderzoekers in staat om verschillende "Foundation Models" te mixen en te matchen om te zien welke combinatie het beste werkt voor het vinden en oppakken van servies.

De taak van de robot is om naar een gootsteen vol borden, bekers en kommen te kijken, precies te bepalen waar elk item zich bevindt (de 6D-pose, wat betekent de locatie en de hoek in de 3D-ruimte), en vervolgens een veilige manier te plannen om het op te pakken. Het team heeft dit systeem getest op een aangepaste dataset van 20 echte keuken-scènes, compleet met rommelige stapels en verborgen objecten.

Het Recept voor Succes

De onderzoekers hebben niet zomaar geraden welke modellen ze moesten gebruiken; ze hebben systematisch 24 verschillende combinaties van visuele en geometrische modellen getest. Ze behandelden het systeem als een recept, waarbij ze ingrediënten verwisselden om de perfecte smaak te vinden.

De Ogen (Visuele Modellen): Deze modellen kijken naar de 2D-afbeeldingen om te herkennen welke objecten er aanwezig zijn.
De Handen (Geometrische Modellen): Deze modellen kijken naar de 3D-vorm van de objecten om hun structuur te begrijpen.
De Lijm (Feature Fusion): Ze ontdekten dat het gebruik van enkel de ogen of de handen niet genoeg was. Het geheime ingrediënt was het fusen van de 2D-beeldkenmerken met de 3D-point-cloud kenmerken. Het is alsof je een detective hebt die niet alleen een gezicht herkent op een foto, maar ook de vorm van het lichaam van de persoon begrijpt om te weten hoe hij diegene precies de hand moet schudden.

Na het analyseren van de cijfers ontdekte het team een "kampioen"-configuratie: LLMDet (voor het opsporen van objecten), SAMv2 (voor het uitsnijden van het object uit de achtergrond), DINOv2 (voor het herkennen van fijne details) en GeoTransformer (voor het begrijpen van de 3D-geometrie). Wanneer deze vier samenwerkten, bereikte de robot een ADI (Average Distance of Indistinguishable views) van 89,12%. In gewone mensentaal betekent dit dat de robot de positie en hoek van een bord met ongelooflijke nauwkeurigheid kon inschatten, zelfs wanneer het bord gedeeltelijk verborgen of omringd door rommel was.

Bewijs uit de Praktijk

Het beste eraan? Ze stopten niet bij computersimulaties. Ze namen deze "kampioen"-configuratie mee en plaatsten deze op een fysieke robotarm in een echte keuken. Ze zagen de robot succesvol:

Servies verplaatsen van een gootsteen naar een vaatwasser.
Bekers stapelen op een aanrecht.
Voorwerpen oppakken uit een rommelige gootsteen.

De robot deed dit alles zonder enige hertraining voor de specifieke keuken waarin hij zich bevond. Hij hoefde niet te leren hoe een "beker" er in dat specifieke huis uitzag; hij gebruikte gewoon zijn vooraf getrainde fundamentele kennis. In een reeks tests in de echte wereld slaagde de robot in 87,5% van zijn pogingen (259 successen op 296 proeven).

Waar het Struikelt

Het artikel is eerlijk over de punten waar het systeem nog niet perfect is. De belangrijkste reden voor falen was niet dat het "brein" van de robot het object niet zag, maar dat de "hand" van de robot slipt. De robot gebruikt een compliant gripper (een zachte, adaptieve hand) om dingen voorzichtig vast te houden, maar soms gleed het object tijdens het transport weg, vooral bij het stapelen van bekers in een krappe, volle gootsteen. De robot probeerde ook af en toe de verkeerde plek te grijpen als de detectie iets afweek. De auteurs merken echter op dat dit fysieke uitdagingen zijn met de gripper, en geen fouten van het perceptiesysteem zelf.

Waarom dit Belangrijk is

Dit werk suggereert dat we niet voor elk huis een nieuw, op maat gemaakt robotbrein hoeven te bouken. In plaats daarvan kunnen we een flexibel, modulair systeem gebruiken dat de beste beschikbare "foundation models" inzet om de taak te voltooien. Het bewijst dat door de juiste mix van visuele en geometrische intelligentie te combineren, robots zich kunnen aanpassen aan de rommelige, onvoorspelbare realiteit van menselijke huizen zonder dat er een leraar nodig is om hen elke handeling te tonen. Hoewel er nog werk te verrichten is om de grip van de robot sterker en zijn bewegingen vloeiender te maken, biedt deze pipeline een praktisch, schaalbaar pad naar robots die ons daadwerkelijk kunnen helpen met de afwas.

Technische Samenvatting: Keukenspecifieke Robotische Manipulatie met behulp van Foundation Modellen

Probleemstelling

Het inzetten van robotische systemen in alledaagse menselijke omgevingen, met name keukens, brengt aanzienlijke uitdagingen met zich mee vanwege de ongestructureerde, dynamische en rommelige aard van deze ruimtes. Traditionele visie-gebaseerde robotsystemen vertrouwen zwaar op taakspecifieke datasets en supervised learning, wat vaak niet generaliseert naar andere omgevingen. Gevolgelijk missen deze systemen de adaptiviteit die nodig is om onbekende omgevingen of variërende objectconfiguraties te hanteren zonder uitgebreide handmatige interventie of hertraining. Hoewel recente foundation modellen verrassende generalisatiecapaciteiten hebben getoond over diverse domeinen heen, blijft er een kritieke kloof bestaan in het systematisch integreren van deze modellen in robuuste perceptie-pipelines die de brug kunnen slaan tussen hoogwaardige perceptie en de concrete eisen van fysieke manipulatie (bijv. 6D-pose schatting en grasp planning) zonder omgevingsspecifieke fine-tuning.

Methodologie

De auteurs stellen een modulaire perceptie-pipeline voor die ontworpen is voor huishoudelijke manipulatietaken, specifiek gericht op het hanteren van servies in keukenomgevingen. Het systeem werkt op de aanname dat de inventaris van keukens relatief stabiel is en dat 3D CAD-modellen van doelobjecten beschikbaar zijn. De pipeline bestaat uit vier primaire stadia:

Multi-View Instance Segmentatie: Het systeem maakt gebruik van Open-Vocabulary Object Detection (OVOD) om bounding box prompts te genereren voor de Segment Anything Model (SAMv2). Om consistentie over meerdere aanzichten te garanderen, gebruikt een cross-view verificatiemechanisme projectie via dieptegegevens en camerapozen, waarbij consistente object-ID's worden toegewezen op basis van Intersection over Union (IoU) drempelwaarden.
Instance-Aware 3D Kaart Reconstructie: De pipeline construeert een 3D semantische kaart door RGB-D frames te fuseren. Het maakt gebruik van een grove 3D puntwolk-registratie gebaseerd op feature matching, gevolgd door Iterated Closest Point (ICP) verfijning om pose-fouten te corrigeren. Instance ID's van de segmentatie-masks worden aan de puntwolk toegewezen om een instance-aware kaart te creëren.
2D-3D Feature Fusie en Pose Schatting: Dit is de kerninnovatie van de pipeline. Voor elke gesegmenteerde instantie extraheert het systeem features met behulp van een visueel foundation model ( $\Phi$ $Φ$ ) en een geometrisch foundation model ( $\Psi$ $Ψ$ ).
- Visuele Features: Geëxtraheerd uit de uitgesneden objectregio's en geprojecteerd in de 3D-ruimte via diepte en camerapozen, vervolgens geaggregeerd via voxel pooling.
- Geometrische Features: Berekend direct op de object-puntwolk.
- Fusie: De beeld- en puntfeatures worden L2-genormaliseerd en geconcateneerd om een verenigde per-punt feature representatie te vormen.
- Registratie: Het systeem voert object-kandidaat voorstellen uit door query-features te vergelijken met een database van gerenderde CAD-model features. Vervolgens voert het object-registratie uit met behulp van correspondence-based alignment in de gefuseerde feature space, gevolgd door ICP-verfijning.
Grasp Schatting: Gebruikmakend van de geschatte 6D-poses en vooraf gedefinieerde CAD-modellen, genereert het systeem grasp-kandidaten. Deze worden gefilterd via kinematische haalbaarheidstoetsen (inverse kinematics), botsingsvermijding (met behulp van FCL) en bereikbaarheidsbeperkingen om fysiek uitvoerbare grijpbewegingen te garanderen.

De architectuur is expliciet modulair ontworpen, waardoor het mogelijk is om verschillende visuele en geometrische foundation modellen te vervangen om optimale configuraties te identificeren.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

Verenigde Pipeline Integratie: Een systeem-niveau integratie van meerdere foundation modellen in een verenigde 6D-pose perceptie-pipeline die opereert in diverse keukenomgevingen zonder omgevingsspecifieke training of fine-tuning.
Modulaire Architectuur en Systematische Evaluatie: Een flexibel framework waarbij elk component kan worden vervangen. De auteurs hebben 24 combinaties van visuele en geometrische foundation modellen systematisch geëvalueerd op een aangepaste real-world keuken-dataset om de best presterende configuratie te identificeren.
Validatie in de Praktijk: Demonstratie van het geïntegreerde systeem op fysieke robotplatforms die complexe keuken-taken uitvoeren (zoals het verplaatsen van de gootsteen naar de vaatwasser en het stapelen van bekers) zonder verdere afstemming, wat de schaalbaarheid en praktische bruikbaarheid valideert.

Experimentele Resultaten

De auteurs evalueerden de pipeline op een aangepaste dataset bestaande uit 20 real-world keuken-scènes met variërende mate van rommel, occlusie en objectarrangementen.

Beste Configuratie: De combinatie van LLMDet (OVOD), SAMv2 (Segmentatie), DINOv2 (Visueel Foundation) en GeoTransformer (Geometrisch Foundation) behaalde de hoogste prestaties.
Kwantitatieve Prestaties: Deze configuratie behaalde een Average Distance van modelpunten voor Indistinguishable views (ADI) van 88,92% op de 20-scène benchmark zonder ICP-verfijning. Wanneer ICP-verfijning werd toegepast, verbeterde de nauwkeurigheid naar 89,12%. Ter vergelijking: de state-of-the-art FoundationPose methode behaalde 87,32% ADI, zelfs wanneer deze werd voorzien van ground-truth masks, terwijl de voorgestelde beste configuratie deze prestatie overtrof zonder dergelijke ideale inputs te vereisen.
Impact van Feature Fusie: De studie bevestigde dat het fuseren van 2D beeldfeatures met 3D geometrische features de prestaties consistent verbeterde in alle configuraties. Hoewel GeoTransformer geïsoleerd slecht presteerde vanwege de afhankelijkheid van globale context, behaalde het de hoogste nauwkeurigheid wanneer het werd gefuseerd met discriminatieve beeldfeatures van DINOv2.
Succes in de Praktijk: In fysieke demonstraties met 296 proeven over twee verschillende keukenomgevingen behaalde het systeem een succespercentage van 87,50% voor taken zoals eenvoudig grijpen en het stapelen van bekers.
Foutanalyse: De meerderheid van de fouten werd toegeschreven aan fysieke interactieproblemen, zoals het glijden van de grijper door de compliantie van de grijper of het per ongeluk verplaatsen van naburige objecten in zeer rommelige scenario's, in plaats van aan perceptiefouten.

Betekenis en Claims

Het artikel claimt dat de voorgestelde modulaire pipeline een praktisch kader biedt voor huishoudelijke robotica door aan te tonen dat foundation modellen effectief kunnen worden geïntegreerd om manipulatietaken te hanteren zonder de noodzaak van omgevingsspecifieke hertraining. De auteurs benadrukken dat hun aanpak:

Schaalbaarheid mogelijk maakt: Het systeem past zich aan verschillende robotsystemen en nieuwe omgevingen aan zonder extra afstemming.
Flexibiliteit biedt: Het modulaire ontwerp stelt gebruikers in staat om modelcombinaties af te stemmen op specifieke computationele beperkingen of de moeilijkheidsgraad van de taak.
Perceptie en Controle overbrugt: In tegen tegenoverkant-van-end-to-end vision-language-action policies, die perceptie en controle samenvoegen in één geleerd model, produceert deze aanpak expliciete 6D-poses die compatibel zijn met klassieke motion planners, wat herbruikbaarheid over verschillende sensorconfiguraties garandeert.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van CAD-modellen voor registratie (wat de toepasbaarheid op onbekende objecten beperkt), incidentele grijpfouten door beperkingen van de grijper, en de noodzaak voor geavanceerdere manipulatiestrategieën voor strak gestapelde objecten. Zij suggereren dat toekomstig werk zich zou kunnen richten op geleerde traject-generatoren en multi-view reconstructiemethoden voor het on-boarden van nieuwe objecten.