Technische Samenvatting: RoboBenchMart: Benchmarking van Robots in een Retailomgeving

Probleemstelling

Huidige benchmarks voor robotische manipulatie richten zich voornamelijk op tafelblad- of huishoudelijke scenario's (bijv. ALFRED, RLBench, RoboCasa), waarbij taken vaak gereduceerd worden tot pick-and-place-operaties in relatief ongeconstrueerde ruimtes. Hoewel deze omgevingen aanzienlijke vooruitgang hebben gestimuleerd voor Vision-Language-Action (VLA) modellen, blijft het onduidelijk of generalistische beleidsregels die uitblinken in deze settings, kunnen generaliseren naar domeinen met een afwijkende geometrie, semantiek en workflow.

De retailsector, specifelijk "dark stores" (kleine distributiecentra voor het vervullen van online bestellingen), vormt een kritieke kloof. Deze omgevingen kenmerken zich door dichte objectclutter, schappen met meerdere niveaus, gemengde armaturen (planken en koelkasten) en een enorme variëteit aan visueel gelijkaardige producten. Bestaande benchmarks slagen er niet in om de specifieke uitdagingen van retail te vangen, zoals het navigeren door smalle gangpaden, het uitvoeren van betrouwbare botsingsvermijding in rommelige ruimtes, en het manipuleren van artikelen op verschillende hoogtes en dieptes. Bovendien is het testen van beleidsregels direct in echte retailomgevingen duur en logistiek moeilijk, wat de noodzaak voor hoogwaardige simulatie-benchmarks creëert die deze complexiteiten accuraat weerspiegelen.

Methodologie

1. RoboBenchMart Suite

De auteurs introduceren RoboBenchMart, een open-source gesimuleerde benchmark suite gebouwd op het ManiSkill3 framework, gebruikmakend van de Fetch mobiele manipulator (differentieel aangedreven basis, 7-DOF arm, prismatische torso). De suite bestaat uit drie kerncomponenten:

• Store Plan Generator: Een procedurele pipeline voor het genereren van diverse en realistische winkelindelingen.

  • Fixture Arrangement: Geïnspireerd door procedurele straatmodellering, gebruikt het systeem een tensorveld-benadering. Het berekent een basis-tensorveld op basis van initiële willekeurige plaatsingen van armaturen (pallets, vriezers) en aggregeert deze om de optimale oriëntatie van schappen (horizontaal of verticaal) te bepalen, terwijl botsingsvrije, navigeerbare gangpaden worden gegarandeerd.
  • Product Arrangement: Door gebruik te maken van de scene synthesizer package, worden producten geplaatst op een regelmatig rooster met pose-perturbaties om natuurlijke variabiliteit te simuleren. Het systeem ondersteunt verticale stapeling en gebruikt een Poisson-proces om de uitputting van schappen (lege ruimtes) in de loop van de tijd te simuleren.
  • Assets: De suite bevat 370 productassets over 21 categorieën, evenals schap- en koelkastmodellen. Om de renderingprestaties in scènes met honderden objecten te waarborgen, hebben de auteurs een automatische methode voor mesh-vereenvoudiging ontwikkeld (met behulp van QuadriFlow, Marching Cubes en vormspecifieke benaderingen) om het aantal driehoeken te verminderen terwijl het verlies aan geometrische kwaliteit (gemeten via de Chamfer-afstand) wordt geminimaliseerd.

• Store Trajectories Sampler: Een pipeline voor het genereren van demonstratie-trajecten met behulp van bewegingsplanning.

  • Het systeem definieert heuristisch sequenties van ankerposes (initieel, intermediair, finaal) voor taalfasen.
  • Trajecten worden gegenereerd met behulp van schroefbeweging (screw motion) voor niet-mobiele segmenten (met botsingscontrole) en RRT-Connect voor botsingsvermijding. Het herpositioneren van de mobiele basis gebruikt taakspecifieke heuristische planners.
  • Alleen succesvolle, volledige trajecten worden behouden. De dataset bevat 2.976 demonstraties (248 per taak/item/fixture-triplet) voor de Fetch-robot.

• Store Robotics Benchmark: Een gestandaardiseerd evaluatiekader.

  • Taken: Bevat atomaire taken (Pick to basket, Pick from floor, From board to board, Open/Close fridge) en samengestelde taken (Pick N items, Pick from fridge).
  • Evaluatiescenario's: De benchmark test generalisatie over:
    1. In-Domain: Alleen gerandomiseerde robotposities.
    2. Unseen Scenes: Gerandomiseerde posities, texturen en winkelindelingen.
    3. Unseen Scenes & Items: Onbekende scènes gecombineerd met Out-of-Distribution (OOD) items uit andere taken.
  • Baselines: Vier state-of-the-art generalistische VLA-modellen werden geëvalueerd: Octo, SmolVLA, $\pi_0$, en $\pi_0.5$. Alle modellen zijn via imitation learning getraind op de gegenereerde trajecten.

2. Experimentele Opstelling

• Training: Modellen werden uitsluitend gefinetuned op atomaire taken. Samengestelde taken werden geëvalueerd door ze te deconstrueren in sequenties van atomaire instructies.
• Data Constraints: Om realistische adaptatie te modelleren, werd de training beperkt tot 2–3 objecten per taak, met een strikte scheiding tussen de trainings- en testobjectensets voor specifieke taken.
• Metrics: Succespercentages werden gemeten over 100 proeven per taak/item/fixture-triplet. Mislukkingen werden geannoteerd op basis van de vroegste primaire fout in de pipeline (bijv. taak-grounding, navigatie, grijpen, plaatsing).

Belangrijkste Resultaten

Prestaties van Generalistische Modellen

De evaluatie laat zien dat huidige state-of-the-art generalistische VLA's aanzienlijk moeite hebben in de retailsector, zelfs na finetuning:

• SmolVLA: Presteerde slecht in alle scenario's en behaalde alleen een niet-nul succes bij de eenvoudigste "open/close fridge"-taken.
• Octo & $\pi_0$: Behaalden een matig succes in de In-Domain setting, maar presteerden aanzienlijk minder in Unseen Scenes en faalden volledig in Unseen Scenes & Items.
• $\pi_0.5$: Presteerde het best van de geëvalueerde modellen en vertoonde een niet-nul succes in het Unseen Scenes & Items scenario, hoewel de betrouwbaarheid laag bleef.
• Samengestelde Taken: Alle modellen behaalden 0% succes op samengestelde taken (bijv. het pakken van 3 items), wat wijst op een onvermogen om meerstapsinstructies uit te voeren of te generaliseren over taalfasen.

Foutanalyse

Foutannotatie (Tabel 3) identificeerde twee primaire knelpunten:

1. Grijpfouten (Grasping Failures): Modellen zoals Octo, $\pi_0$ en $\pi_0.5$ faalden voornamelijk tijdens de grijpfase, waarbij ze moeite hadden met precieze interactie op schapniveau.
2. Grounding-fouten: Een aanzienlijk deel van de fouten vond plaats tijdens de "target" selectie (het identificeren van het juiste product) en de "pregrasp" positionering. SmolVLA faalde het vaakst tijdens de pregrasp positionering.
3. Gevoeligheid voor distributieverschuiving: Naarmate de evaluatiedistributie verschoof van training (bijv. van In-Domain naar Unseen Scenes & Items), namen de foutpercentages drastisch toe, waarbij ze voor de meeste modellen vaak boven de 90% uitkwamen.

Betekenis en Claims

Het artikel stelt dat RoboBenchMart de eerste open benchmark is die specifiek is gewijd aan het evalueren van robotische beleidsregels in retailomgevingen. De betekenis ligt in:

1. Blootleggen van een Domeinkloof: De resultaten tonen aan dat hoge prestaties in huishoudelijke/tafelblad-benchmarks geen garantie bieden voor overdraagbaarheid naar retailsettings. Huidige generalistische modellen missen de robuustheid die vereist is voor de geometrie, de rommeligheid en de semantische complexiteit van dark stores.
2. Identificeren van Beperkingen: De studie benadrukt dat bestaande voorgetrainde modellen onvoldoende zijn voor effectieve adaptatie in retail zonder gerichte pretraining op retail-specifieke data. De modellen vertonen fragiliteit bij kleine scèneveranderingen en een zwakke generalisatie vanuit beperkte demonstraties naar nieuwe object-taakcombinaties.
3. Faciliteren van Toekomstig Onderzoek: Door de procedurele winkelindeling-generator, de trajectgeneratie-pipeline, evaluatietools en baseline-modellen vrij te geven, beogen de auteurs de ontwikkeling van robuustere, schaalbare en taakbewuste robotische systemen voor de retailsector te faciliteren.

De auteurs hanteren een bescheiden toon en erkennen dat de benchmark momenteel slechts parallel-jaw grippers en rigide pakketten ondersteunt, en geen zuigkracht of gracile handen insluit. Zij positioneren RoboBenchMart als een fundamentele stap richting het aanpakken van de nog onverkende uitdagingen van retailautomatisering.