Technische Samenvatting: ATOM-Bench

Probleemstelling

Generalistische manipulatiebeleid (policies) worden steeds vaker gepositioneerd als fundamentele modellen voor robotbesturing, met de belofte om herbruikbare fysieke en semantische vaardigheden te verwerven die gecombineerd kunnen worden om nieuwe taken op te lossen. Het verifiëren van deze compositionele generalisatie in de echte wereld blijft echter een aanzienlijke uitdaging. Bestaande benchmarks vertrouwen vaak op simulatie, waarbij hoogwaardige beleidssystemen snel taakdistributies kunnen memoriseren zonder werkelijk herbruikbare vaardigheden te leren, of ze evalueren brede suites van taken die specifieke foutmodi maskeren. Hierdoor is het moeilijk te diagnosticeren of het falen van een beleidssysteem voortkomt uit zwakke atomaire motorische uitvoering, slechte instructie-onderbouwing (instruction grounding), of een onvermogen om geleerde vaardigheden te combineren in nieuwe taakstructuren.

Methodologie

Om dit diagnostische gat te dichten, introduceren de auteurs ATOM-Bench, een benchmark voor de echte wereld die zowel de verwerving van atomaire vaardigheden als de compositionele generalisatie van manipulatiebeleid evalueert.

Taakfactorisatie

ATOM-Bench deelt tabletop-manipulatie op in twee verschillende soorten "atomen":

1. Motorische Atomen: Deze definiëren de vereiste fysieke operaties (bijv. pakken-en-plaatsen, reoriëntatie, duwen, stapelen, schenken, toegang krijgen tot gelede objecten).
2. Instructie-Atomen: Deze definiëren de semantische of logische beperkingen in taal (bijv. kleur, vorm, grootte, bronrelatie, doelbestemming, tellen, uitsluiting).

Benchmarkstructuur

De benchmark bestaat uit twee gekoppelde real-world robottracks:

• Single-Arm Track: Gebruikmakend van een Franka Panda robot.
• Dual-Arm Track: Gebruikmakend van een Agilex Cobot Magic robot.

Elke track bevat:

• 30 Atomaire Taken: Verdeeld in een Motor Set (om fysieke vaardigheden te isoleren) en een Instruction Set (om taalbeperkingen te isoleren onder eenvoudige drager-acties).
• 24 Held-Out Compositionele Taken: Deze taken combineren één of meer motorische atomen met meerdere instructie-atomen. Cruciaal is dat deze niet worden gezien tijdens de fine-tuning fase, wat dient als een test voor generalisatie.

Datacollectie

De auteurs hebben 3.000 menselijke demonstraties (100 per atomaire taak) verzameld via teleoperatie over beide platforms. Deze data ondersteunt reproduceerbare real-world evaluatie en atomische fine-tuning.

Evaluatiemetrieken

Om verschillende foutmodi te onderscheiden, introduceert ATOM-Bench twee nieuwe metrieken naast de standaard Success Rate (SR) en Process Success Rate (PSR):

• Atomic Score (AS): De gemiddelde PSR van de constituerende atomen van een compositionele taak, gemeten in isolatie. Dit stelt een plafond vast voor hoe goed het beleid de vereiste componenten afzonderlijk uitvoert.
• Compositional Failure Share (CFS): Een metriek die het deel van de compositionele fout kwantificeert dat niet verklaard kan worden door zwakke atomaire vaardigheden. Een hoge CFS geeft aan dat hoewel het beleid de atomen kent, het faalt in het effectief combineren ervan.
• Transfer Gap (TG): Het verschil in prestaties tussen single-task fine-tuning en joint atomic fine-tuning.

Belangrijkste Bijdragen

1. ATOM-Bench Benchmark: Een real-world evaluatiekader met 3.000 demonstraties over twee robotplatforms (Franka Panda en Cobot Magic), bestaande uit 30 atomaire en 24 held-out compositionele taken.
2. Diagnostische Metrieken: De introductie van Atomic Score (AS) en Compositional Failure Share (CFS) om fouten te scheiden die worden veroorzaakt door zwakke uitvoering van fouten die worden veroorzaakt door beperkte compositionele hergebruik.
3. Uitgebreide Evaluatie: Een evaluatie van vijf representatieve manipulatiebeleidssystemen (Pi0.5, Motus, LingBot-VLA, GROOT N1.6, en SmolVLA) via 2.700 fysieke rollouts.
4. Gekoppeld Taakontwerp: Een unieke structuur waarbij dual-arm taken zijn ontworpen als bimanuele tegenhangers van single-arm taken, waardoor de studie van coördinatie en hand-roltoewijzing mogelijk is.

Experimentele Resultaten

De auteurs evalueerden vijf beleidssystemen onder een atomic-transfer fine-tuning protocol (gezamenlijk gefinetuned op alle 15 atomaire taken) en testten deze op zowel atomaire als held-out compositionele taken.

• Atomische Vaardigheidsverwerving: Beleidssystemen verwerven over het algemeen eenvoudige instructie-onderbouwingsvaardigheden (bijv. kleur, vorm) gemakkelijker dan fijnmazige motorische vaardigheden. Motorische atomen die precieze controle vereisen (schenken, reoriëntatie, duwen) en instructie-atomen die redeneren op set-niveau vereisen (tellen, uitsluiting) blijven uitdagend. Pi0.5 vertoonde de sterkste prestaties over beide platforms.
• Compositionele Generalisatie: Er bestaat een aanzienlijke kloof tussen atomair bekwaamheid en compositioneel succes. Zelfs modellen met hoge Atomic Scores (bijv. Pi0.5 met AS > 80%) behaalden lage Success Rates op held-out compositionele taken (SR < 17%).
• Foutmodi: Analyse toonde aan dat fouten worden gedomineerd door motorische uitvoeringsfouten, referentiefouten (verkeerde objectselectie) en time-outs. De CFS-metriek toonde aan dat bij sterke modellen een groot deel van de fout te wijten is aan problemen met het compositionele hergebruik in plaats van een gebrek aan atomische kennis.
• Robuustheid: Hoewel atomaire vaardigheden robuust waren tegen visuele en talige perturbaties, waren compositionele vaardigheden aanzienlijk brozer, waarbij de succesrates scherp daalden onder geparafraseerde instructies.
• Trainingsprotocollen: Atomic-transfer fine-tuning presteerde over het algemeen beter dan single-task fine-tuning voor instructie-onderbouwing en single-arm taken. Echter, voor complexe bimanuele motorische vaardigheden leverde single-task fine-tuning soms betere resultaten op, wat suggereert dat gespecialiseerde oefening gunstig is voor complexe coördinatie.

Betekenis

Het artikel beweert dat ATOM-Bench een cruciaal diagnostisch testbed biedt voor de robotica-gemeenschap. Het toont aan dat huidige manipulatiebeleidssystemen, hoewel in staat om eenvoudige atomaire vaardigheden te leren, moeite hebben met fijnmazige motorische controle en de logische recombinatie van deze vaardigheden in real-world settings. De benchmark stelt onderzoekers in staat om te pinpointen of fouten voortkomen uit zwakke motorische uitvoering, slechte instructie-onderbouwing of beperkt compositioneel hergebruik, waarmee men verder gaat dan geaggregeerde taaksuccespercentages naar een genuanceerder begrip van de beperkingen van het beleid. De auteurs benadrukken dat sterke atomaire prestaties niet betrouwbaar overdraagbaar zijn naar held-out compositionele taken, wat aangeeft dat real-world generalisatie in manipulatie een onopgeloste uitdaging blijft.