Technische Samenvatting: Data Scaling Laws in Imitation Learning voor Robotische Manipulatie

Probleemstelling

Hoewel dataschaling revolutie heeft teweeggebracht in Natural Language Processing (NLP) en Computer Vision (CV), wat leidde tot modellen met opmerkelijke generalisatiecapaciteiten, ontbreken er in de robotica—specifiek bij robotische manipulatie—gevestigde scaling laws. Huidige robotische policies worstelen vaak met zero-shot generalisatie naar onbekende objecten en omgevingen, wat doorgaans fine-tuning of uitgebreide taakspecifieke data vereist. Dit paper onderzoekt of vergelijkbare data scaling laws bestaan in robotische imitation learning. De centrale vraag is: Kan passende dataschaling resulteren in single-task robot policies die in staat zijn tot zero-shot deployment op vrijwel elk object binnen dezelfde categorie, in elke omgeving?

Methodologie

Experimentele Opzet

De auteurs voerden een uitgebreide empirische studie uit met behulp van Imitation Learning (IL) via Behavior Cloning (BC).

• Taken: De studie richtte zich op vier manipulatietaken: Water Inschen, Muis Schikken, Handdoeken Vouwen en Lader Uitpluggen.
• Datacollectie: Met behulp van de Universal Manipulation Interface (UMI), een handbediende grijper, verzamelde het team meer dan 40.000 menselijke demonstraties. Data werd verzameld in talrijke "in-the-wild" omgevingen en met diverse objecten binnen dezelfde categorie.
• Policy Architectuur: De auteurs gebruikten Diffusion Policy met een CNN-gebaseerde U-Net. Belangrijke architecturale keuzes waren:
  • Visuele Encoder: Een DINOv2 ViT-Large/14, die volledig werd gefinetuned (presteerde beter dan ImageNet ResNet en CLIP ViT).
  • Temporele Ensemble: Een exponentieel weegschema om actietransities te verzachten en bewegingsdiscontinuïteit te verminderen.
• Evaluatieprotocol: Een rigoureuze evaluatie werd uitgevoerd op onbekende omgevingen en objecten. Prestaties werden gemeten met een genormaliseerde score (0 tot 1) gebaseerd op door testers toegewezen stapsgewijze criteria, in plaats van schaarse binaire succespercentages. De studie omvatte meer dan 15.000 real-world robot rollouts.

Schalingsdimensies

De studie varieerde systematisch drie dimensies om hun impact op generalisatie te analyseren:

1. Aantal Trainingsomgevingen ($M$): Variërend in de diversiteit van scènes (verlichting, afleidende elementen, achtergronden).
2. Aantal Trainingsobjecten ($N$): Variërend in de diversiteit van objecten (kleur, grootte, geometrie) binnen dezelfde categorie.
3. Aantal Demonstraties ($K$): Variërend in de hoeveelheid data per omgeving-object paar.

Belangrijkste Bevindingen en Resultaten

1. Power-Law Scaling voor Diversiteit

De generalisatieprestaties van de policy volgen een ruim benaderde power-law relatie met het aantal trainingsomgevingen, objecten en omgeving-object paren.

• Object Generalisatie: De prestaties op onbekende objecten verbeteren sterk met het aantal trainingsobjecten. Met slechts 8 trainingsobjecten overstegen de genormaliseerde scores 0,8; met 32 objecten overstegen de scores 0,9.
• Omgevings Generalisatie: De prestaties op onbekende omgevingen volgen ook een power law, hoewel de initiële helling iets minder steil is dan voor objecten.
• Gecombineerde Generalisatie: Wanneer zowel omgevingen als objecten simultaan worden gevarieerd, generaliseert de policy effectief naar nieuwe combinaties.

2. Diversiteit boven Kwantiteit

Een cruciale bevinding is dat diversiteit veel belangrijker is dan het absolute aantal demonstraties.

• Verminderde Meeropbrengst: Zodra het aantal demonstraties per omgeving of object een bepaalde drempel bereikt, levert extra data minimale prestatiewinst op.
• Verzadigingspunten:
  • Voor 8 omgeving-object paren verzadigt de prestatie bij ~400 totale demonstraties.
  • Voor 16 paren vindt verzadiging plaats bij ~800.
  • Voor 32 paren vindt verzadiging plaats bij ~1.600.
• Efficiëntie: Het verhogen van het aantal omgevingen en objecten is aanzienlijk effectiever dan het verhogen van het aantal demonstraties per specifiek omgeving-object paar.

3. Efficiënte Datacollectie Strategie

Op basis van de scaling laws stellen de auteurs een specifieke datacollectie strategie voor:

• Strategie: Verzamel data in zoveel mogelijk diverse omgevingen, met één uniek object per omgeving.
• Drempelwaarde: Een totaal van 32 omgeving-object paren is over het algemeen voldoende om een policy te trainen die goed generaliseert.
• Demonstraties per Paar: Het verzamelen van 50 demonstraties per omgeving-object paar wordt aanbevolen voor taken van vergelijkbare moeilijkheidsgraad.
• Validatie: Het toepassen van deze strategie (32 paren, 50 demo's elk) op twee nieuwe taken (Handdoeken Vouwen en Lader Uitpluggen) met behulp van slechts vier datacollectoren gedurende één middag, resulteerde in policies die ~90% succespercentages behaalden in nieuwe omgevingen met onbekende objecten.

4. Inzichten in Model Scaling

Naast data onderzocht het paper ook model scaling:

• Visuele Encoder: Het schalen van de visuele encoder (van ViT-Small naar ViT-Large) en het volledig fine-tunen van pre-trained DINOv2 features is essentieel. Leren vanaf nul of het gebruik van bevroren features resulteerde in bijna nul prestaties.
• Action Diffusion Model: Verrassend genoeg leidde het schalen van de grootte van de U-Net action diffusion model (van klein naar groot) niet tot verbeterde prestaties en verslechterde het de prestaties zelfs licht in de grootste configuratie, wat suggereert dat de kleinere modelcapaciteit al voldoende was voor de actieverdeling.

Betekenis en Claims

Het paper claimt de eerste uitgebreide data scaling laws voor robotische manipulatie vast te stellen, waarbij de focus verschuift van "meer data" naar "betere datadiversiteit".

• Generalisatie is Bereikbaar: De auteurs demonstreren dat "in-the-wild" generalisatie dichterbij is dan voorheen gedacht. Een single-task policy kan getraind worden om op elk object in elke omgeving te opereren zonder fine-tuning, mits de trainingsdata voldoende omgevings- en objectdiversiteit dekt.
• Kosteneffectiviteit: De voorgestelde strategie vermindert de tijd en arbeid die nodig is om robuuste robotische policies te bouwen aanzienlijk. Het bereiken van ~90% succespercentages vereiste slechts één middag aan datacollectie door vier personen, wat het idee uitdaagt dat robotische generalisatie enorme, jarenlange datacollectie-inspanningen vereist.
• Fundament voor Toekomstig Werk: Door te identificeren dat diversiteit de drijfveer is voor generalisatie boven volume, biedt het paper een blauwdruk voor het construeren van grootschalige robotische datasets die prioriteit geven aan omgevings- en objectvariëteit boven het pure aantal trajecten.

De auteurs erkennen beperkingen, waarbij zij opmerken dat hun studie beperkt is tot single-task policies (niet taak-niveau generalisatie), imitation learning (niet reinforcement learning), en een specifieke set van vier taken. Zij roepen op tot toekomstig werk om deze wetten te verifiëren over een breder scala aan taken en algoritmen.