Learning to unfold cloth: Scaling up world models to deformable object manipulation

Probleemstelling

Het manipuleren van textiel (kleding, handdoeken, lakens) is een fundamenteel maar uiterst uitdagend probleem in de robotica. In tegenstelling tot stijve objecten, ondergaan vervormbare objecten complexe dynamische veranderingen in vorm en toestand tijdens het hanteren. Dit maakt het moeilijk om de vorm en toestand van het textiel nauwkeurig te volgen.

Traditionele methoden voor het uitvouwen van kleding vereisen vaak meerdere manipulaties om het doelgebied bloot te leggen, of ze zijn gebaseerd op 3D-sensoren die trage reconstructies vereisen. Een alternatieve aanpak is het tillen van het textiel in de lucht ("in-air"), wat de toegankelijkheid vergroot, maar de taak transformeert naar een volledig driedimensionaal dynamisch probleem. Bestaande machinelearning-methoden worstelen vaak met:

1. Generalisatie: Het aanpassen aan verschillende vormen, maten, vouwpatronen en visuele eigenschappen (kleur, textuur).
2. Real-time prestaties: Het vermogen om snel te reageren op dynamische veranderingen zonder zware computereisen.
3. Sim-to-Real gap: Het succesvol overbrengen van in simulatie getrainde modellen naar fysieke robots zonder extra training.

Methodologie

De auteurs presenteren een aanpak die gebruikmaakt van Versterkend Leren (Reinforcement Learning - RL), specifiek gebaseerd op het DreamerV2-architectuur (een wereldmodel-benadering). Het doel is om een agent te trainen die een handdoek of kledingstuk in de lucht kan uitvouwen door een hoek vast te grijpen en naar een aangrenzende hoek te bewegen.

De kern van hun methode bestaat uit drie belangrijke technische modificaties:

1. Gebruik van Oppervlaktenormals i.p.v. RGB

In plaats van traditionele RGB-beelden (kleur en textuur) als input te gebruiken, converteren de auteurs dieptebeelden (depth images) naar oppervlaktenormals (surface normals).

• Reden: De geometrie van het textiel (plooien, kreukels, vorm) is cruciaal voor manipulatie, terwijl kleur en textuur irrelevante variaties introduceren die het model kunnen laten overfitten.
• Implementatie: Dieptebeelden worden in real-time omgezet naar normal maps (64x64x3 resolutie) met behulp van Sobel-filters. Dit zorgt ervoor dat de agent zich richt op de fysieke structuur van het object, ongeacht de visuele verschijning.

2. Aanpassing van de Replay Buffer

Om het probleem van overfitting en het gebrek aan doeltoestanden (goal-states) in de beginfase van het leren aan te pakken, hebben de auteurs de replay buffer van DreamerV2 aangepast:

• Demonstratie-episodes: In plaats van te beginnen met willekeurige exploratie (wat bij textiel vaak faalt), worden succesvolle demonstratie-episodes vooraf geladen in de replay buffer. Dit zorgt ervoor dat het wereldmodel direct toegang heeft tot voorbeelden van het volledige taakproces.
• Random Augmentation: Tijdens het trainen worden willekeurige augmentaties (helderheid, contrast, lichte rotatie, zoom) toegepast op batches van beelden uit de buffer. Dit verhoogt de robuustheid van de encoder en voorkomt dat de agent afhankelijk wordt van statische camera-posities of achtergronden.

3. Architectuur en Simulatie

• Omgeving: De simulatie is gebouwd in Unity met de ObiCloth-plugin voor realistische textieldynamica.
• Input: De agent ontvangt beelden van twee camera's (een stand-off camera voor het algemene beeld en een pols-gemonteerde camera voor een egocentrisch perspectief) gecombineerd met proprioceptieve data (positie van de gripper, breedte, spanning).
• Beloning (Reward): De beloning is gebaseerd op de genormaliseerde oppervlakte van het textiel. Een volledig uitgevouwen textiel levert een hoge beloning op, met een tijdsstraf om snelle uitvoering te stimuleren.

Belangrijkste Bijdragen

1. Geometrische Focus: Het aantonen dat het vervangen van RGB-input door oppervlaktenormals de generalisatie over verschillende kledingtypes aanzienlijk verbetert door visuele ruis te filteren.
2. Hybride Trainingstrategie: Een nieuwe trainingsschema dat expert-demonstraties combineert met random augmentatie in de replay buffer, wat leidt tot snellere convergentie en betere prestaties dan standaard DreamerV2.
3. Zero-Shot Sim-to-Real: Het succesvol implementeren van de getrainde modellen op een fysieke Franka Emika-robot zonder extra training in de echte wereld, wat een hoge mate van generalisatie aantoont.

Resultaten

De auteurs hebben hun methode geëvalueerd in zowel simulatie als in de echte wereld.

• Simulatie:

  • Er werden 20 agents getraind voor verschillende kledingtypes (T-shirts, lange mouwen, shorts, handdoeken, enz.).
  • De combinatie van oppervlaktenormals + aangepaste replay buffer leverde de beste resultaten op.
  • Deze agents behaalden gemiddeld een 15% hogere succesratio en een 35% lagere faalratio vergeleken met traditionele "pick-and-place" algoritmen.
  • Ze toonden adaptief gedrag, zoals het opnieuw grijpen (re-grasping) om optimale greeppunten bloot te leggen.
  • Uitzondering: Bij "shorts" (korte broekjes) presteerde het model minder goed, waarschijnlijk door de kleine pixel-afmetingen in het observatievenster.

• Echte Wereld (Real-World):

  • De agents werden "zero-shot" gedeployed op een fysieke robot met stereo-camera's.
  • Succesratio: Gemiddeld 74% succes bij het uitvouwen van verschillende soorten doeken (handdoeken, kussenslopen, gezichtskleden) over 25 pogingen per type.
  • De systemen waren in staat om in real-time te reageren op onvoorziene veranderingen in de textielvorm.
  • Beperkingen: De prestaties werden beïnvloed door ruis in de dieptedata wanneer de robotgrijper te dicht bij de sensor kwam (buiten het bereik van de sensor), wat leidt tot incomplete waarnemingen.

Betekenis en Conclusie

Dit paper demonstreert dat het schalen van wereldmodellen (world models) binnen een modern RL-framework, gecombineerd met specifieke input-modificaties (normals) en trainingsstrategieën (demonstraties + augmentatie), een effectieve oplossing biedt voor complexe, vervormbare objectmanipulatie.

De belangrijkste implicaties zijn:

• Efficiëntie: Het vermijden van zware 3D-reconstructieprocessen ten gunste van real-time RL-policies.
• Robuustheid: Het vermogen om te generaliseren naar nieuwe kledingtypes en visuele variaties zonder hertraining.
• Toepasbaarheid: Het bewijzen dat complexe taken zoals het uitvouwen van kleding in de lucht haalbaar zijn voor autonome robots in huishoudelijke of service-omgevingen.

De auteurs wijzen wel op toekomstige verbeterpunten, zoals het gebruik van dual-arm robots voor grotere kledingstukken, het verbeteren van de sensorconfiguratie om dieptedata-risico's te minimaliseren, en het ontwikkelen van strategieën voor policy-overdracht tussen verschillende kledingtypes om de trainingskosten te verlagen.