Technische Samenvatting: Instant-Fold

Probleemstelling

Deformable Object Manipulation (DOM), met name taken zoals het vouwen van kleding, vormt aanzienlijke uitdagingen vanwege hoogdimensionale, gedeeltelijk observeerbare toestanden die evolueren door langdurige, topologisch complexe interacties. In tegenstelling tot rigide objecten, laten vervormbare objecten meerdere geldige manipulatiemodi toe afhankelijk van de voorkeur van de gebruiker, waarbij de verschillen zich niet alleen manifesteren in de uiteindelijke configuratie, maar ook in de sequentie van intermediaire vervormingen. Hoewel taal doelen kan specificeren, faalt het vaak in het nauwkeurig en compact overbrengen van de temporele structuur, de intermediaire doelen en de subtiele ruimtelijke conventies die vereist zijn voor deze taken. Bovendien hebben bestaande methoden voor representatieleer moeite met het generaliseren over verschillende manipulatiemodi, omdat ze variërende vervormingstrajecten vaak interpreteren als geheel andere taken in plaats van variaties binnen dezelfde taalfamilie. Een kritieke flessenhals is het gebrek aan massieve, diverse datasets voor DOM die vergelijkbaar zijn met die voor taal en visie, wat generalisatie naar ongeziene vervormingstrajecten moeilijk maakt.

Methodologie: Instant-Fold

De auteurs stellen Instant-Fold voor, een In-Context Imitation Learning (ICIL) raamwerk dat ontworpen is om diverse manipulatiemodi direct af te leiden en uit te voeren vanuit een enkele menselijke demonstratie zonder dat er tijdens de testtijd gradiëntupdates nodig zijn. De aanpak wordt volledig in simulatie getraind en vertaalt zich zero-shot naar de echte wereld. De methodologie bestaat uit twee primaire stadia:

1. Deformatie-bewuste Temporele Contrastieve Pretraining

Om het representatieprobleem aan te pakken, leren de auteurs eerst visuele representaties die gevoelig zijn voor topologische toestandveranderingen (bijv. vouwen, kreukelen), terwijl ze robuust blijven tegen hinderlijke variaties zoals textuur en verlichting.

• Representatie: Vervormbare objecten worden gerepresenteerd als een compacte set geo-semantische tokens, die 3D-posities combineren (afgeleid van RGB-D back-projectie en Farthest Point Sampling) met semantische kenmerken geëxtraheerd uit een vooraf getrainde beeldencoder (DINOv3).
• Doelstelling: Een Temporele Contrastieve Pretraining doelstelling wordt geïntroduceerd. Deze zelfgesuperviseerde taak maakt gebruik van de geometrie van een dicht deeltjesgebaseerd simulator om correspondentiedoelen te definiëren.
  • Same-Cloth Matching: Gebruikt nearest-particle assignment om ervoor te zorgen dat tokens die overeenkomen met dezelfde fysieke locatie van de stof dicht bij elkaar blijven in de feature space over frames en trajecten heen, zelfs onder niet-rigide vervorming.
  • Cross-Cloth Matching: Gebruikt ijle (sparse) semantische keypoints om correspondentie tussen verschillende kledingstukken te vestigen, wat de overdraagbaarheid bevordert.
  • Verliesfunctie: Een soft-weighted supervised contrastive loss wordt geoptimaliseerd, waarbij gebruik wordt gemaakt van dense negatives en Gaussian-gewogen positieve assignments op basis van de afstand tussen token en deeltje.

2. In-Context Policy Learning

De policy wordt geformuleerd als een conditioneel trajectgeneratieprobleem met behulp van een Flow-Matching Transformer.

• Input Context: Het model conditioneert op een enkele menselijke demonstratie, gerepresenteerd als een sequentie van "context keyframes". Deze keyframes worden automatisch geëxtraheerd uit demonstratietrajecten op basis van end-effector statusgebeurtenissen (bijv. grijper open/dicht overgangen) om temporeel onderscheidende vervormingsfasen vast te leggen.
• Architectuur:
  • Context Encoder: Brengt demonstratie keyframes in kaart naar een gestructureerde representatie. Het maakt gebruik van een gedeelde bevroren visuele tokenizer en aggregeert tokens met een ruimtelijke-dan-temporele backbone. Belangrijke mechanismen zijn 3D ALiBi (om aandacht te sturen naar nabijgelegen doek-robot paren), geleerde summary tokens (om globale intentie te distilleren) en state-event tokens (om ijle grasp/release signalen te behouden).
  • Flow-Matching Action Decoder: Voorspelt dual-arm actietrajecten (Cartesiaanse posities en grijperopening) door een ruisend traject te denoisen. De decoder fuseert de huidige scène met de demonstratiecontext via cross-attention. Het is geconditioneerd op de denoising timestep en de huidige proprioceptieve staat via AdaLN.
  • Auxiliary Task: Er is een auxiliary keypose prediction branch opgenomen om subdoelen met een korte horizon te superviseren, wat helpt bij planning over een lange horizon.
• Training: De policy wordt getraind met rectified flow matching op Cartesiaanse posities en binary cross-entropy op grijperopening, volledig binnen een deeltjesgebaseerde simulator (FleX) met uitgebreide domeinrandomisatie.

Belangrijkste Bijdragen

1. ICIL Formulering voor DOM: Het artikel formuleert vervormbare objectmanipulatie als een In-Context Imitation Learning probleem, waarbij een flow-matching transformer architectuur wordt geïntroduceerd die in staat is tot langdurige, dual-arm vervormbare manipulatie geconditioneerd op een enkele demonstratie.
2. Temporele Contrastieve Pretraining: Een nieuwe pretraining methode op maat voor ICIL die topologie-consistente, deformatie-bewuste representaties leert. Dit stelt het model in staat om te differentiëren tussen verschillende manipulatiemodi van dezelfde objectfamilie in plaats van ze als afzonderlijke taken te behandelen.
3. Zero-Shot Sim-to-Real Transfer: Het raamwerk demonstreert succesvolle transfer naar echte dual-arm robots zonder enige real-world dataverzameling, fine-tuning of extra training.

Experimentele Resultaten

De auteurs evalueren Instant-Fold in simulatie en op een echte dual-arm robot over diverse kledingstukken en vouimodus.

• Kwaliteit van Representatie: De temporele contrastieve pretraining levert representaties die aanzienlijk meer temporeel consistent en ruimtelijk coherent zijn dan standaard DINOv3 features of eerdere keypoint-gebaseerde methoden (UniGarmentManip).
• Policy Prestaties:
  • Demonstratie vs. Taal: Demonstratie-geconditioneerde policies presteren aanzienlijk beter dan taal-geconditioneerde policies in termen van geometrisch succes (C-SR@95) en voltooiingsfout, zelfs wanneer de taal policy volledig is voorgetraind. Dit benadrukt de waarde van demonstraties voor het overbrengen van geometrische structuur.
  • Impact van Pretraining: Volledige pretraining op diverse vouimodus en willekeurige vervormingen verbetert de generalisatie naar uitgesloten vouimodus; het beste model bereikte een conditional success rate van 58,3% op uitgesloten vouwsessies.
  • Ablaties: Het verwijderen van componenten zoals de context encoder, de keypose auxiliary loss, of summary tokens leidt tot substantiële prestatievermindering, met name bij generalisatie naar ongeziene contexten.
  • Scaling: Het vergroten van de diversiteit van trainingscontexten verbetert de generalisatie naar uitgesloten vouimodus aanzienlijk sterker dan het de prestaties op geziene vouimodus verbetert.
• Vergelijking met Baselines: In simulatie presteert Instant-Fold beter dan eerdere state-of-the-art methoden (ClothFunnels, UniFolding, UniGarmentManip) in zowel FleX als Isaac Lab omgevingen.
• Real-World Deployment: Op een echte dual-arm robot behaalde Instant-Fold een gemiddeld succespercentage van 60,9% over acht ongeziene kledingstukken (incluserend shirts, shorts, blouses en jacks) met behulp van een enkele menselijke handdemonstratie. Dit presteert aanzienlijk beter dan baselines, die real-world dataverzameling of fine-tuning vereisten en succespercentages behaalden tussen de 9,4% en 29,7%.

Betekenis en Claims

Het artikel claimt dat Instant-Fold een nieuw paradigma voor DOM vestigt door gebruik te maken van In-Context Imitation Learning om de diversiteit van geldige manipulatiemodi te vangen. Door topologisch redeneren (via contrastieve pretraining) te scheiden van functioneel redeneren (via flow-matching), kan het systeem complexe manipulatieprocedures afleiden uit een enkele demonstratie. De auteurs benadrukken dat hun aanpak de noodzaak voor real-world dataverzameling of fine-tuning elimineert, wat een belangrijke flessenhals is bij het implementeren van robot learning voor vervormbare objecten. Ze suggereren dat ICIL een veelbelovende richting is voor het aanpakken van de hoogdimensionale, continue toestandsruimtes inherent aan vervormbare manipulatie, en een fundament biedt voor bredere in-context redenering in dit domein.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Het systeem gaat uit van betrouwbare objectsegmentatie.
• Experimenten starten vanaf toestanden binnen de vouwbare manifold in plaats van vanaf zeer verkreukelde configuraties.
• De studie is momenteel beperkt tot één objectcategorie (kleding bovenstukken).
• De context bibliotheek is handmatig ontworpen en beperkt in schaal, wat wijst op een behoefte aan toekomstig werk in automatische context exploratie.