FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis

Die Arbeit stellt FoldNet vor, ein Framework, das durch die Synthese eines keypoint-basierten synthetischen Datensatzes und den Einsatz des KG-DAgger-Algorithmus für die Fehlerwiederherstellung eine generalisierbare, geschlossene Regelstrategie für das robotergestützte Falten von Kleidungsstücken mit einer realen Erfolgsrate von 75 % ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, ein zerknittertes T-Shirt oder eine Hose perfekt zu falten. Das klingt einfach, ist für einen Roboter aber eine der schwierigsten Aufgaben überhaupt. Warum? Weil Stoff nicht starr ist wie ein Tisch oder ein Auto. Er ist weich, wellig und verhält sich wie ein lebendiges Wesen, das sich ständig verändert.

Hier ist die Geschichte von FoldNet, einer neuen Methode, die Robotern beibringt, diese Aufgabe zu meistern – und zwar ohne dass Menschen stundenlang vor dem Roboter stehen und ihm die Hand führen müssen.

1. Das Problem: Der Roboter braucht Übung, aber keine echten T-Shirts

Normalerweise lernt ein Roboter durch Nachahmung (Imitation Learning). Ein Mensch zeigt ihm, wie man ein T-Shirt faltet, und der Roboter schaut zu. Das Problem: Um wirklich gut zu werden, bräuchte der Roboter Tausende von Beispielen. Aber wer hat schon Zeit, Tausende von T-Shirts zu falten? Und wenn man es in einer Computer-Simulation macht, sieht der Stoff oft aus wie Plastik – zu glatt, zu vorhersehbar.

2. Die Lösung: Ein digitaler "Kleiderbaukasten" (FoldNet)

Die Forscher haben FoldNet entwickelt. Man kann sich das wie einen riesigen, digitalen Kleiderschrank vorstellen, der sich selbst bedient.

• Der Bauplan (Keypoints): Statt jeden Stoff von Hand zu modellieren, haben die Forscher eine Art "digitaler Skelettplan" für T-Shirts, Hosen und Hoodies erstellt. Diese Pläne basieren auf wichtigen Punkten (den "Keypoints"), wie Ärmelenden oder Halsausschnitten.
• Der Künstler (KI): Ein künstlicher Intelligenz-Künstler (ein generatives Modell) malt dann Millionen von verschiedenen Mustern auf diese Pläne. Mal ist es gestreift, mal kariert, mal mit einem Drachenmotiv. Das Ergebnis sind Tausende von einzigartigen, digitalen T-Shirts, die so aussehen, als wären sie echt.

3. Der Trick: Lernen aus Fehlern (KG-DAgger)

Das ist der genialste Teil der Geschichte.
Stellen Sie sich vor, Sie lernen Fahrrad fahren. Wenn Sie nur dann üben, wenn Sie niemals umfallen, werden Sie nie lernen, wie man sich wieder aufrichtet, wenn Sie doch wackeln.

Frühere Roboter-Trainingsmethoden waren wie diese "perfekte" Übung: Sie zeigten dem Roboter nur den perfekten Weg. Wenn der Roboter dann in der echten Welt einen Fehler machte (z. B. das T-Shirt nicht richtig gepackt), war er verloren.

FoldNet nutzt eine neue Methode namens KG-DAgger.

• Die Idee: Der Roboter darf in der Simulation "dumm" sein. Er versucht, das T-Shirt zu greifen, und wenn er danebenliegt (was oft passiert), greift eine intelligente Sicherheitsstrategie ein.
• Die Korrektur: Die KI sagt: "Ups, du hast danebengegriffen. Hier ist, wie du es korrigierst." Sie zeigt dem Roboter, wie er den Griff neu ansetzt und es noch einmal versucht.
• Das Ergebnis: Der Roboter lernt nicht nur, wie man es richtig macht, sondern auch, wie man sich aus einem Fehler rettet. Das ist wie ein Fahrradtrainer, der nicht nur das Fahren lehrt, sondern auch, wie man nach einem Sturz wieder aufsteht.

4. Der Erfolg: Vom Simulator in die echte Welt

Nachdem der Roboter in der Simulation mit diesen 15.000 Trainings-Szenarien (und vielen Fehlern, die er korrigiert hat) geübt hatte, wurde er in die echte Welt geschickt.

• Das Ergebnis: Der Roboter schaffte es, 75 % der T-Shirts und Hosen perfekt zu falten.
• Der Vergleich: Ohne die "Fehler-Korrektur"-Methode (KG-DAgger) lag die Erfolgsquote nur bei 50 %. Das bedeutet, die neue Methode hat die Erfolgsrate um 25 Prozentpunkte gesteigert.

Zusammenfassung in einer Analogie

Stellen Sie sich vor, Sie wollen einen Kochlehrling ausbilden:

1. Alte Methode: Sie lassen ihn nur Tausende von perfekten Gerichten nachkochen. Wenn er dann mal einen Topf fallen lässt, weiß er nicht, was er tun soll.
2. FoldNet-Methode: Sie lassen ihn in einer virtuellen Küche kochen. Wenn er einen Topf fallen lässt, sagt ein unsichtbarer Chef: "Kein Problem, hier ist der Weg, wie du ihn wieder aufhebst und das Essen rettest."
3. Das Ergebnis: Wenn der Lehrling dann in der echten Küche arbeitet, ist er viel robuster. Er panikiert nicht, wenn etwas schiefgeht, sondern weiß genau, wie er es repariert.

Fazit: FoldNet ist ein System, das Robotern beibringt, Kleidung zu falten, indem es ihnen eine riesige Bibliothek aus digitalen Kleidungsstücken gibt und sie speziell darauf trainiert, Fehler zu erkennen und zu korrigieren. So werden sie zu echten Profi-Faltern, die auch in der chaotischen echten Welt bestehen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis" auf Deutsch.

1. Problemstellung

Die robotische Manipulation von Textilien (z. B. Falten von Kleidung) stellt aufgrund der hohen Deformierbarkeit und der komplexen Dynamik von Stoffen eine enorme Herausforderung dar. Datengetriebene Ansätze, insbesondere Imitationslernen (Imitation Learning), haben zwar Fortschritte erzielt, stoßen jedoch an Grenzen, wenn es um die Generalisierung auf neue Umgebungen und Objekte geht. Die Hauptprobleme sind:

• Mangel an hochwertigen Daten: Die Erzeugung großer Mengen an diversen und qualitativ hochwertigen Demonstrationsdaten für robotische Aufgaben ist im realen Labor extrem aufwendig und teuer.
• Limitierte synthetische Assets: Bestehende synthetische Datensätze bieten oft nur wenige Kleidungsstücke, fehlen an detaillierten semantischen Annotationen (z. B. Keypoints) oder weisen unrealistische Texturen auf, was die Generalisierungsfähigkeit einschränkt.
• Fehlende Fehlerwiederherstellung (Error Recovery): Die meisten aktuellen Ansätze nutzen offene Regelkreise (Open-Loop) oder trainieren nur mit perfekten Demonstrationen. Kleine Fehler akkumulieren sich jedoch schnell, führen zu Zuständen außerhalb der Trainingsverteilung (Out-of-Distribution) und verursachen Task-Fehler. Robuste geschlossene Regelkreise (Closed-Loop), die Fehler erkennen und korrigieren können, fehlen oft in den Trainingsdaten.

2. Methodik

Das Paper stellt FoldNet vor, ein umfassendes Framework zur Generierung synthetischer Daten und zum Training robuster Policies.

A. Synthese von Kleidungsstücken (Garment Mesh Synthesis)

Um die Vielfalt der Assets zu erhöhen, wird ein neuer Ansatz zur Generierung von Kleidungsstücken entwickelt:

• Keypoint-basierte Geometrie: Für vier Kategorien (T-Shirt, Weste, Hoodie, Hose) werden Templates erstellt, deren Geometrie durch eine Menge semantischer 2D-Keypoints gesteuert wird. Durch Randomisierung dieser Keypoints und Anwendung von Bézier-Kurven sowie Triangulierung können diverse Formen generiert werden.
• Generative Texturen: Anstatt statische Texturen zu verwenden, werden Large Language Models (LLMs) genutzt, um Beschreibungen zu generieren, die als Prompts für Text-to-Image-Modelle (Stable Diffusion 3.5) dienen.
• Filterung und Konsistenz: Ein Vision-Language-Modell (VLM) filtert die generierten Texturen, um sicherzustellen, dass sie geometrisch und ästhetisch konsistent mit dem Stoff-Mesh sind.
• Automatische Annotation: Jeder generierte Mesh kommt automatisch mit semantischen Keypoint-Annotationen, die für die nachfolgende Demonstrationserstellung genutzt werden.

B. Demonstrationserstellung und KG-DAgger

Das Kernstück der Methode ist die Generierung von Demonstrationsdaten in der Simulation (PyFlex/Blender) unter Verwendung einer Keypoint-basierten Fehlerwiederherstellungsstrategie (KG-DAgger):

• Keypoint-basierte Policy: Eine einfache Policy nutzt die Keypoints, um Greifpunkte und Zielpositionen zu definieren und Faltschritte (z. B. Ärmel falten, Saum falten) sequenziell auszuführen.
• KG-DAgger (Keypoint-Gated DAgger): Dies ist eine Variante des DAgger-Algorithmus. Während der Inferenzphase wird die Policy ausgeführt. Wenn ein Keypoint-basierter Monitor einen Fehler (z. B. ein verfehltes Greifen) erkennt, greift eine spezialisierte Wiederherstellungsstrategie ein.
  • Die Strategie korrigiert den Greifversuch und generiert einen neuen Trajektorienabschnitt.
  • Diese „Recovery-Trajektorien" werden dem Datensatz hinzugefügt.
  • Beim Training werden fehlerhafte Aktionen (vor der Korrektur) mit einem Gewicht von 0 versehen, während korrekte Aktionen und Wiederherstellungsaktionen voll gewichtet werden.
• End-to-End-Modell: Das finale Modell (basierend auf Diffusion Policy) wird auf dem gesamten Datensatz (inklusive Fehler und Korrekturen) trainiert. Es gibt direkt Aktionen aus Beobachtungen (RGB-Bild + Propriozeption) aus, ohne dass explizite Keypoint-Erkennung oder Fehlerdetektion zur Laufzeit notwendig ist.

3. Hauptbeiträge

1. FoldNet-Datensatz: Ein synthetischer Datensatz mit hochdiversen, texturierten Kleidungsstücken (4 Kategorien) und automatisch annotierten Keypoints.
2. KG-DAgger: Ein innovativer Ansatz zur Generierung von Wiederherstellungsdaten, der die Robustheit von Closed-Loop-Policies signifikant erhöht, indem er dem Modell beibringt, aus Fehlern zu lernen, ohne menschliche Eingriffe in der Simulation zu benötigen.
3. Generalisierung: Das Framework ermöglicht das Training von Modellen, die direkt auf reale Roboter und ungesehene Kleidungsstücke übertragen werden können, ohne Fine-Tuning mit realen Daten.

4. Ergebnisse

Die Autoren validierten ihre Methode durch umfangreiche Experimente in Simulation und in der realen Welt:

• Keypoint-Detektion: Modelle, die auf FoldNet-Daten trainiert wurden, erreichten auf realen Bildern eine hohe Genauigkeit (mAP von 47,2 % im Durchschnitt), was die Realitätsnähe der synthetischen Assets unterstreicht.
• Falt-Policy in der Simulation:
  • Modelle, die mit KG-DAgger trainiert wurden, zeigten eine deutlich höhere Erfolgsrate als Modelle, die nur mit perfekten Demonstrationen oder mit verrauschten Daten (ohne echte Wiederherstellungslogik) trainiert wurden.
  • Die Methode ermöglichte das Erlernen verschiedener Faltstrategien (z. B. unterschiedliche Faltreihenfolgen).
• Sim-to-Real Transfer:
  • Das in der Simulation trainierte Modell wurde ohne Anpassung auf einen echten Roboter übertragen.
  • Erfolgsrate: Mit 15.000 Trajektorien (ca. 2 Millionen Bild-Aktions-Paare) erreichte das Modell eine Erfolgsrate von 75 % in der realen Welt.
  • Vergleich: Ohne KG-DAgger lag die Erfolgsrate bei ca. 50 %. KG-DAgger steigerte diese also um 25 Prozentpunkte.
• Fine-Tuning von VLA-Modellen: Das Framework wurde erfolgreich genutzt, um ein großes Vision-Language-Action-Modell (π0) zu fine-tunen, das ebenfalls in der realen Welt generalisierte.

5. Bedeutung und Fazit

FoldNet adressiert kritische Lücken in der robotischen Textilmanipulation:

• Skalierbarkeit: Es bietet einen Weg, große Mengen an hochwertigen, annotierten Trainingsdaten kostengünstig zu generieren, was die Abhängigkeit von teuren menschlichen Demonstrationen reduziert.
• Robustheit: Durch die Integration von Fehlerwiederherstellung in den Trainingsprozess (KG-DAgger) werden Modelle deutlich robuster gegenüber Unsicherheiten und Abweichungen, was für den Einsatz in unstrukturierten Umgebungen entscheidend ist.
• Generalisierung: Die Kombination aus geometrischer Variabilität (durch Keypoint-Randomisierung) und realistischen Texturen ermöglicht es den Modellen, auf völlig neue Kleidungsstücke zu generalisieren.

Das Paper demonstriert, dass synthetische Daten, wenn sie sorgfältig mit Keypoint-Annotationen und Fehlerwiederherstellungslogik angereichert werden, eine leistungsfähige Alternative zu rein realen Datensätzen darstellen können und den Weg für autonome Roboter im Haushalt ebnen.