💻 computer science

A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer

Dieses Paper schlägt ein Framework vor, das eine einzelne Diffusionspolitik von Grund auf mittels Reinforcement Learning trainiert, ergänzt durch Reverse-Curriculum-Generierung und objektzentrierte Repräsentationen, um Multi-Task-Block-Pushing-Probleme in Simulationen mit spärlichen Belohnungen erfolgreich zu lösen und einen Zero-Shot-Transfer auf reale Umgebungen mit variierenden Bedingungen zu erreichen.

Ursprüngliche Autoren: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboterarm bei, einen Block über einen Tisch zu schieben, um einen bestimmten Punkt zu erreichen. Stellen Sie sich nun vor, dieser Block ist nicht einfach nur ein Quadrat, sondern manchmal eine „T“-Form, ein „C“, ein „L“ oder sogar eine seltsame „I“-Form, die Sie noch nie zuvor gesehen haben. Der Tisch könnte klebrig sein, rutschig oder irgendwo dazwischen. Das Ziel könnte an einem völlig neuen Ort liegen.

In dieser Arbeit geht es darum, einem Roboter beizubringen, all diese chaotischen, wechselnden Szenarien zu meistern, ohne dass ein Mensch ihm jedes Mal die Hand halten und ihm genau zeigen muss, was zu tun ist.

Die große Idee: Ein Gehirn, viele Formen

Normalerweise, wenn Roboter Aufgaben lernen, nutzen sie eine Methode namens „Behavior Cloning“ (Verhaltensklonen). Denken Sie an das, als würde ein Schüler die Hausaufgaben eines Lehrers kopieren. Der Roboter schaut sich tausende Videos von Experten an, die Blöcke schieben, und versucht, sie nachzuahmen. Aber hier liegt das Problem: Wenn man möchte, dass der Roboter jede mögliche Form und jedes mögliche Ziel bewältigt, bräuchte man eine Bibliothek von Videos für jede einzelne Kombination. Das ist unmöglich zu sammeln.

Die Autoren argumentieren, dass diese „Kopier“-Methode zu zerbrechlich ist. Wenn man versucht, dem Roboter später eine neue Aufgabe beizubringen, vergisst er oft, wie man die alten erledigt (ein Problem, das als „katastrophales Vergessen“ bezeichnet wird).

Stattdessen schlägt dieses Paper einen anderen Ansatz vor: Reinforcement Learning (RL – Bestärkendes Lernen). Stellen Sie sich den Roboter wie ein Kleinkind vor, das laufen lernt. Es schaut sich kein Video an; es probiert es einfach aus, fällt hin, bekommt ein kleines „Gut gemacht“ (Belohnung), wenn es dem Ziel näher kommt, und probiert es erneut. Das Paper zeigt, dass der Roboter durch die Verwendung einer speziellen Art von „Gehirn“, einer sogenannten Diffusion Policy, direkt aus dem Versuch und Irrtum lernen kann, viele verschiedene Block-Schiebe-Rätsel gleichzeitig zu lösen.

Das Geheimrezept: Das „umgewichtete“ Gehirn

Der Kern ihrer Entdeckung ist eine neue Art, diese Diffusion Policy zu trainieren. In der Welt der KI ist eine „Diffusion Policy“ wie ein Meisterkünstler, der mit einer Leinwand voller statischem Rauschen beginnt und dieses langsam säubert, bis ein perfektes Bild entsteht. Normalerweise werden diese Künstler trainiert, indem sie eine Galerie perfekter Gemälde betrachten (Expertendaten).

Die Autoren fanden einen Weg, diesen Künstler ohsane die Galerie zu trainieren. Sie entwickelten eine einfache Regel: „Wenn ein Zug so aussieht, als würde er dir eine hohe Punktzahl einbringen, mache es wahrscheinlicher, dass er passiert.“ Dies taten sie, indem sie ein spezielles „Gewicht“ zum Trainingsprozess hinzufügten, basierend darauf, wie gut ein Zug aussieht. Es ist, als würde man dem Roboter einen magischen Kompass geben, der in Richtung Erfolg zeigt, selbst wenn er im Dunkeln umherirrt.

Sie testeten dies gegen die klassische „Gaußsche“ Policy (die wie Roboter sind, die nur den durchschnittlichen, sicheren Zug raten). Die Ergebnisse?

Der alte Weg (Gauß): In der Simulation versagten die Standardalgorithmen (wie SAC, PPO und TD3) größtenteils. Sie blieben stecken oder gaben auf. Einer von ihnen, SAC, schaffte die Aufgabe etwa 66,3 % der Zeit, aber es dauerte lange und war inkonsistent.
Der neue Weg (ESM): Die neue Methode der Autoren, die sie ESM nennen, löste die Aufgabe zu 100 % der Zeit in der Simulation. Noch besser: Sie erledigte den Job in durchschnittlich nur 21,1 Schritten, während die nächstbeste Methode fast 119 Schritte benötigte.

Die „Zero-Shot“-Magie

Hier ist der aufregendste Teil. Der Roboter wurde vollständig innerhalb einer Computersimulation trainiert. Er hat nie einen echten Block, einen echten Tisch oder einen echten Roboterarm gesehen. Dann nahmen die Autoren dieses digitale Gehirn und steckten es direkt in einen echten Roboter in einem Labor.

Sie haben ihn nicht neu trainiert. Sie haben ihn nicht angepasst. Sie haben ihn einfach eingeschaltet. Dies nennt man Zero-Shot Sim-to-Real Transfer.

Sie testeten den Roboter mit:

Unterschiedlicher Reibung: Sie legten den Block auf eine klebrige Bodenmatte und ein rutschiges Stück Pergamentpapier.
Unterschiedlichem Gewicht: Sie verwendeten einen Block, der nur 1 cm dick war (ein Viertel der ursprünglichen 4 cm Dicke).
Unterschiedlichen Formen: Sie testeten ihn mit den Formen, die er im Simulator gelernt hatte, plus einem brandneuen „I-förmigen“ Block, den er noch nie gesehen hatte.

Die Ergebnisse:

Auf dem realen Tisch gelang der neuen Methode (ESM) in 3 von 3 Versuchen bei dem T-Block, C-Block und L-Block.
Die alte Methode (SAC) scheiterte beim T-Block völlig (0 von 3) und hatte auch mit den anderen zu kämpfen.
Selbst beim brandneuen „I-förmigen“ Block (den der Roboter während des Trainings nie gesehen hatte), gelang der neuen Methode in der Simulation 61 % der Fälle, was zeigt, dass sie auf Formen generalisieren kann, die sie nicht kannte.

Was nicht funktionierte (und was sie ausschlossen)

Das Paper ist sehr deutlich darüber, was für diese spezifische Aufgabe nicht gut funktioniert:

Einfaches Kopieren von Experten (Behavior Cloning): Die Autoren argumentieren, dass das Vertrauen auf massive Datensätze von Experten-Demonstrationen ein Engpass ist. Es ist schwer, genug Daten für jede mögliche Form und jedes mögliche Ziel zu sammeln.
Standard-RL mit einfachen Vermutungen: Sie zeigten, dass Standardalgorithmen mit „Gaußschen“ Policies (die davon ausgehen, dass die Antwort meistens nur ein einfacher Durchschnitt ist) die Komplexität des Schiebens von Blöcken mit unterschiedlichen Formen nicht bewältigen konnten. Sie konnten die Aufgabe in der Simulation kaum lernen, geschweige denn in die reale Welt übertragen.
Lernen ohne Plan: Als sie ihr spezielles „Curriculum“ (einen Trainingsplan, der mit leichten Zielen beginnt und langsam schwieriger wird) oder ihre spezielle Art, die Position des Blocks zu beschreiben, entfernten, sank die Leistung des Roboters signifikant. Dies beweist, dass der Roboter diese spezifischen Trainingskniffe benötigt, um erfolgreich zu sein.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihren Simulationsergebnissen, in denen sie 4 Millionen Interaktionen durchführten, um den Roboter zu trainieren. Sie maßen Erfolgsraten und Schrittzahlen mit hoher Präzision.

Was die reale Welt betrifft, testeten sie den Roboter auf 36 spezifischen Aufgaben unter verschiedenen Bedingungen. Sie sagten nicht nur „es hat funktioniert“; sie maßen die Distanz, die der Block zurückgelegt hat, und die Anzahl der Schritte. Sie fanden heraus, dass die Leistung des Roboters robust blieb, obwohl die reale Welt chaotisch ist. Dennoch geben sie zu, dass diese „Zero-Shot“-Magie vielleicht nicht für jede Art von Roboteraufgabe funktioniert, insbesondere nicht für solche, die viel komplexer sind als das Schieben eines Blocks auf einem flachen Tisch. Für diese schwierigeren Aufgaben schlagen sie vor, dass mehr Arbeit nötig ist, um die Lücke zwischen Computer und Realität zu schließen.

Das Fazit

Dieses Paper zeigt, dass man keine Bibliothek von Experten-Videos braucht, um einem Roboter komplexe Multi-Task-Fähigkeiten beizubringen. Durch die Verwendung einer intelligenten, flexiblen „Diffusion Policy“, die mit einem neuen, einfachen Belohnungssystem trainiert wurde, kann ein Roboter lernen, Blöcke aller Formen und Größen zu schieben, auf rutschigen oder klebrigen Oberflächen, und sogar mit Zielen umzugehen, die er noch nie gesehen hat – und das alles, ohne die Computersimulation zu verlassen, bis er bereit ist, in der realen Welt zu arbeiten. Es ist ein großer Schritt in Richtung Roboter, die sich wirklich an unsere chaotische, wechselnde Welt anpassen können.

Technisches Resümee: Eine einzige Diffusion-Policy-Steuerung für Multi-Task-Blockschieben mit Zero-Shot Sim-to-Real-Transfer

Problemstellung

Die Arbeit adressiert die Herausforderung, eine einzelne, universelle Policy für komplexe, kontaktreiche Robotermanipulationsaufgaben zu trainieren, konkret das Multi-Task-Blockschieben mit variierenden Formen und Zielen. Während Denoising Diffusion Probabilistic Models (DDPMs) eine überlegene Ausdrucksstärke bei der Darstellung komplexer Datenverteilungen gezeigt haben und erfolgreich für die Trajektoriengenerierung in der Robotik mittels Behavior Cloning (BC) eingesetzt wurden, stehen aktuelle Ansätze vor signifikanten Einschränkungen:

Datenknappheit: BC-basierte Methoden erfordern eine Fülle an Experten-Demonstrationen über diverse Aufgaben hinweg, was für Multi-Task-Szenarien oft unpraktikabel ist.
Fragilität des Fine-Tunings: Das Fine-Tuning von vortrainierten BC-Policies mittels Reinforcement Learning (RL) führt häufig zu katastrophalem Vergessen (catastrophic forgetting).
Exploration in spärlichen Belohnungen: Die Anwendung von Online-RL auf Diffusion-Policies von Grund auf ist aufgrund der Schwierigkeit der Exploration in Umgebungen mit spärlichen Belohnungen (sparse rewards) ohne Demonstrationen herausfordernd.
Sim-to-Real-Gap: Es mangelt an Forschung zur Zero-Shot Sim-to-Real-Transferfähigkeit von Diffusion-Policies, die mittels Online-RL trainiert wurden, insbesondere in kontaktreichen Szenarien, in denen Reibung und physikalische Dynamiken variieren.

Die Autoren wollen untersuchen, ob eine einzige Diffusion-Policy von Grund auf mittels Online-RL trainiert werden kann, um Multi-Task-Blockschiebe-Probleme zu lösen und erfolgreich ohne zusätzliches Fine-Tuning in die reale Welt zu transferieren.

Methodik

Das vorgeschlagene Framework integriert Online-RL mit Diffusion-Policies durch drei Kernkomponenten:

1. Vereinfachte Diffusion-Policy-Optimierung (ESM)

Die Autoren leiten eine vereinfachte Policy-Optimierungsmethode basierend auf Policy Mirror Descent ab. Anstatt des Standard-Evidence Lower Bound (ELBO, der beim BC verwendet wird), schlagen sie ein Energy-Guided Score Matching (ESM) Loss vor.

Mechanismus: Die Loss-Funktion gewichtet das Standard-Score-Matching-Ziel mit einer exponentierten Action-Value-Funktion ( $Q^{\pi_{old}}(s, a)$ ) um.
Formel: Das Ziel minimiert $\mathbb{E}[\exp(Q^{\pi_{old}}(s, a)/\lambda) \|\epsilon_\theta(a_t; s, t) - \epsilon\|^2]$ .
Vorteil: Diese Formulierung vermeidet die Notwendigkeit, eine separate Baseline-Funktion zur Gewichtung zu lernen (im Gegensatz zu IDQL oder QIPO), und geht besser mit negativen Q-Werten um als trunkierte Q-Funktions-Methoden (wie QVPO). Sie ermöglicht es dem Diffusionsmodell, die optimale Policy, die aus dem KL-regularisierten RL-Ziel abgeleitet wurde, direkt zu approximieren.

2. Objektzentrierte Zustands- und Aktionsrepräsentationen

Um eine einzige Policy zu ermöglichen, die mehrere Aufgaben (verschiedene Blockformen und Zielpositionen) zu bewältigen, entwerfen die Autoren einen aufgabenagnostischen Beobachtungsraum:

Lokale Koordinaten: Anstatt auf absolute Zielpositionen zu konditionieren, wird der Zustand in das lokale Koordinatensystem des Blocks ("Block-Frame") transformiert. Der Zustandsvektor enthält die Position des Agenten relativ zum Block sowie die Position und Orientierung des Ziels relativ zum Block.
Form-Kodierung: Ein dedizierter Vektor kodiert die Form des Blocks (z. B. T, C, L, I), wodurch die Policy ihr Verhalten auf die Geometrie des Objekts konditionieren kann.
Aktionsraum: Aktionen sind definiert als Geschwindigkeitsbefehle im Ziel-Frame, die dann in den Welt-Frame transformiert werden.

3. Reverse Curriculum Generation

Um die inhärenten Explorationsherausforderungen von Sparse-Reward-RL (bei dem der Agent eine Belohnung erst bei erfolgreichem Abschluss erhält) zu adressieren, setzen die Autoren eine Curriculum-Learning-Strategie ein:

Progression: Das Training beginnt damit, dass der Block sehr nah am Ziel platziert wird. Sobald der Agent eine bestimmte Anzahl an Erfolgen erzielt hat, wird die Anfangsdistanz zwischen Block und Ziel erhöht.
Ziel: Dies steigert schrittweise die Schwierigkeit der Aufgabe und führt den Agenten dazu, die notwendigen kontaktreichen Manöver (Herstellen und Unterbrechen von Kontakt) zu erlernen, ohne in lokalen Optima stecken zu bleiben.

4. Implementierung in der Realwelt

Für den Sim-to-Real-Transfer stützt sich das System auf zustandsbasierte Eingaben anstatt auf Rohbilder.

Perzeption: Block-Posen werden mittels ArUco-Markern oder einem benutzerdefinierten Point-Cloud-Registrierungsalgorithmus (unter Ausnutzung der flachen Oberflächen und scharfen Kanten der Blöcke) geschätzt.
Robustheit: Ein Kalman-Filter wird auf die Posen-Schätzungen angewendet, und ein paralleler Simulator dient als Backup bei Verdeckungen.

Zentrale Ergebnisse

Simulationsleistung

Erfolgsrate: Der vorgeschlagene ESM-Algorithmus erreichte eine Erfolgsrate von 100 % bei Multi-Shape-Blockschiebe-Aufgaben in der Simulation und übertraf damit signifikant Standard-RL-Baselines (SAC, PPO, TD3) sowie andere Diffusions-basierte RL-Methoden (QVPO, DACER, QSM), die weitgehend scheiterten (0 % Erfolg).
Effizienz: ESM benötigte signifikant weniger Schritte (durchschnittliche Episodenlänge von ~~21) im Vergleich zu SAC (~~119).
Generalisierung: In Tests mit einem ungesehenen "I-förmigen" Block ohne zusätzliches Training erreichte ESM eine Erfolgsrate von 61 %, während SAC vollständig scheiterte (0 %).
Ablationsstudien: Das Entfernen des Curriculum-Learnings oder der objektzentrierten Zustandsrepräsentation verschlechterte die Leistung, führte jedoch nicht zum totalen Scheitern, während SAC unter diesen Ablationen versagte. Dies unterstreicht die Robustheit der Diffusions-Policy in Kombination mit den vorgeschlagenen Designentscheidungen.

Zero-Shot Transfer in der Realwelt

Die trainierte Policy wurde auf einem UR5e-Manipulator ohne jegliches Fine-Tuning in der realen Welt eingesetzt.

Getestete Variationen: Die Policy wurde auf 36 Aufgaben evaluiert, die Folgendes beinhalteten:
- Unterschiedliche Oberflächenreibung (hochreibende Matten vs. glattes Pergamentpapier).
- Unterschiedliche Blockgewichte (Standard vs. 1/4 Dicke).
- Unterschiedliche Zielposen (randomisiert).
Leistung: Die ESM-Policy löste alle Aufgaben über diese Variationen hinweg erfolgreich.
Vergleich: Im Gegensatz dazu scheiterte die SAC-Baseline bei den T-Block-Aufgaben in der realen Welt und benötigte deutlich mehr Schritte und Distanz, um bei anderen Formen, bei denen sie erfolgreich war, zum Ziel zu kommen.

Bedeutung und Behauptungen

Das Paper behauptet, dass diese Arbeit die Durchführbarkeit der Ausbildung einer einzelnen Diffusion-Policy von Grund auf mittels Online-RL für komplexe, kontaktreiche Manipulationsaufgaben ohne Rückgriff auf Experten-Demonstrationen demonstriert.

Skalierbarkeit: Durch die Abkehr vom Behavior Cloning überwindet der Ansatz den Engpass, diverse Experten-Daten für Multi-Task-Learning zu benötigen.
Ausdrucksstärke: Die Ergebnisse legen nahe, dass die multimodale Natur von Diffusion-Policies sie besser befähigt, die komplexen, multimodalen Lösungen für kontaktreiche Aufgaben (z. B. Schiebe- vs. Rotationsstrategien) zu erfassen als unimodale Gauß-Policies (wie SAC).
Sim-to-Real-Robustheit: Das Framework erreicht einen Zero-Shot Sim-to-Real-Transfer über signifikante Umgebungsvariationen (Reibung, Gewicht, Geometrie) hinweg. Die Autoren argumentieren, dass mit einer ausreichend expressiven Policy und sorgfältiger Zustandsrepräsentation der Sim-to-Real-Gap im 2D-Blockschieben effektiv ignoriert werden kann, sofern die Systemstabilität aufrechterhalten bleibt.
Methodischer Beitrag: Die Einführung des Energy-Guided Score Matching Loss bietet einen praktischen, vereinfachten Weg, Diffusion-Modelle in Standard-RL-Pipelines zu integrieren, wobei die mit vorherigen gewichteten Score-Matching-Techniken verbundenen Rechenaufwände und Bias-Probleme vermieden werden.

Die Autoren kommen zu dem Schluss, dass der Zero-Shot-Transfer zwar sensitiv gegenüber der Größenordnung des Sim-to-Real-Gaps ist (und für komplexere 3D-Aufgaben Domain Randomization oder Residual Learning erfordern könnte), diese Pipeline jedoch eine starke Baseline für die allgemeine Robotermanipulation mittels Online-RL trainierter Diffusion-Policies etabliert.