💻 computer science

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections

Dieses Paper schlägt die Set-Supervised Diffusion Policy (SDP) vor, ein neuartiges Framework, das kontrastives Lernen an gepaarten menschlichen Korrekturen und unerwünschten Roboter-Aktions-Chunks nutzt, um Diffusions-Policies zu trainieren, die robuster gegenüber Verteilungsverschiebungen und verrauschten Daten sind.

Ursprüngliche Autoren: Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine feinfühlige Aufgabe bei, wie zum Beispiel das Zusammenbauen eines Möbelstücks oder das Schieben eines Blocks an eine bestimmte Stelle. Sie agieren als Lehrer und der Roboter ist der Schüler.

Das Problem: Die „Perfekte Nachahmer“-Falle

Traditionell bringen wir Robotern Methoden bei, die man Behavior Cloning (Verhaltensklonung) nennt. Stellen Sie sich das wie einen Schüler vor, der versucht, die Handschrift eines Lehrers perfekt zu kopieren. Wenn der Lehrer eine „5“ schreibt, die aufgrund eines Zitterns der Hand eher wie eine „6“ aussieht, versucht der Roboter, genau diese zittrige „6“ exakt zu kopieren.

In der Welt der Robotik ist das ein großes Problem.

Vom Kurs abkommen: Wenn der Roboter einen winzigen Fehler macht, gerät er in eine neue Situation, die der Lehrer nie gesehen hat. Der Roboter gerät in Panik und macht einen noch größeren Fehler.
Das „Nein“ ignorieren: Wenn der Roboter einen Fehler macht, greifen Sie (der Mensch) ein und korrigieren ihn. Sie zeigen dem Roboter den richtigen Weg der Bewegung. Herkömmliche Trainingsmethoden betrachten jedoch nur Ihre richtige Bewegung. Sie ignorieren die falsche Bewegung, die der Roboter gerade gemacht hat. Es ist, als würde ein Lehrer sagen: „Gut gemacht, dass du das korrigiert hast“, aber niemals erklären, warum der ursprüngliche Versuch schlecht war. Der Roboter versucht weiterhin, die „perfekten“ Bewegungen zu kopieren, aber er lernt nicht, was er vermeiden muss.

Die Lösung: Die „Sicherheitszone“ (Set-Supervised Diffusion Policy)

Die Autoren dieser Arbeit, Zhaoting Li und Kollegen, schlagen eine neue Art des Lehrens vor: die Set-Supervised Diffusion Policy (SDP).

Anstatt dem Roboter zu sagen: „Mache genau diese eine spezifische Bewegung“, sagen sie ihm: „Mache irgendetwas innerhalb dieser Sicherheitszone.“

So funktioniert es, erklärt anhand einer einfachen Analogie:

1. Die „Rote Zone“ und die „Grüne Zone“

Stellen Sie sich vor, der Roboter versucht, ein Auto zu parken.

Der Fehler des Roboters (Negative Aktion): Der Roboter versucht, zu weit links zu parken. Er stößt gegen den Bordstein.
Ihre Korrektur (Positive Aktion): Sie nehmen das Lenkrad und lenken ihn in die Mitte.

Bei alten Methoden lernt der Roboter einfach: „Lenke zur Mitte.“
Bei SDP lernt der Robot eine Sicherheitszone. Er versteht: „Okay, den Bordstein zu berühren (die linke Seite) ist schlecht. Die Mitte ist gut. Ich kann also überall im mittleren Bereich parken, solle ich mich nur nicht am Bordstein entlangarbeite.“

Diese „Sicherheitszone“ wird als Desired Action Set (Gewünschtes Aktionsset) bezeichnet. Sie gibt dem Roboter Flexibilität. Er muss kein perfekter Nachahmer sein; er muss lediglich innerhalb der Regeln der Zone bleiben.

2. Die „Diffusion“-Magie

Wie lernt der Roboter, in dieser Zone zu bleiben? Sie verwenden eine Technik namens Diffusion.
Stellen Sie sich Diffusion wie einen Bildhauer vor, der mit Ton arbeitet.

Ausgangspunkt: Der Roboter beginnt mit einem Klumpen aus zufälligem, chaotischem Ton (zufälliges Rauschen).
Der Prozess: Schritt für Schritt „entstört“ (denoising) der Roboter den Ton, schlägt die schlechten Teile weg und formt ihn.
Der Clou: In SDP hat der Roboter während des Formens eine Regel: „Wenn du beginnst, den Ton in eine Form zu bringen, die den Bordstein trifft (die negative Aktion), halte inne und drücke ihn zurück in die Sicherheitszone.“

Dieser Prozess wird Reflected Diffusion genannt. Es ist wie ein Ball, der in einem Raum springt. Wenn der Ball die Wand trifft (die Grenze des „schlechten“ Bereichs), springt er zurück in den Raum (den „guten“ Bereich). Dies stellt sicher, dass der Roboter immer eine Bewegung generiert, die sicher und akzeptabel ist, auch wenn sie nicht exakt dieselbe Bewegung ist, die Sie gemacht haben.

3. Aus Fehlern lernen (Kontrastive Daten)

Die entscheidende Neuerung ist, dass SDP sowohl den Fehler des Roboters als auch Ihre Korrektur gemeinsam nutzt.

Alter Weg: „Hier ist die richtige Bewegung. Kopiere sie.“
SDP-Weg: „Hier ist die falsche Bewegung (tu das nicht) und hier ist die richtige Bewegung (tu das). Dein Ziel ist es, irgendeine Bewegung zu finden, die besser als die falsche ist und nah an der richtigen liegt.“

Indem er lernt, was er nicht tun darf, wird der Roboter viel robuster. Wenn Ihre Korrektur etwas zittrig oder verrauscht war, gerät der Roboter nicht in Panik. Er weiß einfach: „Okay, ich muss mich in diesem allgemeinen Bereich aufhalten“, anstatt zu versuchen, eine zittrige Hand perfekt zu kopieren.

Was haben sie herausgefunden?

Die Forscher testeten dies an Robotern bei Aufgaben wie dem Schieben von Objekten und dem Zusammenbauen von Möbeln.

Besserer Umgang mit Rauschen: Wenn der menschliche Lehrer Fehler machte oder die Daten „verrauscht“ waren (zittrig), performten SDP-Roboter weiterhin gut. Die alten „Nachahmer“-Roboter scheiterten, weil sie versuchten, die Fehler zu kopieren.
Bessere Datenerfassung: Da der SDP-Roboter erlaubt ist, innerhalb der „Sicherheitszone“ zu explorieren, anstatt nur den Lehrer zu kopieren, sammelt er eine größere Vielfalt an Erfahrungen. Dies schafft ein besseres „Lehrbuch“ für zukünftiges Training.
Erfolg in der realen Welt: Sie testeten dies an echten Robotern (nicht nur in Simulationen) bei Aufgaben wie dem Einsetzen eines T-förmigen Objekts in eine Öffnung. Der SDP-Roboter war häufiger erfolgreich als der Standard-Roboter, besonders bei den schwierigsten Versionen der Aufgabe.

Zusammenfassung

Kurz gesagt: SDP ändert die Art und Weise, wie wir Roboter lehren – weg von „Kopiere exakt meine Handbewegungen“ hin zu „Bleibe innerhalb dieses sicheren Bereichs und vermeide das Schlechte“. Indem er die Fehler des Roboters als Grenzlinie und die Korrekturen des Menschen als Leitfaden nutzt, lernt der Roboter, flexibler, robuster und weniger anfällig für Fehler zu werden, wenn die Dinge unordentlich werden.

Technisches Resümee: Set-Supervised Diffusion Policy (SDP)

Problemstellung

Diffusion Policies (DP) haben sich als robustes Framework für die robotische Manipulation etabliert, insbesondere in hochdimensionalen, kontinuierlichen Action-Chunk-Räumen. Doch wie andere Behavior Cloning (BC)-Methoden sind DPs anfällig für Distributional Shift, bei dem die durch die Policy induzierte Zustandsverteilung während des Einsatzes von der Trainingsverteilung abweicht. Eine gängige Strategie zur Abschwächung besteht in Human-in-the-Loop-Interventionen, bei denen ein Lehrer die Fehler des Roboters korrigiert.

Aktuelle Datensammlungspipelines und Standard-BC-Verlustfunktionen ignorieren weitgehend das „negative Signal“, das durch die unerwünschten Aktionen des Roboters während dieser Interventionen bereitgestellt wird. Sie zeichnen typischerweise nur die korrigierenden Aktionen des Lehrers auf, was das Lernen in Richtung der spezifischen Verteilung des Lehrers verzerrt. Dies führt zu einem Overfitting auf potenziell unvollkommene oder verrauschte Expertendaten und einer zunehmenden Abhängigkeit von kostspieligen, hochwertigen Interventionen. Darüber hinaus haben bestehende Methoden, die versuchen, aus Präferenzen oder Korrekturen zu lernen (z. B. Direct Preference Optimization oder Energy-Based Models wie CLIC), Schwierigkeiten mit hochdimensionalen Action-Chunks oder es mangelt ihnen an der Stabilität und Integration mit den Action-Chunking-Mechanismen, die DPs so effektiv machen.

Methodik: Set-Supervised Diffusion Policy (SDP)

Die Autoren schlagen die Set-Supervised Diffusion Policy (SDP) vor, ein Framework, das kontrastive Action-Chunk-Daten (Paare aus positiven und negativen Aktionen) nutzt, um Diffusion Policies zu trainen. Anstatt die Aktion des Lehrers als ein einzelnes, exaktes Ziel zu behandeln, konstruiert SDP eine Menge erwünschter Action-Chunks, die als mengenbasierter Zielwert für das Policy-Lernen dient.

1. Erweiterung von erwünschten Aktionsmengen auf Action-Chunks

Aufbauend auf dem Konzept der mengenbasierten Überwachung durch CLIC (das auf Single-Step-Aktionen operiert), erweitert SDP dies auf Action-Chunks (Sequenzen von Aktionen $A_t = [a_t, \dots, a_{t+T-1}]$ ).

Gegeben eine Beobachtung $O_t$ und ein Paar von Action-Chunks (negativ $A^-$ vom Roboter, positiv $A^+$ vom Menschen), definiert SDP einen erwünschten Aktionssatz $\hat{A}_t$ .
Dieser Satz wird als eine Sequenz von Single-Step-Zielmengen $\hat{A}^s_{t+i}$ konstruiert, wobei jeder Schritt durch den Abstand zwischen der negativen und der positiven Aktion definiert ist.
Ein Action-Chunk gehört zur Menge, wenn jede einzelne Aktion innerhalb des Chunks innerhalb der entsprechenden Single-Step-Zielmenge liegt. Dies lockert die Anforderung auf, exakt die Aktion des Lehrers zu treffen, und erlaubt alternative Aktionen, die gleichermaßen wünschenswert sind.

2. Trainingsziel und Sampling

Das Training einer Diffusion Policy zur Maximierung der Wahrscheinlichkeit der Stichprobenziehung aus dieser Menge ist nicht trivial, da Diffusionsmodelle keine expliziten Likelihood-Schätzungen liefern, die für die Standard-KL-Divergenz-Verluste in Energy-Based Models erforderlich sind.

Approximation: SDP approximiert das Ziel durch die Maximierung der Likelihood einer Liste von gesampelten erwünschten Action-Chunks, die aus der Zielverteilung gezogen wurden.
Beschränktes Sampling: Um diese Stichproben zu generieren, verwendet SDP ein Reflected Diffusion Sampling-Verfahren. Während des Denoising-Prozesses werden Zwischenschritte in die Zielmenge zurückprojiziert, falls sie die Grenze überschreiten. Konkret: Wenn ein Denoising-Schritt außerhalb der Menge liegt, wird er auf die entsprechende positive Aktion ( $a^+$ ) projiziert. Dies stellt sicher, dass die generierten Stichproben innerhalb der gewünschten Menge bleiben und gleichzeitig nah an der aktuellen Policy-Verteilung liegen.
Verlustfunktion: Die Policy wird unter Verwendung eines Standard-Denoising-Loss (ähnlich wie BC) trainiert, jedoch auf diesen gesampelten Action-Chunks statt auf den rohen Lehreraktionen.

3. Datensammlungspipeline

SDP integriert sich in einen interaktiven Online-Lernzyklus:

Wenn ein Mensch interveniert, zeichnet das System sowohl die Aktion des Lehrers ( $A^+$ ) als auch die nicht ausgeführte Aktion des Roboters ( $A^-$ ) für denselben Zeitschritt auf.
Diese Paare bilden einen kontrastiven Datensatz, der zur Konstruktion der erwünschten Aktionsmengen verwendet wird.
Das Framework unterstützt sowohl Online-Learning (Datensammlung während der Ausführung) als auch Offline-Learning (Erweiterung bestehender Demonstrationsdatensätze durch Synthese negativer Aktionen).

Zentrale Beiträge

Mengenbasierte Überwachung für Diffusion Policies: Die Arbeit führt ein neuartiges Framework ein, das die mengenbasierte Überwachung (zuvor beschränkt auf EBMs und Single-Step-Aktionen) an Diffusion Policies anpasst, die in hochdimensionalen Action-Chunk-Räumen operieren.
Kontrastives Lernen aus Korrekturen: SDP nutzt das negative Signal aus Roboterfehlern während menschlicher Interventionen effektiv aus, anstatt es zu verwerfen. Dies reduziert das Overfitting auf spezifische Lehreraktionen und verbessert die Robustheit gegenüber verrauschten Daten.
Reflected Sampling Strategie: Die Autoren schlagen eine praktische Trainingspipeline vor, die einen beschränkten Denoising-Prozess mit Reflexionsoperatoren beinhaltet, um gültige erwünschte Action-Chunks für das Training von Diffusionsmodellen zu generieren.
Verbesserte Datenqualität: Die Methode induziert qualitativ hochwertigere aggregierte Datensätze während des Online-Learnings, indem sie die Exploration innerhalb der erwünschten Aktionsmenge fördert, was zu einer breiteren Zustandsabdeckung im Vergleich zu Standard-BC-Ansätzen führt.

Experimentelle Ergebnisse

Die Autoren evaluierten SDP über mehrere simulierte Manipulationsaufgaben (Push-T, Square, PickCan, TwoArmLift) sowie reale Aufgaben (Insert-T, Round-table Assembly).

Online Interaktives Lernen: SDP übertraf konsistent State-of-the-Art-Baselines (DP, DP-DPO, CLIC, IBC) sowohl in präzisen als auch in verrauschten Interventionssettings. Bemerkenswerterweise zeigte SDP eine signifikant geringere Leistungsdegradation unter verrauschtem Feedback im Vergleich zu Standard-DP, was eine überlegene Robustheit demonstriert.
Offline Learning: Mit SDP-Agenten trainierte Policies übertrafen jene, die auf Datensätzen von Standard-DP-Agenten trainiert wurden, im Offline-Training. Dies deutet darauf hin, dass SDP Datensätze mit besserer Zustandsabdeckung und besseren Generalisierungseigenschaften generiert.
Realwelt-Performance: In realen Langzeit-Manipulationsaufgaben erreichte SDP höhere Erfolgsraten als DP, insbesondere wenn es auf Datensätzen trainiert wurde, die menschliche Korrekturen enthalten. Die Methode erwies sich als effektiver darin, Korrekturdaten zu nutzen, um die Leistung bei schwierigen Aufgaben zu verbessern.
Ablationsstudien: Experimente bestätigten, dass die reflexionsbasierte Sampling-Strategie entscheidend für die Performance ist und Alternativen wie Classifier Guidance übertrifft.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass kontrastive Überwachung ein mächtiges, aber bisher untergenutztes Signal für das Lernen von Roboter-Policies ist. Durch den Übergritt von punktweiser Imitation zu mengenbasierter Überwachung mildert SDP die inhärenten Overfitting-Probleme des Standard-Behavior-Cloning ab. Die Autoren argumentieren, dass dieser Ansatz es Policies ermöglicht, über die Qualität der Trainingsdaten hinaus zu lernen (ähnlich wie Reinforcement Learning), während gleichzeitig die Stabilität und Expressivität von Diffusionsmodellen erhalten bleibt.

Die Arbeit zeigt, dass die explizite Modellierung des Raums akzeptabler Aktionen via menschlicher Korrekturen zu robusteren Policies und qualitativ hochwertigeren Trainingsdaten führt, was die Abhängigkeit von perfekten Experten-Demonstrationen verringert. Die Autoren räumen Einschränkungen ein, wie etwa die Rechenkosten beim Sampling erwünschter Action-Chunks während des Trainings und die Annahme von absoluten (statt relativen) Korrektur-Feedbacks.