🤖 machine learning

RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback

Dieses Paper führt RoDiF ein, eine robuste Fine-Tuning-Methode für Diffusions-Policies, die eine vereinheitlichte MDP-Formulierung nutzt, um eine belohnungsfreie Direct Preference Optimization zu ermöglichen, und eine geometrische Hypothesen-Schneidestrategie anwendet, um korruptes menschliches Feedback in langfristigen Robotikaufgaben effektiv zu handhaben.

Ursprüngliche Autoren: Amitesh Vatsa, Zhixian Xie, Wanxin Jin

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amitesh Vatsa, Zhixian Xie, Wanxin Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter mit einem verrauschten Lehrer etwas beibringen

Stellen Sie sich vor, Sie haben einen sehr talentierten Roboter-Koch, der gelernt hat zu kochen, indem er einem Meisterkoch im Fernsehen zugesehen hat. Der Roboter ist großartig darin, dem Rezept zu folgen (das ist die Diffusion Policy). Manchmal bereitet der Roboter jedoch Gerichte zu, die zwar „okay“ sind, aber nicht genau das, was Sie wollen. Vielleicht bevorzugen Sie Ihr Steak gut durchgebraten, aber der Roboter macht es immer nur medium-rare.

Um das zu korrigieren, möchten Sie dem Roboter Ihren spezifischen Geschmack beibringen. Dies tun Sie, indem Sie ihm zwei Mahlzeiten zeigen und sagen: „Dieses hier gefällt mir besser“ (das ist das Human Feedback).

Das Problem:

Das Gehirn des Roboters ist kompliziert: Im Gegensatz zu einem einfachen Rezept besteht der Kochvorgang dieses Roboters nicht nur aus dem Auswählen eines Gerichts, sondern er „kocht“ das Gericht in vielen winzigen, unsichtbaren Schritten (wie das langsame Entfernen von Rauschen aus einem unscharfen Foto, bis es klar wird). Standardmäßige Lehrmethoden kommen mit diesem mehrstufigen Prozess durcheinander.
Der Lehrer ist müde: Menschen machen Fehler. Manchmal sind Sie müde, ändern Ihre Meinung oder deklarieren versehentlich eine schlechte Mahlzeit als „gut“. Wenn der Roboter versucht, aus diesen Fehlern zu lernen, könnte er anfangen, schreckliches Essen zu kochen, weil er denkt, dass dies tatsächlich das ist, was Sie wollten.

Die Lösung: RoDiF
Die Autoren haben eine neue Methode namens RoDiF (Robust Direct Fine-Tuning) entwickelt. Betrachten Sie dies als einen superintelligenten Lehrassistenten, der dem Roboter hilft, von einem Lehrer zu lernen, der vielleicht Fehler macht.

Wie RoDiF funktioniert: Drei einfache Schritte

1. Die „Einheitliche Karte“ (Unified MDP)

Normalerweise werden die internen Kochschritte des Roboters und die reale Küchenumgebung als zwei getrennte Dinge behandelt. Das macht es schwierig, standardmäßige Lehrmethoden anzuwenden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, durch eine Stadt zu navigieren, während Sie gleichzeitig ein Puzzle in Ihrem Auto lösen. Das ist verwirrend.
Die Lösung: RoDiF zeichnet eine einzige, riesige Karte, die die Puzzleschritte und die Fahrschritte zu einer kontinuierlichen Reise kombiniert. Dies ermöglicht es dem Roboter, eine leistungsstarke neue Lehrmethode (genannt DPO) direkt auf sein komplexes Gehirn anzuwenden, ohne sich zu verirren.

2. Das „Hypothesen-Schneide-Spiel“

Der Kern von RoDiF liegt darin, wie der Roboter Ihr Feedback verarbeitet.

Die Analogie: Stellen Sie sich vor, der Roboter besitzt eine riesige Kiste mit tausenden verschiedenen „Persönlichkeitseinstellungen“ (Hypothesen). Jedes Mal, wenn Sie sagen: „Ich mag Mahlzeit A lieber als Mahlzeit B“, ist das so, als würde man ein Messer nehmen und ein riesiges Stück aus der Kiste herausschneiden, das alle Persönlichkeiten enthält, die Mahlzeit B gewählt hätten.
Das Ziel: Sie schneiden immer weiter die „falschen“ Persönlichkeiten weg, bis nur noch die „richtige“ Persönlichkeit in der Kiste übrig ist.

3. Der „Konservative Schneider“ (Umgang mit Fehlern)

Dies ist der wichtigste Teil. Was ist, wenn Sie versehentlich die richtige Persönlichkeit wegschneiden, weil Sie einen Fehler gemacht haben?

Das Problem: Bei Standardmethoden kann ein einziger schlechter Schnitt die ganze Kiste zerstören. Wenn Sie versehentlich sagen: „Ich hasse das gute Essen“, wirft der Roboter vielleicht seine beste Persönlichkeit für immer weg.
Die RoDiF-Lösung: RoDiF nutzt eine konservative Strategie. Anstatt zu verlangen, dass jeder einzelne Schnitt perfekt sein muss, fragt es: „Wenn ich die schlechtesten 20 % der Schnitte (die wahrscheinlichen Fehler) ignoriere, überlebt die richtige Persönlichkeit dann immer noch?“
Das Ergebnis: Selbst wenn 30 % Ihres Feedbacks falsch sind (verrauscht/korrumpiert), betrachtet RoDiF die „Stimmen“ all Ihres Feedbacks. Es ignoriert die verrauschten, widersprüchlichen Stimmen und behält die Persönlichkeit, die die Mehrheit der zuverlässigen Schnitte erfüllt. Es ist wie ein Richter, der die schreiende, wütende Menge ignoriert und nur den ruhigen, konsistenten Zeugen zuhört.

Was haben sie bewiesen?

Die Autoren testeten dies an Robotern bei langen, komplizierten Aufgaben wie dem Stapeln von Blöcken, dem Sortieren von Gegenständen und dem Verschieben von Objekten.

Bessere Ausrichtung (Alignment): Sie zeigten, dass RoDiF erfolgreich den Roboter dazu steuern konnte, genau das zu tun, was der Mensch wollte (z. B. „Staple den roten Block zuerst“), selbst wenn der Roboter natürlich etwas anderes tun wollte.
Überlegene Rauschresistenz: Als sie absichtlich 30 % der Feedback-Labels verfälschten (dem Roboter sagten, dass das Gegenteil der Fall ist), versagden Standardmethoden und der Roboter wurde verwirrt. RoDiF hingegen funktionierte weiterhin gut, fast so, als könne es „durch die Lügen hindurchsehen“.
Funktioniert mit verschiedenen Gehirnen: Sie testeten dies auf drei verschiedenen Arten von Roboter-„Gehirnen“ (Architekturen), und es funktionierte bei allen.

Zusammenfassung

RoDiF ist eine neue Art, Roboter mithilfe von menschlichen Präferenzen zu lehren. Es löst zwei große Probleme:

Es findet heraus, wie man Roboter lehrt, die auf komplexe, mehrstufige Weise denken.
Es ist robust genug, um menschliche Fehler zu ignorieren. Es gerät nicht in Panik, wenn Sie schlechte Ratschläge geben; stattdessen filtert es das Rauschen heraus und lernt trotzdem die richtige Lektion.

Dies macht es viel sicherer und zuverlässiger, menschliches Feedback für das Training von Robotern in realen Arbeitsumgebungen einzusetzen.

Technisches Resümee: RoDiF – Robuste direkte Feinabstimmung von Diffusions-Policies mit korrumpiertem menschlichem Feedback

1. Problemstellung

Diffusions-Policies haben sich als ein leistungsstarkes Paradigma für die Robotersteuerung etabliert, da sie im Vergleich zu traditionellen Gaußschen oder deterministischen Policies überliechende Fähigkeiten besitzen, multimodale Verteilungen zu erfassen und hochdimensionale Aktionsräume zu handhaben. Die Feinabstimmung dieser vortrainierten Policies auf spezifische menschliche Präferenzen stellt jedoch zwei grundlegende Herausforderungen dar:

Strukturelle Diskrepanz: Im Gegensatz zu autoregressiven Sprachmodellen operieren Diffusions-Policies über eine mehrstufige Denoising-Kette innerhalb des Markov-Entscheidungs-Prozesses (MDP) der Umgebung. Bestehende Direct Preference Optimization (DPO)-Methoden berücksichtigen diese duale zeitliche Struktur (interne Denoising-Schritte vs. externe Umgebungsdynamik) nicht nativ, was die Ableitung eines handhabbaren DPO-Objektivs nicht trivial macht.
Korrumpiertes menschliches Feedback: Menschliches Feedback in der Robotersteuerung ist oft stochastisch und enthält Inkonsistenzen, die über Standard-Rauschannahmen hinausgehen (z. B. Label-Flips, Unstimmigkeiten zwischen Annotatoren oder nicht-stationäre Kriterien). Eine naive Feinabstimmung auf solchen Daten führt dazu, dass Modelle auf widersprüchliche Vergleiche überoptimiert, was effektiv dazu führt, dass sie auf fehlerhaften Beschränkungen statt auf der menschlichen Intention optimieren, wodurch sowohl die Ausrichtung (Alignment) als auch die Aufgabenleistung degradiert werden.

2. Methodik

Das vorgeschlagene Framework, RoDiF (Robust Direct Fine-Tuning), adressiert diese Herausforderungen durch eine vereinheitlichte theoretische Formulierung und eine geometrisch fundierte Optimierungsstrategie.

2.1 Vereinheitlichte MDP-Formulierung

Um DPO für Diffusions-Policies zu ermöglichen, führen die Autoren ein vereinheitlichtes MDP ein, das die Diffusions-Denoising-Kette kohärent mit der Umgebungsdynamik integriert.

Definition von Zustand und Aktion: Der vereinheitlichte Zustand $s^+$ kombappiniert den aktuellen Umgebungszustand $s_t$ mit dem initialen Rauschvektor $a^K_t$ . Die vereinheitlichte Aktion $a^+$ repräsentiert die Sequenz der Denoising-Schritte $(a^{K-1}_t, \dots, a^0_t)$ .
Übergangsdynamik: Die Übergangsfunktion glättet den Prozess, indem sie die zufällige Rauschinjektion und den Umgebungsübergang als einen einzigen Schritt behandelt.
Policy-Faktorisierung: Die vereinheitlichte Policy $\pi_\theta(a^+|s^+)$ wird in das Produkt der bedingten Denoising-Wahrscheinlichkeiten bei jedem Schritt $k$ faktorisiert, was die Anwendung standardmäßiger DPO-Reparametrisierungstricks auf den Diffusionsprozess ermöglicht, ohne ein explizites Belohnungsmodell zu benötigen.

2.2 Geometrische Hypothesen-Schnitt-Perspektive

RoDiF interpretiert das DPO-Objektiv durch eine geometrische Linse neu.

Hypothesenraum: Der Parameterraum der Diffusions-Policy wird als Hypothesenraum $\Theta$ betrachtet.
Präferenz als Schnitte: Jedes menschliche Präferenzpaar (Gewinner-Trajektorie $\tau_w$ vs. Verlierer-Trajektorie $\tau_l$ ) induziert eine Ungleichheitsbeschränkung (einen „Schnitt“) auf den Parameterraum. Ein gültiger Policy-Parameter muss $\Delta Q_\theta \geq 0$ für das bevorzugte Paar erfüllen.
Das Rauschproblem: In Gegenwart korrumpierter Labels kann eine einzige falsche Präferenz einen „falschen Schnitt“ erzeugen, der den wahren optimalen Parameter $\theta_H$ aus der Schnittmenge aller Schnitte ausschließt und den Lernprozess irreversibel entgleisen lässt.

2.3 Konservative Voting-Strategie

Um Robustheit ohne die Annahme einer spezifischen Rauschverteilung zu erreichen, verwendet RoDiF eine konservative Schneidestrategie:

Voting-Mechanismus: Anstatt zu verlangen, dass ein Parameter alle Präferenz-Schnitte erfüllt (was fehlschlägt, wenn ein Label korrumpiert ist), behandelt die Methode jeden Schnitt als eine Stimme.
Konservativitätsgrad: Ein Konservativitätsgrad $\gamma \in [0, 1]$ wird eingeführt, der eine geschätzte obere Schranke der Korruptionsrate darstellt. Das Optimierungsziel wird gelockert, um Parameter zu behalten, die mindestens $\lfloor(1-\gamma)N\rfloor$ Schnitte erfüllen.
Robuste Verlustfunktion: Der Standard-DPO-Loss wird zu einem robusten Loss $L_{RoDiF}$ modifiziert. Die nicht-differenzierbare Heaviside-Sprungfunktion (verwendet zur Stimmenzählung) wird mittels einer Sigmoid-Funktion geglättet, um eine gradientenbasierte Optimierung zu ermöglichen. Dies erlaubt es der Policy, bis zu $\gamma N$ inkonsistente Labels zu ignorieren und dennoch gegen die wahre, am Menschen ausgerichtete Policy zu konvergieren.

3. Kernbeiträge

Vereinheitlichte MDP-Formulierung: Eine neuartige Formulierung, die Diffusions-Denoising-Schritte mit Umgebungsübergängen integriert und so die Ableitung eines handhabbaren, belohnungsfreien DPO-Objektivs für Diffusions-Policies ermöglicht.
RoDiF-Algorithmus: Ein geometrisch fundierter Algorithmus, der Diffusions-Policies durch die Nutzung von konservativem Hypothesen-Cutting robust feinabstimmt. Er mildert die Auswirkungen inkonsistenter Präferenz-Labels ab, ohne Kenntnis der Rauschverteilung zu benötigen.
Empirische Validierung: Umfangreiche Experimente, die zeigen, dass RoDiF State-of-the-Art-Baselines (einschließlich Standard-DPO, CPO, IPO und SimPO) bei hochdimensionalen, langfristigen Manipulationsaufgaben signifikant übertrifft und selbst bei 30 % korrumpierten Präferenz-Labels eine hohe Alignment-Leistung beibehält.

4. Experimentelle Ergebnisse

Die Methode wurde auf fünf langfristigen Manipulationsaufgaben (Avoid, Pushing, Sorting, Aligning, Stacking) unter Verwendung von drei verschiedenen Diffusions-Backbones (UNet, Transformer, MLP) evaluiert.

Effektivität des Alignments: RoDiF steuerte vortrainierte Policies erfolgreich auf benutzerdefinierte Modi, selbst wenn diese Modi im vortrainierten Modell nicht dominant waren (z. B. Erzielung von >84 % Mode-Alignment in der „Avoid“-Aufgabe, während die Baseline bei <21 % lag).
Robustheit gegenüber Rauschen:
- Bei 0 % Korruption performte RoDiF vergleichbar mit Standard-DPO.
- Unter 20 % und 30 % Korruption verschlechterten sich Standard-DPO und andere Baselines (wie SimPO) signifikant (z. B. sank die Erfolgsrate von SimPO von 43 % auf 10 % unter 20 % Rauschen).
- RoDiF behielt eine hohe Leistung (>84 % Erfolgsrate) über alle Rauschniveaus hinweg bei und isolierte das Steuerungs-Signal effektiv vom systematischen Label-Rauschen.
Architektur-Agnostizismus: Die Methode erwies sich als effektiv über verschiedene Diffusions-Architekturen hinweg (UNet, Transformer, MLP).
Sampeleffizienz: Das Framework zeigte eine hohe Sampeleffizienz und erreichte ein starkes Alignment mit nur 10 Gewinner-Verlierer-Paaren in spezifischen Aufgaben.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RoDiF die Sicherheit und Zuverlässigkeit des präferenzbasierten Robotlerlernens vorantreibt. Durch die explizite Milderung der Auswirkungen fehlerhafter oder inkonsistenter menschlicher Rückmeldungen reduziert das Framework das Risiko brüchiger oder instabiler Policy-Updates. Dies wird als kritischer Schritt zur Bereitstellung von Robotersystemen in realen, sicherheitskritischen Umgebungen präsentiert, in denen menschliche Annotatoren unvollkommene Daten liefern können. Die Arbeit betont, dass Robustheit eine fundamentale Anforderung für den verantwortungsvollen Einsatz ist, und bietet eine Lösung an, die nicht auf perfekten Daten oder komplexer Belohnungsmodellierung basiert.