💻 computer science

Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering

Das Papier schlägt MoRE (Mode Redirection) vor, eine Methode, die die Anleitung eines temporären Modus-Klassifikators über einen kurzen „Uncloning“-Schritt in die Policy-Gewichte destilliert, um unsichere oder unerwünschte Verhaltensmodi in durch Behavior Cloning erzeugten Policies dauerhaft zu unterdrücken, ohne dabei einen Overhead zur Inferenzzeit zu verursachen, wodurch die Erfolgsraten beim Einsatz bei diversen Robotik-Aufgaben signifikant verbessert werden.

Ursprüngliche Autoren: Hao Wang, Jiuzhou Lei, Dayou Li, Bangya Liu, Minghui Zheng, Manling Li, Ruohan Zhang, Zhiwen Fan

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hao Wang, Jiuzhou Lei, Dayou Li, Bangya Liu, Minghui Zheng, Manling Li, Ruohan Zhang, Zhiwen Fan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine Aufgabe bei, wie zum Beispiel das Überreichen eines Messers, indem Sie ihm hunderte Videos von Menschen zeigen, die diese Aufgabe ausführen. Da die Videos von verschiedenen Menschen in verschiedenen Küchen stammen, lernt der Roboter vielfältige Wege, um die Aufgabe zu erledigen.

Manchmal lernt er den sicheren Weg (das Messer am Griff halten). Aber weil er von allem gelernt hat, lernt er auch den gefährlichen Weg (das Messer an der Klinge halten). Wenn Sie diesen Roboter in ein echtes Zuhause schicken, könnte er verwirrt sein und den gefährlichen Weg wählen, obwohl er weiß, wie man die Aufgabe sicher erledigt.

Dieses Paper stellt eine Lösung namens MoRE (Mode Redirection) vor. Betrachten Sie es als ein Werkzeug zum „Verlernen von Verhalten“ (behavioral unlearning), das die schlechten Angewohnheiten des Roboters korrigiert, ohne dass man ihn von Grund auf neu lehren oder während der Arbeit verlangsamen muss.

So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Der „Alleskönner“-Roboter

Wenn Roboter auf großen, unordentlichen Datensätzen trainiert werden, werden sie wie ein Schüler, der für eine Prüfung mit jedem verfügbaren Lehrbuch gelernt hat. Er kennt die Antwort, aber er wählt vielleicht die falsche Methode, um dorthin zu gelangen.

Das Problem: Wenn man versucht, dies zu beheben, indem man die „schlechten“ Videos wegwirft und den Roboter neu trainiert, dauert es ewig und kostet viel Geld.
Die Alternative: Manche Leute versuchen, einen „Verkehrspolizisten“ hinzuzufügen, der neben dem Roboter steht, während er arbeitet, und ruft: „Nein! Mach es auf diese Weise!“ Das funktioniert, aber es verlangsamt den Roboter, weil der Verkehrspolizist jede einzelne Sekunde denken und rufen muss.

Die Lösung: MoRE (Der „Innere Kompass“)

MoRE ist anders. Anstatt einen „Verkehrspolizisten“ hinzuzufügen oder den gesamten Roboter neu zu trainieren, führt es eine schnelle „Operation“ am Gehirn des Roboters (seinen Software-Gewichten) durch, um seine Gewohnheiten dauerhaft zu ändern.

Hier ist der schrittweise Prozess:

Der vorübergehende Coach: Zuerst baut MoRE einen winzigen, vorübergehenden „Klassifikator“. Stellen Sie sich das wie einen Coach vor, der die aktuellen Handlungen des Roboters beobachten und sagen kann: „Oh, du bist gerade dabei, die Klingen-zuerst-Bewegung zu machen. Das ist der schlechte Modus.“
Das sanfte Stoßen: Der Roboter versucht, eine Aufgabe auszuführen. Wenn der Coach sieht, dass er beginnt, in eine schlechte Gewohnheit abzudriften (wie die Bewegung mit der Klinge zuerst), gibt der Coach einen sanften „Stoß“ (ein mathematisches Signal) an das Gehirn des Roboters. Dieses Signal sagt: „Hey, steuere von diesem Pfad weg.“
Das Sicherheitsnetz (Der Retain Loss): Der Roboter muss auch seine Fähigkeiten behalten. Wenn wir ihm nur sagen: „Tu das Schlechte nicht“, könnte er vergessen, die Aufgabe überhaupt zu erledigen. Deshalb sagt MoRE dem Roboter auch: „Während du die schlechte Gewohnheit korrigierst, stelle sicher, dass du die gute Gewohnheit weiterhin perfekt ausführst.“ Das ist so, als würde man einem Schüler sagen: „Hör auf zu schummeln, aber lerne weiterhin hart für die richtige Antwort.“
Das „Entklonen“: Sobald der Roboter gelernt hat, die schlechten Gewohnheiten zu vermeiden und sich an die guten zu halten, wird der vorübergehende Coach entlassen und weggeworfen. Der Roboter ist nun ein eigenständiger Experte, der die schlechten Bewegungen natürlich vermeidet.

Warum das eine große Sache ist

Das Paper behauptet, dass MoRE überlegen ist, weil:

Keine Geschwindigkeitsbegrenzungen: Im Gegensatz zur „Verkehrspolizisten“-Meth Methode fügt MoRE keine zusätzlichen Schritte hinzu, wenn der Roboter tatsächlich arbeitet. Er läuft genauso schnell wie zuvor.
Kein Re-Training: Sie müssen nicht die Originalvideos oder Wochen des Trainings haben. Sie benötigen nur ein paar Beispiele für die „guten“ gegenüber den „schlechten“ Wegen, die Aufgabe zu erledigen.
Es funktioniert überall: Die Autoren haben dies an simulierten Robotern (in Videospielen) und echten Robotern (physische Arme, die Messer und Flaschen bewegen) getestet. In fast allen Fällen wurden die Roboter viel sicherer und erfolgreicher darin, die spezifischen Regeln zu befolgen, die man ihnen vorgegeben hat, ohne ihre Fähigkeit zu verlieren, die Aufgabe zu erleden.

Das Fazng:

MoRE nimmt einen Roboter, der durch zu viele Optionen verwirrt ist, und destilliert eine klare Präferenz direkt in sein Gehirn. Es ist, als würde man einen Schüler, der zwar Autofahren kann, aber ständig zu schnell fährt, eine kurze Lektion geben, die seinen Instinkt umprogrammiert, immer sicher zu fahren – ohne dass ein Fahrlehrer für immer auf dem Beifahrersitz sitzen muss.

Wichtige Ergebnisse aus dem Paper:

Im Durchschnitt verbesserte MoRE die Erfolgsrate des Roboters um 44 % im Vergleich zum uneditierten Roboter.
Es funktionierte fast so gut, als hätte man den Roboter von Grund auf mit nur „guten“ Daten neu trainiert, jedoch viel schneller.
Es funktioniert auf verschiedenen Arten von Roboter-Gehirnen (von einfachen bis hin zu fortgeschrittenen KI-Modellen) und für verschiedene Aufgaben (Objekte bewegen, laufen, Dinge überreichen).

Technisches Resümee: Behavior Uncloning: Destillation von Modus-Umleitung in Policy-Gewichte ohne Inference-Time Steering

Problemstellung

Behavior Cloning (BC) ermöglicht das Training leistungsfähiger visuomotorischer Policies aus großen, diversen Demonstrationsdatensätzen. Diese Datensätze aggregieren jedoch oft Demonstrationen von verschiedenen Operatoren und Kontexten, was dazu führt, dass Policies für dieselbe Aufgabe mehrere „Verhaltensmodi“ (behavior modes) erlernen. Obwohl alle Modi die Aufgabe erfolgreich abschließen können, sind einige davon unsicher, unerwünscht oder inkompatibel mit spezifischen Einsatzbeschränkungen (z. B. das Überreichen eines Messers mit der Klinge voran gegenüber der Spitze voran).

Bestehende Lösungen stehen vor signifikanten Zielkonflikten:

Gefiltertes Retraining: Das Entfernen unerwünschter Demonstrationen und das erneute Training von Grund auf bietet direkte Kontrolle, erfordert jedoch Zugriff auf die Originaldaten und verursacht hohe Rechenkosten für jeden neuen Zielmodus.
Inference-Time Steering: Methoden, die Aktionen neu bewerten, das Diffusion-Sampling leiten oder auf verborgene Zustände während des Einsatzes eingreifen, vermeiden ein Retraining, führen aber zu erheblichen Overhead-Kosten während der Inferenz, da sie externe Module oder Sampling-Schleifen erfordern, die eine latenzarme Steuerung erschweren.

Das Paper identifiziert eine Lücke für eine Methode, die unerwünschte Modi in einer bereits trainierten Policy unterdrückt, ohne den Originaldatensatz zu benötigen und ohne zusätzlichen Overhead während der Inferenz zu verursachen.

Methodik: MoRE (Mode Redirection)

Die Autoren schlagen MoRE vor, ein Post-hoc-Framework zur Editierung von Policies, das ein Modus-Umleitungssignal direkt in die Policy-Gewichte destilliert. Der Prozess umfasst drei Hauptphasen:

1. Problemformulierung

Gegeben sei eine gemischte Modus-Policy $\pi_{\theta_0}$ , die auf einem Datensatz $D_{BC}$ trainiert wurde, der in Modi $D_k$ partitioniert ist. Das Ziel ist es, die Policy zu einem neuen Parametersatz $\theta^*$ zu editieren, sodass Closed-Loop-Rollouts innerhalb einer gewünschten Einsatzmenge $S \subseteq \{1, \dots, K\}$ liegen. Die Editierungsdaten $D_{edit}$ können aus Original-Demonstrationen oder Closed-Loop-Rollouts der gemischten Policy bestehen, die mit Verhaltensmodi gelabelt sind.

2. Differenzierbarer Mode-Redirection Editor

MoRE nutzt einen temporären, leichtgewichtigen Verhaltensmodus-Klassifikator $g_\phi$ , der auf Merkmalen (Features) trainiert wurde, die aus der ursprünglichen Policy extrahiert wurden.

Merkmalsextraktion: Für Vision-Language-Action (VLA) Policies sind die Features gemittelte Hidden States; für Diffusion Policies umfassen die Features die Beobachtungsbedingung (observation condition) und die vorhergesagte saubere Action-Chunk.
Einfrieren: Die Parameter $\phi$ des Klassifikators werden nach dem Training eingefroren. Während der Editierungsphase werden die Policy-Parameter $\theta$ aktualisiert, während der Klassifikator fix bleibt. Dies ermöglicht es, dass Gradienten vom Klassifikator durch die von der Policy abhängigen Merkmale zurück in die Policy-Gewichte fließen.

3. Optimierung mit Retain- und Redirect-Losses

Das Editierungsziel kombelt zwei Verlustterme, um die Unterdrückung des Verhaltens mit der Aufgabenkompetenz in Einklang zu bringen:
$L_{MoRE}(\theta) = \underbrace{\mathbb{E}_{x \sim D_{des}} [L_{BC}(x; \theta)]}_{\text{Retain}} + \gamma \underbrace{\mathbb{E}_{x \sim D_{undes}^\theta} [L_{red}(x; \theta, \phi, S)]}_{\text{Redirect}}$

Retain Loss: Dieser wird auf Stichproben im gewünschten Modus-Set ( $D_{des}$ ) angewendet und nutzt den ursprünglichen Imitationsverlust (z. B. Rauschvorhersage oder Geschwindigkeitsabgleich), um die Aufgabenkompetenz zu bewahren und zu verhindern, dass die Policy verlernt, wie die Aufgabe zu lösen ist.
Redirect Loss: Dieser wird auf Stichproben des unerwünschten Modus ( $D_{undes}$ ) angewendet und nutzt einen Teilwahrscheinlichkeits-Loss (subset-probability loss), um die vorhergesagte Wahrscheinlichkeitsmasse des Klassifikators in Richtung des gewünschten Sets $S$ zu drücken.
Source-Mode Masking: Um die Stabilität zu gewährleisten, wird der Redirect-Loss nur auf unerwünschte Stichproben angewendet, bei denen die Wahrscheinlichkeit des Quellmodus unter einem Schwellenwert $\tau$ (z. B. 0,5) liegt. Dies stellt sicher, dass die Umleitung nur in Zustands-Aktions-Regionen stattfindet, die über verschiedene Modi hinweg geteilt werden, um Störungen in modusspezifischen Ausführungszweigen zu vermeiden, in denen sich die Policy bereits festgelegt hat.

Nach der Editierung wird der Klassifikator verworfen. Die resultierende Policy $\pi_{\theta^*}$ läuft über den ursprünglichen Inferenzpfad mit null zusätzlichem Overhead.

Kernbeiträge

Formulierung von Behavior Uncloning: Das Paper definiert ein neues Policy-Editing-Setting, das auf der Unterdrückung von beim Einsatz unerwünschten Modi in vortrainierten Policies fokussiert ist, evaluiert über eine „Deployment Success Rate“ (SR) Metrik, die sowohl den Abschluss der Aufgabe als auch die Einhaltung eines akzeptablen Verhaltensmodus erfordert.
Das MoRE-Framework: Eine Methode, die die klassifikatorgestützte Umleitung mittels eines Retain-Loss in die Policy-Gewichte destilliert, um die Kompetenz beizubehalten. Es unterstützt Single- und Multi-Target-Edits, arbeitet mit Demonstrationen oder Rollouts und entfernt den Klassifikator nach der Editierung.
Umfassende Validierung: MoRE wird über Diffusion Policy und $\pi_{0.5}$ VLA Backbones, binäre und Multi-Way-Modus-Steuerung, simulierte und reale Roboter-Einsätze sowie Manipulation und Quadruped-Navigation validiert.

Experimentelle Ergebnisse

Die Experimente wurden an acht Aufgaben (vier simuliert, vier Real-Roboter) durchgeführt, darunter Aufgaben wie Messer-Übergabe, Platzierung an mehreren Orten und Quadruped-Navigation.

Leistungssteigerungen: MoRE verbesserte die durchschnittliche Deployment Success Rate (SR) gegenüber der ursprünglichen Mixed-Mode-Policy um 44 Prozentpunkte. Beispielsweise stieg die SR bei der Push-T-Aufgabe von 50,0 % auf 98,3 %.
Vergleich mit Baselines:
- Vs. Preference Learning (CPL): MoRE erreichte stärkere Modus-Verschiebungen und eine höhere SR. CPL bot nur teilweise Verschiebungen und reduzierte teilweise die Task Completion Rate (TCR).
- Vs. Inference-Time Steering (DynaGuide): Während DynaGuide die Modus-Ausrichtung bei einigen Aufgaben verbesserte, verursachte es eine 8,47-fache Verlangsamung der Inferenzzeit. MoRE behielt die ursprüngliche Inferenzgeschwindigkeit bei.
- Vs. Gefiltertes Retraining: MoRE näherte sich der Performance von Policies an, die von Grund auf mit gefilterten Daten neu trainiert wurden, ohne Zugriff auf den Originaldatensatz oder ein vollständiges Retraining zu benötigen.
Generalisierung: Die Methode transferierte erfolgreich über verschiedene Policy-Backbones (Diffusion Policy zu $\pi_{0,5}$ VLA), verschiedene Embodiment-Typen (Arm-Manipulation zu Quadruped) und von der Simulation zum realen Einsatz.
Dateneffizienz: MoRE blieb auch effektiv, wenn nur Closed-Loop-Rollouts aus der gemischten Policy als Editierungsdaten verwendet wurden, obwohl Original-Demonstrationen etwas bessere Ergebnisse lieferten.

Bedeutung und Ansprüche

Das Paper positioniert MoRE als praktische Lösung für die „Deployment Tension“ zwischen Datendiversität und Sicherheits- bzw. Akzeptanzbeschränkungen. Durch die Destillation der Umleitungssignale in die Gewichte ermöglicht MoRE die Erstellung eigenständiger, sicherer Policies, die keine externen Steering-Module oder ein Retraining von Grund auf erfordern.

Die Autoren betonen explizit, dass MoRE als eine Modus-Kontroll-Editierungsmethode und nicht als zertifizierte Sicherheitsschicht betrachtet werden sollte. Seine Wirksamkeit beruht auf spezifischen Annahmen:

Die Verfügbarkeit von modus-gelabelten Editierungsdaten (oder zuverlässig inferierbaren Rollouts).
Ein Klassifikator-Interface, dessen Merkmale Informationen über den Modus preisgeben, bevor die Trajektorie vollständig auf einen Quellmodus festgelegt ist.

Die Arbeit legt nahe, dass gezielte Verhaltensweisen direkt in die Modellgewichte umgeleitet werden können, was einen Weg zu sichereren, kontrollierbareren Roboter-Einsätzen eröffnet, ohne die Rechen- oder Latenzkosten einer Intervention zur Inferenzzeit zu verursachen. Zukünftige Forschungsrichtungen umfassen den Umgang mit verrauschten Labels, die Entdeckung hierarchischer Modus-Taxonomien und die Adressierung stärkerer Verteilungsverschiebungen.