🤖 AI

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

Dieses Paper stellt CLIFT vor, eine nicht-invasive, geschlossene iterative Feinabstimmungsmethode, die es humanoiden Robotern ermöglicht, die auf geschlossenen Gewichts-Foundationsmodellen (wie Gemini Robotics On-Device) basieren, eine nahezu perfekte Aufgabenbeherrschung zu erreichen, indem sie Belohnungsrückmeldungen zum Zeitpunkt des Einsatzes in überwachte Daten für die API-basierte Richtlinienverbesserung umwandelt und dadurch die Einschränkungen des reinen Imitationslernens überwindet, ohne dass ein Zugriff auf die internen Modellstrukturen erforderlich ist.

Ursprüngliche Autoren: Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

Veröffentlicht 2026-08-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter einen komplexen Tanz beizubringen. In der Welt der künstlichen Intelligenz gibt es zwei Hauptwege, dies zu tun. Der erste ist „Open-Source“, bei dem Sie das gesamte Gehirn des Roboters, seinen Code und seine interne Verkabelung erhalten und jede einzelne Schraube selbst anpassen können. Der zweite Weg ist „Closed-Source“, bei dem der Roboter eine Black Box ist. Sie können nicht hineinsehen, Sie können die Drähte nicht berühren und Sie können den Code nicht ändern. Alles, was Sie tun können, ist dem Roboter eine Liste von Anweisungen zu übergeben (wie „tanze so“) und ihn bitten, daraus zu lernen. Dies wird zum Standard für die leistungsfähigsten Robotergehirne von heute: Sie sind unglaublich intelligent, aber sie sind hinter einer digitalen Tür verschlossen.

Die große Frage, die sich Wissenschaftler stellen, lautet: Wenn man nicht in das Gehirn des Roboters hineinsehen kann, kann man ihn dann trotzdem dazu bringen, schwierige Aufgaben in der realen Welt zu meistern? Normalerweise ist man eingeschränkt auf das bloße Kopieren dessen, was man sieht (Imitation), wenn man nicht in das Innere sehen kann. Aber das echte Leben ist chaotisch. Ein Roboter könnte einen Menschen in einem Video perfekt kopieren, aber wenn er versucht, dies auf einem wackeligen Boden oder mit einem rutschigen Becher zu tun, könnte er scheitern, weil er winzige Verzögerungen oder eine Physik nicht berücksichtigt hat, die er nicht einkalkuliert hat. Um wirklich gut zu werden, muss ein Roboter üben, scheitern, erkennen, was schiefgelaufen ist, und es erneut versuchen – ein Prozess, der „Closed-Loop-Learning“ (Lernen in geschlossener Regelschleife) genannt wird. Die Herausforderung lautet: Wie bringt man einen Roboter dazu, aus seinen eigenen Fehlern zu lernen, wenn man nicht die Erlaubnis hat, seine internen Lernmechanismen zu manipulieren?

Dieses Paper mit dem Titel CLIFT befasst sich genau mit diesem Problem. Die Forscher wollten sehen, ob sie ein leistungsstarkes, abgeschlossenes Robotermodell namens „Gemini Robotics On-Device“ in einen Meister für knifflige, kontaktintensive Aufgaben (wie das Stapeln von Tellern oder das Packen von Kartons) verwandeln können, ohne jemals die „Modell-Box“ zu öffnen. Sie fanden heraus, dass das bloße Kopieren von Menschenvideos (eine Methode namens „Supervised Fine-Tuning“) den Roboter zwar viel besser machte als andere Open-Source-Roboter, aber für die Geschicklichkeit in der realen Welt immer noch nicht perfekt genug war. Der Roboter ließ oft Dinge fallen oder patzte in den letzten Schritten.

Um dies zu beheben, erfand das Team einen cleveren Trick namens CLIFT (Closed-Loop Iterative Fine-Tuning). Stellen Sie sich das wie einen Videospiel-Coach vor, der das Spiel nicht verändern kann, aber dennoch den Spieler lehren kann. So funktioniert es:

Die Übungsrunde: Der Roboter versucht, eine Aufgabe in der realen Welt zu erledigen. Er kann Erfolg haben oder scheitern.
Die Bewertungskarte: Anstatt nur „Gut gemacht“ oder „Schlecht gemacht“ zu sagen, beobachtet ein spezieller KI-Richter (ein Reward-Modell) das Video und vergibt eine Punktzahl für jedes winzige Stück der Bewegung. Er identifiziert genau, welche Teile flüssig und hilfreich waren und welche Teile unbeholfen oder gefährlich waren.
Das magische Label: Das Team nimmt diese bewerteten Videos und verwandelt sie in eine neue Trainingslektion. Sie fügen den guten Teilen ein spezielles „Abzeichen“ hinzu (wie einen goldenen Stern) und eine „Warnung“ zu den schlechten Teilen.
Die Lektion: Sie senden diese neue, gelabelte Lektion über eine API (ein digitales Menü) zurück an das abgeschlossene Gehirn des Roboters. Der Roboter trainiert sich selbst mit diesen neuen Daten neu und lernt, nach den „goldenen Sternen“ zu suchen und die „Warnungen“ zu vermeiden.

Die Forscher ließen diesen Zyklus zweimal durchlaufen, wie ein Schwungrad, das immer schneller rotiert. Die Ergebnisse waren beeindruckend. Am Ende kopierte der Roboter nicht mehr nur die Menschen; er begann, seine eigenen cleveren Bewegungen zu erfinden. Zum Beispiel lernte der Roboter beim Packen eines Kartons, den Karton mit den Fingern zu schubsen und zu drehen, um einen besseren Griff zu bekommen, bevor er ihn anhebt – eine Bewegung, die seine menschlichen Lehrer ihm nie gezeigt hatten. Beim Versuch, eine Flasche in einen Becher zu stellen, lernte er, es einfach noch einmal zu versuchen, anstatt aufzugeben, falls er beim ersten Mal scheiterte.

Das Paper zeigt, dass diese „nicht-invasive“ Methode Wunder wirkte. Die Erfolgsrate des Roboters sprang bei schwierigen Aufgaben wie dem Stapeln von Tellern und dem Einsetzen von Flaschen von etwa 50–70 % auf nahezu 100 %. Noch überraschender war: Als sie denselben Trick bei einem anderen Open-Source-Roboter ausprobierten (einem, bei dem sie den Code hätten manipulieren können), schnitt der abgeschlossene Roboter immer noch besser ab. Dies deutet darauf hin, dass ein wirklich starkes, vortrainiertes „Gehirn“ wichtiger ist als der volle Zugriff auf den Code.

Kurz gesagt beweist das Paper, dass man das Gehirn des Roboters nicht zerstören muss, um ihn zu lehren. Indem man reale Übungssitzungen in kluge, gelabelte Lektionen verwandelt, kann man einen abgeschlossenen Roboter zu einem Spezialisten führen, der komplexe physische Aufgaben durch einen einfachen, iterativen Kreislauf aus Probieren, Bewerten und Neu-Lernen meistert. Die Autoren fanden heraus, dass dieser Ansatz den Roboter nach nur zwei Zyklen zu nahezu perfekter Meisterschaft führt, und das alles, ohne jemals die „Modell-Box zu öffnen“.

Technisches Resümee: CLIFT – Transformation von Gemini Robotics On-Device in humanoide Spezialisten mittels nicht-invasiver, geschlossener iterativer Feinabstimmung

1. Problemstellung

Die Robotik-Community steht vor einem grundlegenden Spannungsfeld: Die leistungsfähigsten Vision-Language-Action (VLA) Foundation-Modelle sind typischerweise auf proprietären Daten trainiert und bleiben quelloffen begrenzt, was die Anpassungsfähigkeit für Endnutzer einschränkt. Während ein aufkommendes Paradigma Managed Supervised Fine-Tuning (SFT) APIs bietet (z. B. Gemini Robotics On-Device oder GROD), die es Nutzern ermöglichen, Daten einzureichen und optimierte Policies zu erhalten, ohne Zugriff auf Gewichte oder Gradienten zu haben, weist dieses Regime signifikante Einschränkungen für die agile, kontaktreiche humanoide Manipulation auf.

Die aktuelle API-basierte Anpassung stützt sich primär auf Demonstrations-basiertes SFT. Dieser Ansatz stößt an eine Leistungsobergrenze, da:

Verteilungs-Mismatch: Er trainiert auf einer festen Verteilung von menschlichen Teleoperationsdaten, während der Einsatz unter der eigenen Closed-Loop-Beobachtungsverteilung der Policy erfolgt.
Ausführungsqualität: Der Abschluss einer Aufgabe allein garantiert keinen Erfolg; Faktoren wie Geschmeidigkeit, Kontaktqualität und Sicherheit sind entscheidend.
Controller-Kopplung: VLA-Policies sind eng mit nachgeschalteten Whole-Body-Controllern gekoppelt. Dieselbe Action-Chunk kann aufgrund von Latenz, Compliance und Tracking-Dynamik unterschiedliche physische Ergebnisse liefern, was eine Lücke zwischen dem Policy-Output und dem tatsächlich ausgeführten Verhalten schafft.

Bestehende Methoden zur Closed-Loop-Verbesserung (z. B. PPO, Residual RL) erfordern Zugriff auf interne Signale wie Gradienten, Likelihoods oder Critic-Netzwerke, die in restriktiven API-Regimen nicht verfügbar sind. Die zentrale Frage lautet: Wie effektiv ist das Managed-API-Regime für die humanoide Anpassung, und wie kann Closed-Loop-Verbesserung innerhalb dieses Regimes realisiert werden, um Aufgabenbeherrschung (Task Mastery) zu erreichen?

2. Methodik: CLIFT

Die Autoren schlagen CLIFT (Closed-Loop Iterative Fine-Tuning) vor, eine nicht-invasive Pipeline, die Managed-SFT-Schnittstellen mit Closed-Loop-Policy-Verbesserung verbindet. CLIFT operiert als „Flywheel“, das Reward-Feedback aus der Deployment-Zeit in API-kompatible Supervised-Daten umwandelt, ohne jemals die internen Gewichte oder Losses des Modells zu berühren.

Die Pipeline besteht aus drei iterativen Schritten:

A. Präferenz-kalibrierte dichte Reward-Modellierung

Um Rollouts während des Deployments zu bewerten, nutzt CLIFT einen zweistufigen Prozess zur Generierung von Rewards:

Kandidatengenerierung: Ein Zero-Shot-VLM generiert mehrere Kandidaten-Reward-Sequenzen pro Schritt für einen gegebenen Rollout.
Menschliche Selektion & Destillation: Menschliche Operatoren geben paarweise Präferenzen zur Qualität der Rollouts ab. Die Kandidaten, deren kumulative Return-Rankings die menschlichen Präferenzen am besten widerspiegeln, werden ausgewählt. Diese ausgewählten Sequenzen werden anschließend durch die Feinabstimmung eines generativen Reward-Modells ( $R_\theta$ ) destilliert. Dieses Modell liefert dichte, präferenz-kalibrierte Rewards, die die Ausführungsqualität über den bloßen Fortschritt der Aufgabe hinaus erfassen.

B. Retrieval-basierte Advantage-Konditionierung

Anstatt fehlgeschlagene Rollouts zu verwerfen oder Episoden als binäres Erfolg/Misserfolg zu behandeln, führt CLIFT eine Chunk-Level Credit Assignment durch:

Retrieval: Für jeden Action-Chunk, der im Zustand $o_t$ beginnt, sucht das System eine Menge von Vergleichs-Chunks aus anderen Rollouts heraus, die von visuell ähnlichen Zuständen ausgehen.
Bewertung: Der Chunk wird basierend auf seinem diskontierten Return über ein Look-Ahead-Fenster mittels des Reward-Modells $R_\theta$ bewertet.
Labeling: Der Chunk wird mit einem binären Advantage-Token ( $I \in \{positive, negative\}$ ) versehen. Liegt der Return des Chunks in den obersten 30 % der abgerufenen Menge (autokalibrierend auf die Schwierigkeit des Zustands), erhält er ein positives Label; andernfalls ein negatives.
Datenkonvertierung: Jeder Rollout-Chunk wird in ein SFT-Tuple konvertiert: (Beobachtung, Instruktion, Action-Chunk, Advantage-Token).

C. Iterative Selbstverbesserung

Der Kreislauf läuft wie folgt ab:

Deployment: Die aktuelle Policy $\pi_k$ wird auf dem Roboter eingesetzt, um Closed-Loop-Rollouts zu sammeln.
Relabeling: Rollouts werden durch $R_\theta$ bewertet und Chunks mit Advantage-Tokens gelabelt.
Datensatz-Konstruktion: Ein kumulativer Datensatz $D_k$ wird erstellt, indem die ursprünglichen menschlichen Demonstrationen (immer positiv gelabelt) und die neu gelabelten Rollout-Chunks kombiniert werden.
Feinabstimmung: Das Basismodell wird über die Managed-SFT-API von Grund auf neu auf $D_k$ feinabgestimmt, um $\pi_{k+1}$ zu erzeugen.
Inferenz: Bei der Ausführung wird die Policy auf das positive Advantage-Token konditioniert, um das Verhalten in Richtung hochwertiger Aktionen zu steuern.

3. Experimenteller Aufbau

Plattform: Unitree G1 Humanoid-Roboter mit zwei Armen, dexteritätsreichen Händen und kopfmontierten RGB-Kameras.
Steuerung: Hierarchische Whole-Body-Steuerung, bei der die VLA obere Körpergelenkwinkel und untere Körpergeschwindigkeiten ausgert, die von einem RL-gelernten Controller verfolgt werden.
Aufgaben: Drei kontaktreiche, agile Manipulationsaufgaben:
1. Box Packing: Präzises Greifen und Platzieren.
2. Cup Insertion: Asymmetrische bimanuelle Koordination (Stabilisieren eines Trägers während des Einführens einer Flasche).
3. Bimanual Plate Handover: Koordinierter Transfer zwischen den Händen.
Verglichene Modelle:
- GROD: Closed-Weight-Modell via Managed-SFT-API.
- $\pi_{0.5}$ : Open-Weight-VLA (Physical Intelligence) mit direktem Zugriff auf die Gewichte.
Protokoll: Beide Modelle wurden mit 2 Stunden teleoperierter Demonstrationen initialisiert und zwei Zyklen CLIFT unterzogen.

4. Kernergebnisse

Leistungssteigerungen

GROD (Closed-Weight): CLIFT konnte GROD trotz des reinen API-Zugriffs nach zwei Flywheel-Zyklen zu nahezu perfekter Aufgabenbeherrschung führen.
- Box Packing: 93% $\to$ 100%
- Cup Insertion: 70% $\to$ 98%
- Bimanual Plate Handover: 53% $\to$ 96%
$\pi_{0.5}$ (Open-Weight): CLIFT verbesserte auch das Open-Weight-Modell, stagnierte jedoch auf einem deutlich niedrigeren Niveau (z. B. 5% $\to$ 30% bei Bimanual Plate Handover).
Vergleich: Die direkte SFT auf GROD übertraf bereits $\pi_{0.5}$ , das auf denselben Daten trainiert wurde. Selbst als $\pi_{0.5}$ eine „invasive“ Anpassung erhielt (FiLM-artige Konditionierung zur direkten Injektion von Präferenzsignalen in das Netzwerk), blieb es hinter dem API-angepassten GROD zurück.

Dichte vs. Episoden-Selektion

Die Autoren verglichen zwei Varianten von CLIFT:

Dense Advantage-Conditioned: Labelt jeden Chunk in jedem Rollout (positiv oder negativ).
High-Return Episode Selection: Behält nur die obersten 30 % der erfolgreichen Episoden (Standard-DAgger-Stil).

Ergebnis: Bei einfachen Aufgaben verhielten sich beide ähnlich. Bei der schwierigsten Aufgabe (Bimanual Plate Handover) schnitt die Dense-Variante signifikant besser ab als die Episoden-Selektion (96 % vs. ~84 %). Dies zeigt, dass das Behalten fehlgeschlagener Rollouts und das Relabeln gut ausgeführter Chunks als positive Beispiele (und schlechter Chunks als negative) entscheidend für das Lernen aus Fehlern ist.

Emergente Verhaltensweisen

CLIFT ermöglichte der Policy die Aneignung von Verhaltensweisen, die in den ursprünglichen Demonstrationen nicht enthalten waren:

Prä-Manipulation: Neuausrichtung einer Box mit Fingern/Handgelenk, um das Greifen zu erleichtern.
Recovery (Wiederherstellung): Versuch eines zweiten Einführens nach einem gescheiterten ersten Versuch, anstatt zu stagnieren.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CLIFT demonstriert, dass Managed-SFT-APIs nicht nur als Anpassungsschnittstellen, sondern als praktische Mechanismen zur Closed-Loop-Policy-Verbesserung dienen können.

Nicht-invasive Meisterschaft: Es ist möglich, ein Closed-Weight-Foundation-Modell zu nahezu perfektem Erfolg bei komplexen, kontaktreichen Aufgaben zu führen, ohne die „Modellbox zu öffnen“ (Zugriff auf Gewichte, Gradienten oder Losses).
Bedeutung der Foundation-Modelle: Die Wahl des Basismodells ist entscheidend. Ein stärkeres Closed-Weight-Foundation-Modell (GROD), das über eine schmale API angepasst wurde, übertrifft ein schwächeres Open-Weight-Modell ( $\pi_{0.5}$ ), selbst wenn letzteresem voller interner Zugriff gewährt wurde. Dies deutet darauf hin, dass für die Closed-Loop-Anpassung der starke vortrainierte Prior wichtiger sein kann als der Grad des Zugriffs auf das Training.
Dateneffizienz: Durch die Umwandlung von Deployment-Fehlern in dichte, Chunk-basierte Trainingssignale extrahiert CLIFT den maximalen Wert aus Real-Robot-Rollouts und macht aus Fehlern ein Lernsignal statt sie einfach zu verwerfen.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz – obwohl Real-Robot-Rollouts kostspielig sind – einen lebensfähigen Weg zur Aufgabenbeherrschung für humanoide Roboter im Zeitalter proprietärer Foundation-Modelle bietet.