💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

Die Arbeit stellt NF-P vor, eine auf Normalizing Flows basierende visomotorische Strategie für bi-manipulative Roboter, die im Vergleich zu Diffusionsmodellen eine effizientere Inferenz, schnellere Trainingszeiten und die Möglichkeit zur Unsicherheitsquantifizierung bietet, was zu einer verbesserten Aufgabenleistung führt.

Ursprüngliche Autoren: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Veröffentlicht 2026-02-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Roboter lernen oft zu langsam oder sind zu unsicher

Stell dir vor, du möchtest einem Roboter beibringen, mit zwei Armen gleichzeitig eine Tasse auf einen Tisch zu stellen oder ein Handtuch zu falten. Das ist schwierig, weil es viele verschiedene Wege gibt, das zu tun (manche sind besser, manche schlechter).

Bisher haben Forscher oft Diffusionsmodelle verwendet. Das ist wie ein Künstler, der ein Bild erst mal komplett mit grauem Rauschen (wie TV-Störsignalen) überdeckt und dann Schritt für Schritt das Rauschen entfernt, bis das Bild klar ist.

Das Problem: Das dauert lange (viele Schritte). Wenn der Roboter schnell reagieren muss, ist das zu langsam. Außerdem weiß der Roboter am Ende nicht genau, wie sicher er sich ist, ob der nächste Schritt gut ist. Es ist wie ein Koch, der blindlings probiert, ohne zu wissen, ob das Essen wirklich schmeckt.

Die neue Lösung: Der "Normalizing Flow" (NF-P)

Die Autoren dieses Papers haben eine andere Methode entwickelt, die sie Normalizing Flow Policy (NF-P) nennen.

Stell dir das wie einen perfekten Übersetzer vor, der eine komplexe Sprache (die chaotischen Bewegungen des Roboters) in eine einfache Sprache (einen einfachen mathematischen Raum, wie eine glatte Ebene) übersetzt und umgekehrt.

Der Trick: Der Roboter lernt eine Regel, wie man von "chaotischen Bewegungen" zu "einfachen Zahlen" und wieder zurückkommt.
Der Vorteil: Im Gegensatz zum Diffusionsmodell muss der Roboter nicht Schritt für Schritt "rauschen". Er macht einen einzigen Sprung (wie ein Teleport) von den einfachen Zahlen direkt zur perfekten Bewegung. Das ist extrem schnell.
Die Sicherheit: Da der Übersetzer die Regeln genau kennt, kann er sofort berechnen: "Wie wahrscheinlich ist diese Bewegung?" Das ist wie wenn der Roboter vor jedem Schritt sagt: "Ich bin zu 99 % sicher, dass das hier funktioniert."

Zwei geniale Tricks für noch bessere Ergebnisse

Da der Roboter jetzt genau weiß, wie wahrscheinlich eine Bewegung ist, können die Forscher zwei coole Tricks anwenden, um ihn noch schlauer zu machen:

Trick 1: Der "Best-of-N"-Wurf (Stochastic Batch Selection)
Stell dir vor, der Roboter wirft 128 verschiedene Würfel (Bewegungsvorschläge) gleichzeitig. Da er die Wahrscheinlichkeit für jeden kennt, wählt er einfach den Würfel aus, der die höchste Punktzahl hat. Er ignoriert also die schlechten Ideen sofort.
- Vergleich: Wie wenn du 128 Rezepte für einen Kuchen probierst und nur den einen auswählst, der am besten schmeckt, statt den ersten besten zu nehmen.
Trick 2: Der "Feinschliff" (Gradient Refinement)
Der Roboter nimmt einen guten Vorschlag und "klettert" ein paar Schritte bergauf auf einer Wahrscheinlichkeits-Karte, um ihn noch besser zu machen.
- Vergleich: Wie wenn du ein Foto hast, das schon gut aussieht, und du es noch ein paar Mal nachschärfst, bis es gestochen scharf ist.

Was haben sie getestet?

Die Forscher haben ihren neuen Roboter in zwei Umgebungen getestet:

Im Computer (Simulation): In einer virtuellen Welt mit 50 verschiedenen Aufgaben (wie Stapelblöcke bauen, Töpfe heben, Mikrowellen öffnen).
- Ergebnis: Der neue Roboter war deutlich erfolgreicher als die alten Modelle (ca. 38 % Erfolg statt 28 %) und brauchte viel weniger Zeit zum Lernen.
In der echten Welt: Mit echten Kuka-Robotern, die Handtücher falten und Blöcke stapeln mussten.
- Ergebnis: Die alten Modelle hingen oft fest oder wussten nicht, wie sie anfangen sollen. Der neue Roboter startete sofort und schaffte es viel öfter, die Aufgabe zu Ende zu bringen (bis zu 75 % Erfolg).

Warum ist das wichtig?

Geschwindigkeit: Der Roboter denkt in Millisekunden. Das ist wichtig, wenn er Dinge fängt oder mit Menschen interagiert.
Sicherheit: Weil er weiß, wie sicher er ist, kann er in unsicheren Situationen vorsichtiger agieren.
Effizienz: Er lernt schneller und braucht weniger Rechenleistung. Das bedeutet, man kann solche Roboter auch auf normaler Hardware laufen lassen, nicht nur auf riesigen Supercomputern.

Fazit

Die Forscher haben gezeigt, dass man Roboter nicht zwingend mit den komplizierten, langsamen "Diffusions-Methoden" trainieren muss. Die neue "Normalizing Flow"-Methode ist wie ein schneller, sicherer und selbstbewusster Assistent. Sie macht Roboter schneller, zuverlässiger und besser darin, komplexe Aufgaben mit zwei Armen zu erledigen – genau das, was wir für die Roboter von morgen brauchen.

1. Problemstellung

Das Feld der allgemeinen Robotik setzt zunehmend auf probabilistische Modelle, insbesondere Diffusionsmodelle, um komplexe Verhaltensweisen für Roboter zu erlernen. Diese Modelle haben jedoch signifikante Nachteile:

Hohe Rechenkosten: Die Inferenz erfordert teure, mehrstufige Denoising-Prozesse, was die Echtzeitfähigkeit auf ressourcenbeschränkter Hardware einschränkt.
Fehlende Unsicherheitsquantifizierung: Diffusionsmodelle liefern keine exakten Likelihood-Schätzungen (Wahrscheinlichkeitsdichten) für die generierten Aktionen. Dies verhindert eine prinzipielle Messung des Vertrauens in die Ausgabe und erschwert die Optimierung von Trajektorien basierend auf Wahrscheinlichkeiten.
Multi-Modalität: Herkömmliche Regressionsmodelle (z. B. Transformer) neigen dazu, bei multi-modalen Datenverteilungen in den Mittelwert zu kollabieren, anstatt verschiedene gültige Verhaltensweisen zu erfassen.

Ziel des Papers ist es, eine effiziente Alternative zu Diffusionsmodellen zu finden, die sowohl die Komplexität bi-manueller Manipulationsaufgaben bewältigt als auch Echtzeit-Anforderungen und Unsicherheitsmanagement erfüllt.

2. Methodik: Normalizing Flow Policy (NF-P)

Die Autoren stellen NF-P vor, eine visuo-motorische Policy, die auf bedingten Normalizing Flows (NFs) basiert.

Grundprinzip: NFs lernen eine bijektive (umkehrbare) und differenzierbare Transformation $T$ $T$ , die eine komplexe Verteilung von Roboteraktionen auf eine einfache latente Prior-Verteilung (meist eine Gauß-Verteilung) abbildet und umgekehrt.
- Sampling: Aktionen werden durch einen einzigen Vorwärtsdurchlauf generiert ( $x = T^{-1}(z|o)$ ), was extrem schnell ist.
- Likelihood: Aufgrund der Bijektivität kann die exakte Wahrscheinlichkeitsdichte $p(x|o)$ mittels der Variablentransformationsformel berechnet werden.
Architektur-Design:
- Observation Encoding: Ein vortrainiertes ResNet18 extrahiert Embeddings aus RGB-Bildern, die mit der letzten Aktion kombiniert werden, um die Bedingung $o$ zu bilden.
- Strided Sampling (Schrittweise Abtastung): Um hochfrequentes Rauschen (z. B. Zittern bei Fernsteuerung) aus menschlichen Demonstrationen zu filtern, wird während des Trainings ein zeitlicher Stride $s$ angewendet. Das Modell lernt somit Übergänge zwischen Zuständen mit größerer Zeitspanne, behält aber eine dichte Datendeckung bei.
- Neural Spline Flows: Anstelle einfacher linearer Transformationen werden rationale quadratische Splines verwendet, um komplexe Verteilungen besser zu modellieren.
Inferenz-Optimierungsstrategien:
Da die exakte Likelihood berechnet werden kann, werden zwei Strategien zur Verbesserung der Aktionsqualität vorgeschlagen:
1. Stochastic Batch Selection (SBS): Es wird ein Batch von $N$ Kandidaten-Trajektorien generiert. Diejenige mit der höchsten Log-Likelihood wird ausgewählt ("Best-of-N").
2. Gradient Refinement (GR): Eine initiale Stichprobe wird durch wenige Schritte des Gradientenanstiegs auf der Log-Likelihood-Funktion ( $\nabla_x \log p(x|o)$ ) verfeinert, um lokale Maxima zu erreichen.

3. Hauptbeiträge

NF-P Architektur: Einführung einer bedingten Normalizing-Flow-Architektur für RGB-basierte visuo-motorische Policies, speziell angepasst für bi-manuelle Aufgaben, inklusive Strided Sampling und Likelihood-Optimierung.
Umfassende Evaluation: Demonstration, dass NF-P in simulierten Umgebungen (RoboTwin 2.0 Framework, 50 Aufgaben) und auf realen Robotern (Kuka iiwa 7) konkurrenzfähige oder überlegene Erfolgsraten im Vergleich zu Diffusion Policies (DP) erzielt.
Skalierbarkeit: Nachweis, dass NF-P mit zunehmender Datensatzgröße skaliert und ähnliche Skalierungseigenschaften wie Diffusionsmodelle aufweist.
Effizienz und Unsicherheit: Bereitstellung einer Policy, die nicht nur schneller trainiert und inferiert, sondern auch explizite Unsicherheitsschätzungen ermöglicht.

4. Ergebnisse

Simulation (RoboTwin 2.0):
- NF-P mit Gradient Refinement (NF-PGR) erreichte eine durchschnittliche Erfolgsrate von 38,06 %, im Vergleich zu 28,04 % bei der Diffusion-Baseline (DP).
- Besonders deutliche Verbesserungen zeigten sich bei präzisionskritischen Aufgaben (z. B. "Open Microwave": 77 % vs. 5 %).
- Die Gradient Refinement-Strategie war besonders effektiv, um suboptimale Trajektorien zu unterdrücken.
Real-Robot-Experimente:
- Auf einem dual-armigen Kuka-Setup (Tasks: "Stack Block Two" und "Towel Folding") zeigte NF-P eine deutlich höhere Robustheit.
- Die Diffusion-Baseline scheiterte häufig zu Beginn oder blieb zwischen Teilzielen stecken (z. B. 35 % initiale Fehlerquote beim Stapeln). NF-P hatte eine 0 % initiale Fehlerquote und erreichte Erfolgsraten von 60 % (Stapeln) und 75 % (Handtuch falten).
- NF-P bewältigte Übergänge zwischen Teilzielen schneller und zuverlässiger.
Effizienz:
- Training: Konvergenz in ca. 300 Epochen (~50 Minuten auf einer RTX 4090).
- Inferenz: Latenz unter 20 ms für SBS-Variante (Single-Pass). Selbst die GR-Variante (mit Gradienten-Schritten) bleibt mit ~455 ms schneller als der Standard-DP-Baseline.
Ablationsstudie:
- Ein Stride von $s=4$ erwies sich als optimal zum Filtern von Rauschen.
- Eine moderate Sampling-Varianz ( $\sigma=0.5$ ) war besser als Standard-Sampling ( $\sigma=1$ ).
- Die Optimierung durch Likelihood-Gradienten (GR) oder Batch-Selektion (SBS) führte zu signifikanten Leistungssteigerungen gegenüber direktem Sampling.

5. Bedeutung und Fazit

Das Paper etabliert Normalizing Flows als eine hochleistungsfähige, rechnerisch effiziente Alternative zu Diffusionsmodellen für die Robotik.

Echtzeitfähigkeit: Der Single-Pass-Mechanismus ermöglicht hochfrequente Regelkreise, die für reaktive Manipulation essenziell sind.
Vertrauenswürdige KI: Die Fähigkeit, exakte Likelihoods zu berechnen, erlaubt eine prinzipielle Unsicherheitsquantifizierung und gezielte Trajektorienoptimierung, was Diffusionsmodelle nicht leisten können.
Praktische Relevanz: Die Ergebnisse zeigen, dass NF-P nicht nur theoretisch interessant, sondern in realen, komplexen bi-manuellen Szenarien überlegen ist, insbesondere bei der Vermeidung von "Stalling" (Steckenbleiben) und der Bewältigung von Rauschen in Demonstrationen.

Zusammenfassend bietet NF-P einen mathematisch fundierten Ansatz, der die Lücke zwischen hoher Ausdruckskraft (Multi-Modalität) und rechnerischer Effizienz schließt, was ihn ideal für skalierbares, unsicherheitsbewusstes Robotik-Lernen macht.