Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

Die Arbeit stellt General Policy Composition (GPC) vor, eine trainingsfreie Methode, die durch die testzeitliche konvexe Kombination von Verteilungsscores mehrerer vortrainierter Diffusions- oder Flow-basierter Roboterpolicies deren Leistung über das Niveau der einzelnen Elternmodelle hinaus steigert.

Das Wesentliche

🤖 Roboter-Experten im Team: Wie man KI-Strategien mischt, ohne neu zu lernen

Stell dir vor, du hast einen Roboterarm, der lernen soll, Aufgaben zu erledigen – wie einen Becher aufzuhängen oder ein Burger-Pommes-Set auf einen Teller zu legen. In der Welt der Robotik gibt es dafür spezielle „Gehirne" (Modelle), die oft auf Diffusions-Modellen basieren. Das sind KI-Systeme, die lernen, indem sie von chaotischem Rauschen zu klaren, perfekten Bewegungen „entstören" (ähnlich wie ein Bild, das langsam aus dem Nebel auftaucht).

Das Problem bisher: Diese KI-Modelle brauchen riesige Mengen an Trainingsdaten, um gut zu werden. Daten zu sammeln ist teuer und zeitaufwendig.

Die neue Idee dieses Papers: Warum einen neuen Roboter von Grund auf trainieren, wenn man einfach die besten Köpfe aus dem Team zusammenbringen kann? Die Autoren nennen ihre Methode GPC (General Policy Composition).

🎨 Die Metapher: Der Koch und die Zutaten

Stell dir vor, du hast zwei berühmte Köche:

1. Koch A ist ein Meister darin, den perfekten Burger zu braten, aber er ist etwas ungeschickt beim Schneiden von Gemüse.
2. Koch B ist ein Genie beim Gemüseschneiden, kann aber den Burger nicht perfekt braten.

Normalerweise würdest du einen neuen Koch einstellen und jahrelang trainieren, um jemanden zu bekommen, der beides kann.
GPC macht etwas ganz anderes: Es lässt die beiden Köche gleichzeitig kochen.

• Sie stehen beide vor dem Herd.
• Koch A sagt: „Ich würde den Burger so drehen."
• Koch B sagt: „Ich würde ihn etwas anders drehen."
• GPC ist der Supervisor, der ihre Meinungen hört, abwägt und eine neue, perfekte Bewegung daraus macht, die besser ist als das, was jeder einzelne Koch allein tun könnte.

Das Tolle daran: Man muss die Köche nicht neu ausbilden. Man nutzt einfach ihre bestehenden Fähigkeiten und mischt sie zur richtigen Zeit.

🔍 Wie funktioniert das genau? (Die „Schwarmintelligenz")

Im Hintergrund passiert Folgendes:
Jeder Roboter-Koch hat eine „Meinung" darüber, wie die nächste Bewegung aussehen sollte. Diese Meinung ist mathematisch gesehen eine Wahrscheinlichkeitsverteilung (eine Art Karte, die zeigt, wo die gute Aktion liegt und wo die schlechte).

1. Die Karten überlagern: GPC nimmt die Karten von Koch A und Koch B und legt sie übereinander.
2. Der Konsens: Wo sich beide Karten überlappen (also wo beide sagen: „Hier ist es sicher gut"), wird die Wahrscheinlichkeit für eine gute Aktion extrem hoch. Wo einer von beiden unsicher ist, wird dieser Bereich geglättet.
3. Die Gewichtung: Manchmal ist Koch A bei einem bestimmten Burger besser. Dann gibt GPC ihm mehr „Stimme" (Gewicht). Bei einem anderen Task ist Koch B besser. Dann bekommt er mehr Gewicht.

Die Forscher haben mathematisch bewiesen, dass diese Mischung fast immer zu einem besseren Ergebnis führt als jeder einzelne Koch allein. Es ist wie bei einer Jury: Wenn drei Experten unterschiedliche, aber korrekte Teile des Puzzles sehen, ist das Gesamtbild der Jury besser als das Bild eines einzelnen Mitglieds.

🚀 Was haben die Forscher herausgefunden?

Sie haben diese Methode an vielen verschiedenen Roboteraufgaben getestet, sowohl im Computer (Simulation) als auch in der echten Welt:

• Bessere Ergebnisse: Der gemischte Roboter hat Aufgaben häufiger erfolgreich abgeschlossen als die einzelnen Modelle. In manchen Fällen stieg der Erfolg um bis zu 15–25 %.
• Alles passt zusammen: Es spielt keine Rolle, ob die Modelle unterschiedliche „Augen" haben (z. B. einer sieht nur Bilder, der andere 3D-Punktwolken) oder unterschiedliche Architekturen nutzen. GPC kann sie alle mischen.
• Kein Training nötig: Das ist der größte Vorteil. Man muss keine neuen Daten sammeln und keine Wochen warten, bis das Modell lernt. Man nimmt einfach zwei fertige Modelle, mischt sie und los geht's.

💡 Ein einfaches Beispiel aus dem Papier

Stell dir vor, ein Roboter soll einen Becher an die Wand hängen.

• Ein Modell (basierend auf Bildern) sieht den Becher gut, aber verwechselt manchmal die Wandfarbe.
• Ein anderes Modell (basierend auf 3D-Daten) sieht die Wand perfekt, aber den Becher etwas unscharf.
• GPC kombiniert die klaren 3D-Daten der Wand mit der klaren Bilderkennung des Bechers. Das Ergebnis? Der Roboter hängt den Becher präzise an die richtige Stelle, ohne zu stolpern.

🌟 Fazit

Dieses Paper zeigt uns einen neuen Weg für die Robotik: Statt immer größere und teurere Modelle zu bauen, sollten wir klüger mit dem umgehen, was wir schon haben.

Es ist wie beim Musizieren: Du brauchst nicht unbedingt ein neues Orchester, wenn du zwei gute Bands hast. Wenn du ihre besten Stücke clever mischst, entsteht eine Symphonie, die jeder einzelne Teil für sich nicht spielen könnte. GPC ist dieser Dirigent, der die KI-Politiken (Strategien) zur perfekten Harmonie führt – ganz ohne neues Training.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „COMPOSE YOUR POLICIES! IMPROVING DIFFUSION-BASED OR FLOW-BASED ROBOT POLICIES VIA TEST-TIME DISTRIBUTION-LEVEL COMPOSITION" auf Deutsch.

1. Problemstellung

Diffusionsbasierte Modelle (Diffusion Policies, DPs) und Flow-Matching-Modelle haben sich als leistungsstarke Ansätze für die robotische Steuerung etabliert, insbesondere für Vision-Language-Action (VLA) und Vision-Action (VA) Strategien. Sie ermöglichen die Darstellung komplexer, multimodaler Aktionsverteilungen.

Trotz dieses Erfolgs ist der Fortschritt dieser Modelle durch zwei Hauptfaktoren eingeschränkt:

1. Hohe Datenkosten: Das Sammeln großer Mengen an Interaktionsdaten für das Training neuer oder skalierter Modelle ist extrem teuer und zeitaufwendig.
2. Architekturelle Grenzen: Die Leistung einzelner Modelle stößt oft an intrinsische Repräsentationsgrenzen. Herkömmliche Nachtrainingsstrategien wie Supervised Fine-Tuning (SFT) erfordern erneut teure Datensammlung, und Reinforcement Learning (RL) bringt die Komplexität von Reward-Engineering und umfangreichen Online-Interaktionen mit sich.

Es besteht ein Bedarf an einer Methode, die die Leistung bestehender, vortrainierter Policies verbessert, ohne dass ein erneutes Training der Modelle erforderlich ist.

2. Methodik: General Policy Composition (GPC)

Die Autoren stellen General Policy Composition (GPC) vor, ein training-freies Framework, das die Leistung robotischer Policies durch die Kombination der Verteilungs-Scores (Distributional Scores) mehrerer vortrainierter Modelle zur Laufzeit (Test-Time) steigert.

Theoretische Grundlage

Die Methode basiert auf der mathematischen Annahme, dass die konvexe Kombination von Scores (Gradienten der Log-Likelihood) aus mehreren Modellen zu einer überlegenen Schätzung der wahren Score-Funktion führt.

• Ein-Schritt-Verbesserung (Functional-Level): Es wird gezeigt, dass für zwei Score-Schätzer $\epsilon_1$ und $\epsilon_2$ eine konvexe Kombination $\epsilon(w) = w\epsilon_1 + (1-w)\epsilon_2$ existiert, deren mittlerer quadratischer Fehler (MSE) strikt kleiner ist als der Fehler des besseren einzelnen Schätzers (sofern die Fehler nicht perfekt korreliert sind).
• System-Stabilität (System-Level): Mithilfe einer Grönwall-artigen Abschätzung wird bewiesen, dass sich diese Verbesserung der Score-Schätzung über die gesamte Generierungs-Trajektorie fortpflanzt. Eine Reduktion des Score-Fehlers führt direkt zu einer Verringerung des Trajektorien-Fehlers am Ende der Generierung.

Algorithmus

Der GPC-Prozess (Algorithmus 1) läuft wie folgt ab:

1. Input: Mehrere vortrainierte Policies (z. B. ein Diffusion-Policy und ein Flow-Policy, oder Modelle mit unterschiedlichen Eingabemodalitäten wie RGB vs. Punktwolken).
2. Score-Kombination: Anstatt die Aktionsverteilungen direkt zu mischen, werden die Scores (oder Noise-Estimates $\epsilon$) der Modelle zur Laufzeit kombiniert:
   $$\hat{s}_{comp} = \sum_{i} w_i s_{\theta}(\tau_t, t, c_i)$$
   wobei $w_i$ Gewichte sind, die sich zu 1 summieren ($\sum w_i = 1$).
3. Test-Time Search: Da die optimalen Gewichte $w^*$ task-spezifisch sind, führt GPC eine Suche über die Gewichte zur Laufzeit durch (z. B. $w \in \{0.1, \dots, 0.9\}$). Die Gewichtung wird basierend auf der Erfolgswahrscheinlichkeit (Success Rate) in einer kleinen Anzahl von Rollouts optimiert.
4. Denoising: Die kombinierte Score-Funktion wird verwendet, um den nächsten Schritt im Denoising-Prozess (bzw. im Flow-Matching) zu berechnen.

Flexibilität

GPC ist agnostisch bezüglich:

• Architektur: Kann Diffusion- und Flow-Matching-Modelle kombinieren.
• Modalität: Kann VA (Vision-Action) und VLA (Vision-Language-Action) Modelle sowie Modelle mit unterschiedlichen visuellen Eingaben (z. B. 2D-Bilder vs. 3D-Punktwolken) vereinen.
• Vorhersage-Typ: Funktioniert mit $\epsilon$-Prediction, $x_0$-Prediction oder $v$-Prediction, da diese mathematisch ineinander umwandelbar sind.

3. Wichtige Beiträge

1. Theoretische Fundierung: Der erste Beweis, dass die konvexe Kombination von Verteilungs-Scores zu einem verbesserten funktionalen Ziel führt und dass dieser Vorteil durch die Stabilität der Sampling-Dynamiken auf Systemebene (ganze Trajektorien) übertragen wird.
2. GPC Framework: Entwicklung eines universellen, training-freien Ansatzes, der heterogene Modelle (unterschiedliche Modalitäten, Architekturen) zu einer leistungsfähigeren Policy vereint.
3. Umfassende Validierung: Extensive Experimente in Simulation (Robomimic, PushT, RoboTwin) und in der realen Welt, die konsistente Leistungssteigerungen zeigen. Zudem werden alternative Kompositionsoperatoren (Logisches AND/OR) untersucht.

4. Ergebnisse

Die Experimente belegen, dass GPC die Leistung einzelner Baseline-Policies konsistent übertrifft:

• Simulation (Robomimic & PushT): GPC erzielt durchschnittliche Verbesserungen von +2,22 % bis +7,55 % in der Erfolgswahrscheinlichkeit (Success Rate). Besonders bemerkenswert ist die Kombination von VLA- und VA-Modellen, die zu signifikanten Sprüngen führt.
• RoboTwin (Bimanuelle Manipulation): Bei komplexen Aufgaben wie dem Stapeln von Schüsseln oder dem Öffnen von Laptops wurden Verbesserungen von bis zu +7 % erreicht.
• Reale Welt: In realen Roboteraufgaben (z. B. Flaschen platzieren, Tassen aufhängen) zeigte GPC eine höhere Robustheit und Erfolgsrate als einzelne Policies (z. B. 14/20 Erfolge beim "Clean Table"-Task vs. 12/20 bei der besten Baseline).
• Gewichtsoptimierung: Die Analyse zeigt, dass die Leistung stark von den Gewichten abhängt. Wenn eine Policy deutlich besser ist, sollte sie ein höheres Gewicht erhalten. Dennoch führt die Kombination selbst bei ungleicher Qualität oft zu besseren Ergebnissen als die schwächere Policy allein.
• Effizienz: Der Overhead besteht hauptsächlich in der Suche nach den optimalen Gewichten (ca. 1–2,5 Stunden Suchzeit im Vergleich zu Tagen des Trainings) und einer geringfügig erhöhten Inferenzzeit pro Aktion (ca. 0,04 s mehr pro Chunk), was als akzeptabel eingestuft wird.

5. Bedeutung und Fazit

GPC stellt einen Paradigmenwechsel dar, da es die Notwendigkeit des erneuten Trainings oder der teuren Datensammlung zur Leistungssteigerung umgeht.

• Ressourceneffizienz: Es ermöglicht die Nutzung bestehender, heterogener Modelle als "Plug-and-Play"-Komponenten.
• Robustheit: Durch die Kombination von Modellen mit unterschiedlichen Induktionsbias (z. B. unterschiedliche Architekturen oder Sensoren) werden Fehler einzelner Modelle ausgeglichen, was zu stabileren und generalisierteren Aktionen führt.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für zukünftige Forschung in der "Policy Composition", die über Diffusionsmodelle hinausgehen könnte und eine modulare Integration von Fähigkeiten in komplexen sequenziellen Entscheidungsproblemen ermöglicht.

Zusammenfassend beweist das Paper, dass die intelligente Kombination existierender Policies zur Laufzeit eine einfache, aber äußerst effektive Methode ist, um die Kontrolle von Robotern zu verbessern, ohne zusätzliche Trainingsressourcen zu verbrauchen.