💻 computer science

BayesFP: Posterior Estimation for Flow-Based Policies via Feynman-Kac Sampling

BayesFP präsentiert ein vereinheitlichtes, retraining-freies Inferenz-Framework, das den Feynman-Kac-Korrektor nutzt, um die Posterior-Sampling-Verfahren sowohl für Diffusions- als auch für Flow-Matching-Policies zu ermöglichen, wodurch Roboter Trajektorien generieren können, die Sicherheitsbeschränkungen und Aufgabenobjektiven entsprechen und gleichzeitig der gelernten Experten-Verhaltensweise treu bleiben.

Ursprüngliche Autoren: Sreevardhan Sirigiri, Weiming Zhi, Fabio Ramos

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sreevardhan Sirigiri, Weiming Zhi, Fabio Ramos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Roboter, der nicht „Nein“ zu Gefahr sagen kann

Stellen Sie sich vor, Sie stellen einen hochqualifizierten Roboter-Koch ein. Sie haben ihn monatelang trainiert, indem Sie ihm tausende Videos von Experten gezeigt haben, die Gemüse schneiden, Pfannkuchen wenden und Speisen anrichten. Der Roboter hat gelernt, diese Bewegungen perfekt nachzuahmen. Er weiß, wie man kocht.

Es gibt jedoch einen Haken: Sie sagen dem Roboter erst am Tag der eigentlichen Nutzung, was die Sicherheitsregeln sind.

Szenario A: Sie sagen ihm: „Bereite das Steak zu, aber lass das Messer den Glastisch nicht berühren.“
Szenario B: Sie sagen ihm: „Bereite das Steak zu, aber da läuft eine Katze über die Arbeitsplatte; berühre die Katze nicht.“

Die Trainingsdaten des Roboters haben weder einen Glastisch noch eine Katze gesehen. Wenn Sie den Roboter einfach nur bitten, „sicher zu sein“, könnte er verwirrt werden. Er könnte versuchen, das Messer durch den Tisch zu drücken (was ihn zerbrechen würde) oder die Katze ignorieren, weil sein Training besagte, dass er „schnell bewegen“ soll.

Bestehende Methoden versuchen dies zu beheben, entweder durch:

Post-hoc-Filterung: Man lässt den Roboter eine Bewegung machen, sieht, wie er den Tisch trifft, und „verbiegt“ den Arm dann magisch zurück. Das wirkt oft ruckartig und unnatürlich.
Heuristische Korrektur: Man sagt dem Roboter: „Hey, bewege dich ein Stück weg vom Tisch.“ Das ist so, als würde man vage Anweisungen geben; es führt den Roboter oft in eine Ecke oder in eine lokale Falle, in der er stecken bleibt.

Die Lösung: BayesFP (Der „Was wäre wenn?“-Simulator)

Die Autoren schlagen eine neue Methode namens BayesFP vor. Anstatt den Roboter dazu zu zwingen, seine Meinung im Nachhinein zu ändern, ändern sie, wie der Roboter über die Zukunft nachdenkt, bevor er sich bewegt.

Sie behandeln die Entscheidungsfindung des Roboters wie ein „Was wäre wenn?“-Spiel.

Der Prior (Der Experte): Der Roboter beginnt mit seinem ursprünglichen Training: „So bewegt sich ein Experte beim Kochen.“ Dies ist der „Prior“.
Die Likelihood (Die Kosten): Sie fügen eine neue Regel hinzu: „Aber wenn du den Tisch oder die Katze triffst, gibt es eine riesige Strafe.“ Dies ist die „Likelihood“.
Der Posterior (Die beste Vermutung): Der Roboter wählt nicht einfach nur einen Pfad. Er fragt sich: „Wenn ich mein Expertentraining mit der Regel ‚Berühre die Katze nicht‘ kombiniere, wie sieht dann der bestmögliche Pfad aus?“

Das Ergebnis ist ein neuer Pfad, der immer noch wie ein Experte aussieht (glatt, natürlich), aber der Katze auf natürliche Weise ausweicht.

Das Geheimrezept: Feynman-Kac-Sampling (Der „Paralleluniversum“-Trick)

Wie berechnet der Roboter diesen „bestmöglichen Pfad“, ohne wochenlang neu trainieren zu müssen? Die Arbeit nutzt einen mathematischen Trick namens Feynman-Kac-Sampling.

Stellen Sie sich vor, Sie wollen die beste Route durch eine belebte Stadt finden, wissen aber noch nicht, wo sich die Staus befinden.

Der alte Weg: Sie wählen eine Route, fahren sie, geraten in einen Stau, drehen um und versuchen es erneut. (Langsam und ruckartig).
Der BayesFP-Weg: Sie senden 32 parallele Versionen Ihrer selbst (Partikel) gleichzeitig aus.
- Jede Version probiert eine leicht andere Route aus.
- Während sie fahren, prüfen sie ständig: „Komme ich dem Ziel näher? Stoße ich gegen eine Wand?“
- Wenn eine Version gegen eine Wand stößt, erhält sie eine „schlechte Bewertung“. Findet eine Version einen glatten Pfad, erhält sie eine „gute Bewertung“.
- Das System vervielfältigt dann die guten Versionen und verwirft die schlechten.
- Bis sie das Ziel erreichen, hat sich die überlebende Gruppe natürlich auf die perfekte, sichere Route konzentriert.

Dies geschieht in Bruchteilen einer Sekunde auf einem Computerchip, was es dem Roboter ermöglicht, tausende Möglichkeiten zu „simulieren“ und den Gewinner sofort auszuwählen.

Warum das besonders ist

Es funktioniert bei „deterministischen“ Robotern: Die meisten Roboter, die „Flow Matching“ verwenden (eine Art von KI, die sich in geraden, glatten Linien bewegt), sind schwer zu steuern, da sie keine eingebaute Zufälligkeit besitzen. BayesFP erfindet einen cleveren Weg, genau genug „Zufälligkeit“ hinzuzufügen, um den Roboter Optionen erkunden zu lassen, und entfernt sie am Ende wieder, um sicherzustellen, dass die endgültige Bewegung glatt und präzise ist.
Kein Retraining erforderlich: Sie müssen dem Roboter keine neuen Fähigkeiten beibringen. Sie geben ihm einfach zum Zeitpunkt des Drückens auf „Start“ eine neue „Kostenfunktion“ (eine Regel darüber, was zu vermeiden ist).
Es bewältigt seltsame Formen: Ob das Hindernis ein einfacher Kreis oder eine komplexe, gezackte „V“-Form ist – der Roboter findet einen Weg, darum herumzuwinden, während er weiterhin wie ein Profi wirkt.

Ergebnisse aus der Praxis

Die Autoren testeten dies an echten Robotern und in Simulationen:

Hindernissen ausweichen: Sie platzierten einen Zylinder oder eine „V“-förmige Wand in den Pfad des Roboters, die dieser zuvor noch nie gesehen hatte. Der Robot navigierte erfolgreich um sie herum, ohne zu kollidieren.
Echte Roboter: Sie testeten es an einem echten Roboterarm, der eine Tasse hält. Als sie ein neues Hindernis (einen Becher) in den Pfad stellten, navigierte der Roboter sanft darum herum.
Ändernde Ziele: Sie nutzten es sogar, um dem Roboter zu sagen: „Nimm die Tasse auf, aber nur die auf der rechten Seite“, wodurch die natürliche Tendenz des Roboters unterdrückt wurde, die linke Tasse zu nehmen.

Das Fazentelemnt

BayesFP ist wie eine „Superkraft“ für den Roboter, um sein Expertentraining sofort neu zu bewerten, sobald ein neues Hindernis erscheint. Anstatt zu kollidieren und zu korrigieren, simuliert er tausende „Was wäre wenn?“-Szenarien parallel und findet so sofort den glattesten, sichersten Pfad, der sowohl sein Training als auch die neuen Sicherheitsregeln respektiert. Es verwandelt einen starren, vorprogrammierten Roboter in einen flexiblen, reaktionsfähigen Roboter, ohne dass ein erneutes Training nötig ist.

Technisches Resümee: BayesFP: Posterior-Schätzung für Flow-basierte Policys mittels Feynman-Kac-Sampling

Problemstellung

Roboter, die in realen Umgebungen operieren, müssen Trajektorien generieren, die sowohl expressiv genug sind, um multimodale Expertenverhalten zu erfassen, als auch reaktiv genug, um Sicherheitsbeschränkungen und aufgabenspezifische Ziele zu erfüllen. Eine kritische Herausforderung entsteht, wenn diese Beschränkungen (z. B. Hindernisvermeidung, Gelenklimits, Energiekosten) zum Zeitpunkt des Trainings unbekannt sind oder sich zwischen den Einsätzen ändern.

Bestehende Ansätze zur beschränkten Trajektoriengenerierung fallen im Allgemeinen in zwei Kategorien:

Post-hoc-Filterung/Optimierung: Methoden, die unbeschränkte Rollouts mittels gradientenbasierter Planer oder Sicherheitsfilter korrigieren. Diese entkoppeln Generierung und Korrektur oft, was zu Out-of-Distribution-Trajektorien, lokalen Minima und hohem Rechenaufwand führt.
Generative Führung (Generative Guidance): Methoden, die den Sampling-Prozess direkt modifizieren (z. B. klassengestützte Führung, Projektion, reflektierte Dynamik). Obwohl effektiv, handelt es sich hierbei typischerweise um heuristische Modifikationen der Sampling-Dynamik. Ihnen fehlt eine fundierte Beziehung zu einer wohldefinierten Posterior-Verteilung, die das gelernte Daten-Prior und die Beschränkungen zur Inferenzzeit gemeinsam respektiert.

Die zentrale Frage, die adressiert wird, lautet: Wie können wir gegeben eine vortrainierte Diffusions- oder Flow-Matching-Policy Trajektorien sampeln, die ein nur zur Inferenzzeit spezifiziertes beschränktes Optimierungsproblem respektieren und gleichzeitig der gelernten Demonstrationsverteilung treu bleiben?

Methodik

Die Autoren formulieren die beschränkte Trajektoriengenerierung als Bayesianische Posterior-Sampling. Die gelernte Demonstrationsverteilung $p_{data}(x)$ dient als Prior, und eine Kostenfunktion $J(x)$ , welche die Beschränkungen zur Inferenzzeit kodiert, dient als Likelihood. Das Ziel ist es, aus dem Posterior zu sampeln:
$p(x | O = 1) \propto p_{data}(x) \exp(\beta J(x))$
wobei $O=1$ für Optimalität steht und $\beta < 0$ die Stärke der kosteninduzierten Neigung (Tilt) steuert.

Um aus diesem Posterior zu sampeln, ohne die Basis-Policy neu zu trainieren, nutzt das Paper das Feynman-Kac-Korrektor (FKC)-Framework. Die wesentlichen methodischen Beiträge sind:

1. Feynman-Kac Gewichtete Dynamik

Anstatt heuristisch Kostengradienten zum Score oder zum Geschwindigkeitsfeld der Policy hinzuzufügen, leiten die Autoren eine gewichtete stochastische Differentialgleichung (SDE) ab. Diese SDE regelt die Entwicklung einer Partikelpopulation, wobei jedes Partikel ein Log-Gewicht $w_t$ trägt. Die Dynamik wird aus der Fokker-Planck-PDE der Ziel-Gibbs-getilten Verteilung abgeleitet.

Drift-Korrektur: Der Drift-Term enthält eine kostenbewusste Korrektur proportional zu $\nabla J(x)$ .
Gewichtsentwicklung: Die Gewichte akkumulieren einen Umgewichtungsterm, der aus der Diskrepanz zwischen der simulierten Dynamik und der Entwicklung der Zieldichte abgeleitet ist. Dies stellt sicher, dass die Partikelpopulation ein asymptotisch erwartungstreuer Schätzer des Posteriors ist, selbst wenn die Drift-Korrektur unvollkommen ist.
Resampling: Um die Gewichtsdegeneration über lange Horizonte zu mildern, verwendet die Methode Sequential Monte Carlo (SMC)-Techniken, spezifisch systematisches Resampling über ein aktives Zeitintervall.

2. Erweiterung auf deterministisches Flow-Matching

Das FKC-Framework wurde ursprünglich für stochastische Diffusionsprozesse formuliert. Die Autoren erweitern es auf deterministische Flow-Matching-Policies (welche eine ODE $dx = -v_t(x)dt$ lösen), indem sie den Flow als eine marginalerhaltende SDE rekonsolidieren.

In Anlehnung an Singh und Fischer [16] führen sie einen Hilfs-Diffusions-Term $\tilde{\sigma}(t)$ und eine entsprechende score-basierte Drift-Korrektur ein.
Entscheidend ist, dass für Rectified Flows mit einer Gaußschen Quelle der Score $\nabla \log q_t(x)$ in geschlossener Form aus dem gelernten Geschwindigkeitsfeld $v_t(x)$ impliziert werden kann, was die Notwendigkeit eines separaten Score-Netzwerks eliminiert.
Diese Konstruktion ermöglicht es, das FKC-Framework einheitlich auf sowohl Diffusions- als auch Flow-Matching-Policies anzuwenden.

3. Theoretische Garantien

Das Paper liefert eine theoretische Garantie (Corollary 4.2), dass mit zunehmenden Strafterm-Gewichten und der Magnitude der inversen Temperatur $|\beta|$ der Gibbs-getilte Posterior beliebig eng auf Trajektorien konzentriert, die durchführbar und nahezu optimal sind. Dies impliziert, dass die Methode Beschränkungen erfüllen kann, ohne externe Sicherheitsfilter oder Backup-Planer zu benötigen.

Wesentliche Beiträge

Fundierte Formulierung: Die Arbeit rahmt die beschränkte Trajektoriengenerierung als Bayesianische Inferenz neu, was eine fundierte Alternative zu heuristischer Führung und Post-hoc-Projektion bietet.
Einheitlicher Sampler: Sie instanziiert den Posterior als Feynman-Kac-gewichtete SDE und erweitert das Framework von stochastischen Diffusionsmodellen auf deterministische Flow-Matching-Policies mittels marginalerhaltender SDE-Rekonstruktion.
Theoretische Konvergenz: Es wird bewiesen, dass der resultierende Posterior unter ausreichender Straffestigkeit auf durchführbare, nahezu optimale Lösungen konvergiert.
Empirische Validierung: Der Ansatz wird über verschiedene Simulationen und reale Aufgaben hinweg validiert, indem vortrainierte Modelle (Diffusion Policy, GR00T-N1.6 und $\pi0.5$ ) genutzt werden, was den Erfolg beim Planen um zur Inferenzzeit eingeführte nicht-konvexe Hindernisse demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten BayesFP auf mehreren Benchmarks und verglichen es mit Baselines wie Linear-Combination Guidance, CASF (Constraint-Aware Streaming Flow) und JM2D (Joint Model-based Model-free Diffusion).

Simulationsaufgaben:
- Diffusion Policy: Bei RoboMimic-Aufgaben (Can, Transport) mit hinzugefügten zylindrischen Hindernissen erreichte BayesFP eine Kollisionsrate von 0%, verglichen mit 30% (No Guidance) und 2% (Linear Combination).
- GR00T-N1.6: Bei LIBERO-Object-Aufgaben mit zylindrischen und nicht-konvexen V-förmigen Hindernissen erreichte BayesFP Erfolgsraten von 84% bzw. 75%, womit es die Baselines, die mit nicht-konvexen Geometrien zu kämpfen hatten, deutlich übertraf.
- $\pi0.5$ : Bei Zero-Shot RoboLab-Aufgaben (z. B. FoodPacking, BBQSauce) verbesserte BayesFP die Erfolgsraten (z. B. 36% vs. 28% für HammersInLeftBin) und reduzierte die Kollisionsraten im Vergleich zu Linear-Combination-Baselines.
Reale Experimente:
- Unter Verwendung eines SO101-Arms, der nur mit 20 Demonstrationen feinjustiert wurde, bewältigte BayesFP erfolgreich eine PickAndPlace-Aufgabe mit einem Becher-Hindernis, das zur Inferenzzeit eingeführt wurde (Reduktion der Kollision von 98% auf 6%), sowie eine BimodalMugSelection-Aufgabe, bei der eine Sprachbeschränkung durch eine Kostenbeschränkung verstärkt wurde, um einen unerwünschten Modus zu unterdrücken (Erreichen einer korrekten Becherwahl von 100% gegenüber 72% für die Baseline).
Ablationen:
- Die Erhöhung der Partikelanzahl ( $K$ ) verbesserte die Leistung, stagnierte jedoch bei etwa $K=4$ für einfache Hindernisse.
- Eine Erhöhung der Führungsstärke $|\beta|$ führte zu einem exponentiellen Abfall der Beschränkungsverletzungen, was konsistent mit den theoretischen Vorhersagen ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass BayesFP einen einheitlichen, zur Inferenzzeit verfügbaren und ohne Retraining funktionierenden Sampler für sowohl Diffusions- als auch Flow-Policies bereitstellt. Die primäre Bedeutung liegt in:

Fundierter Führung: Im Gegensatz zu Linear-Combination-Methoden, die aus einer Summe von Verteilungen sampeln, sampelt BayesFP aus dem wahren Produkt (Posterior) aus dem Prior und der Kosten-Likelihood, was eine mathematisch konsistente Behandlung von Beschränkungen gewährleistet.
Umgang mit Nicht-Konvexität: Durch das Sampling ganzer Trajektorien aus dem Posterior anstatt lokaler Gradientenkorrekturen kann die Methode natürlich mit nicht-konvexen Hindernissen und multimodalen Lösungsräumen umgehen.
Generalisierbarkeit: Das Framework ist agnostisch gegenüber der Architektur der Basis-Policy (Diffusion oder Flow) und der Art der Beschränkungen, sofern diese als differenzierbare Kostenfunktion kodiert werden können.

Die Autoren räumen Einschränkungen ein und merken einen Rechenzeitverlust (1,25–2 $\times$ ) aufgrund der sequentiellen Natur der SDF-Konstruktion (Signed Distance Function) und des Overheads der Partikelsimulation an, was jedoch durch parallele GPU-Ausführung gemildert wird. Sie weisen zudem darauf hin, dass die Kostenfunktion differenzierbar sein muss. Zukünftige Arbeiten schlagen vor, das Framework auf Streaming-Flow-Policies für die Latenz-arme Steuerung auszuweiten und reichere Beschränkungsrepräsentationen zu integrieren.