💻 computer science

TapSampling: Inference-Time Sampling with a Task-Progress-Understanding Verifier for Robotic Manipulation

Dieser Beitrag stellt TapSampling vor, ein Plug-and-Play-Framework, das unabhängig von der gewählten Policy ist und die Leistung robotischer Manipulation durch die Nutzung eines Action-VAE zur Generierung vielfältiger Kandidatenaktionen sowie eines Task-Progress-Verifiers zur Auswahl der optimalen Aktion während der Inferenz verbessert, wodurch bestehende Generalist-Policies ohne weitere Feinabstimmung optimiert werden.

Ursprüngliche Autoren: Sizhe Zhao, Shengping Zhang, Shuo Yang, Weiyu Zhao, Shuigen Wang, Xiangyang Ji

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sizhe Zhao, Shengping Zhang, Shuo Yang, Weiyu Zhao, Shuigen Wang, Xiangyang Ji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, eine komplexe Aufgabe auszuführen, wie etwa das Stapeln von Blöcken oder das Legen eines Spielzeugs in eine Schachtel. Derzeit arbeiten die meisten Roboter wie ein nervöser Schüler bei einer Prüfung: Sie lesen die Anweisungen, denken einen Moment nach und schreiben sofort eine Antwort auf. Wenn diese erste Vermutung auch nur geringfügig falsch ist, scheitert der Roboter, und die Prüfung ist beendet. Dies wird als „Single-Shot-Inferenz" bezeichnet, und die Arbeit argumentiert, dass dies der Hauptgrund dafür ist, dass Roboter manchmal ungeschickt oder instabil sind.

Die Autoren dieser Arbeit, TapSampling, schlagen einen anderen Ansatz vor. Anstatt den Roboter zu zwingen, eine schnelle Vermutung abzugeben, geben sie ihm einen Moment, um laut nachzudenken, indem sie viele mögliche Bewegungen generieren und dann die beste auswählen.

So funktioniert ihr System, aufgeteilt in drei einfache Teile:

1. Der „Ideen-Generator" (Action-VAE)

Normalerweise muss man, um einen Roboter dazu zu bringen, verschiedene Bewegungen zu versuchen, das Haupt-Roboterhirn bitten, die Simulation immer wieder neu durchzuführen. Das ist langsam, wie wenn man einen Koch bitten würde, dasselbe Gericht 10 Mal zuzubereiten, nur um zu sehen, welches am besten schmeckt.

Die Autoren haben ein spezielles Werkzeug namens Action-VAE entwickelt. Stellen Sie sich dies als einen „kreativen Assistenten" vor.

Zuerst schlägt das Haupt-Roboterhirn einige Startbewegungen vor (wie ein Koch, der drei grobe Ideen für eine Mahlzeit vorschlägt).
Der Action-VAE nimmt diese wenigen Ideen und komprimiert sie zu einem „Bauplan" dafür, wie eine gute Bewegung aussieht.
Aus diesem Bauplan kann er sofort Dutzende neuer, hochwertiger Variationen generieren, ohne dass das Haupt-Roboterhirn erneut die schwere Arbeit leisten muss.
Die Analogie: Es ist wie ein Jazzmusiker. Das Haupt-Roboterhirn spielt ein paar Noten, und der Action-VAE improvisiert sofort ein ganz neues Solo auf Basis dieses Stils und bietet Ihnen sehr schnell viele Optionen zur Auswahl.

2. Der „Fortschritts-Trainer" (Task-Progress Verifier)

Nun hat der Roboter einen Haufen von 20 oder 30 möglichen Bewegungen. Wie weiß er, welche er auswählen soll? In der Vergangenheit hatten Roboter keine Möglichkeit zu „verstehen", ob eine Bewegung der Aufgabe tatsächlich half.

Die Autoren haben einen Verifier trainiert, der wie ein Fortschritts-Trainer fungiert.

Dieser Trainer betrachtet nicht nur die aktuelle Position des Roboters; er betrachtet die Bewegung, die der Roboter gerade vorhat, und fragt: „Wenn Sie das tun, werden Sie der Fertigstellung der Aufgabe näher sein?"
Der Trainer wird durch das Beobachten von Experten trainiert, die Aufgaben ausführen. Er lernt, dass das Bewegen eines Blocks in Richtung des Ziels „gut" ist (positiver Fortschritt), während das Wegstoßen davon „schlecht" ist (negativer Fortschritt).
Die Analogie: Stellen Sie sich vor, Sie montieren Möbel. Der Verifier ist die Person, die neben Ihnen steht und sagt: „Wenn Sie diese Schraube jetzt eindrehen, wird das Regal stabil. Aber wenn Sie versuchen, dieses Teil hier zu erzwingen, wird das ganze Ding wackeln." Er vergibt für jede Bewegung eine Punktzahl basierend darauf, wie sehr sie zur Fertigstellung der Aufgabe beiträgt.

3. Die endgültige Entscheidung

Mit dem „Ideen-Generator", der viele Optionen erstellt, und dem „Fortschritts-Trainer", der diese bewertet, wählt der Roboter einfach die Bewegung mit der höchsten Punktzahl aus.

Erhält eine Bewegung eine negative Punktzahl (der Trainer sagt: „Nein, das wird es zerstören"), ignoriert der Roboter sie.
Erhält eine Bewegung eine hohe positive Punktzahl (der Trainer sagt: „Ja, das bringt uns voran"), führt der Roboter sie aus.

Warum dies wichtig ist

Die Arbeit testete dies sowohl in Computersimulationen als auch an echten Robotern im Labor. Sie stellten fest, dass durch die Verwendung dieser Strategie „viele generieren, das Beste auswählen":

Roboter wurden zuverlässiger: Sie scheiterten seltener, selbst bei denselben Trainingsdaten.
Es war schnell: Da der „Ideen-Generator" so effizient ist, musste der Roboter nicht lange warten, um sich Optionen auszudenken.
Es funktioniert bei jedem Roboter: Sie mussten die Haupt-Roboterhirne nicht neu trainieren; sie steckten dieses neue System einfach wie ein Zubehörteil ein.

Kurz gesagt: TapSampling verhindert, dass Roboter in eine einzelne, potenziell schlechte Entscheidung hetzen. Stattdessen lässt es sie ein paar Optionen brainstormen, einen Trainer konsultieren, der das Ziel versteht, und dann selbstbewusst die Bewegung wählen, die die Aufgabe tatsächlich erledigt.

Technische Zusammenfassung: TapSampling

Problemstellung

Die bestehende Forschung im Bereich der embodied control hat sich weitgehend auf die Skalierung von Trainingsdaten und Modellgröße konzentriert, um Roboter-Manipulationsrichtlinien zu verbessern. Obwohl nicht-deterministische generative Modelle (z. B. Diffusionsmodelle und autoregressive Large Language Models) bemerkenswerte Fähigkeiten unter Beweis gestellt haben, ist ihre Leistungsfähigkeit grundlegend durch das Single-Shot-Inferenz-Paradigma eingeschränkt. Aufgrund der stochastischen Natur dieser Modelle können identische Umgebungsbedingungen in einigen Fällen zu erfolgreichen Ergebnissen und in anderen zu Fehlern führen. Aktuelle Inferenzzeit-Strategien für die Robotik leiden häufig unter zwei Hauptbeschränkungen:

Sampling-Ineffizienz oder -Fidelity: Das wiederholte direkte Sampling aus Richtlinienmodellen erhöht die Inferenz-Latenz erheblich (um eine Größenordnung), während das Sampling aus einfachen Gauß-Verteilungen interdimensionale Korrelationen in Aktionsblöcken ignoriert und zu Kandidaten führt, die von der wahren Aktionsverteilung abweichen.
Verifikationsherausforderungen: Es fehlen fertige Modelle, die in der Lage sind, niedrigstufige Roboteraktionen zu verstehen und zu interpretieren. Bestehende Verifikationsmethoden verlassen sich oft auf handgefertigte Funktionen, Offline-Reinforcement-Learning oder Preference-Learning, denen möglicherweise die Interpretierbarkeit fehlt oder die eng an spezifische Richtlinienarchitekturen gekoppelt sind, was ihre Plug-and-Play-Anwendbarkeit einschränkt.

Methodik

Die Autoren schlagen TapSampling vor, ein Plug-and-Play-, richtlinienagnostisches Inferenzzeit-Sampling-Framework, das entwickelt wurde, um generalistische Roboter-Richtlinien ohne weiteres Fine-Tuning zu verbessern. Das Framework arbeitet durch zwei Hauptkomponenten:

1. Effizientes Aktions-Sampling mit gelernter Posterior-Verteilung

Um den Kompromiss zwischen Sampling-Effizienz und Aktionsqualität zu adressieren, führt TapSampling ein Action-VAE (Variational Autoencoder) ein.

Architektur: Das Action-VAE nutzt einen transformer-basierten Encoder und Decoder.
Prozess:
- Eine kleine Menge initialer Aktionen ( $N$ ) wird aus der Basisrichtlinie $\pi$ gesampelt.
- Der Encoder komprimiert diese Aktionen in eine latente Gauß-Verteilung (Mittelwert $\mu$ und diagonale Kovarianz $\sigma^2$ ).
- Eine gemischte Posterior-Verteilung wird durch Mittelwertbildung der latenten Verteilungen der initialen Samples konstruiert.
- Eine beliebige Anzahl neuer latenter Samples wird aus dieser komprimierten Posterior-Verteilung gezogen und in Kandidatenaktionen decodiert.
Vorteil: Dieser Ansatz erfasst intra-block Korrelationen zwischen Aktionsdimensionen, stellt sicher, dass generierte Kandidaten nahe an der wahren Richtlinienverteilung bleiben, und ist gleichzeitig erheblich schneller als wiederholtes Richtlinien-Sampling (ca. 5 $\times$ schneller).

2. Interpretierbare Aktionsauswahl via Aufgabenfortschritts-Verifikation

Um die optimale Aktion unter den Kandidaten auszuwählen, setzt TapSampling einen Task-Progress-Understanding Verifier ein.

Aufbau der Trainingsdaten: Der Verifier wird unter Verwendung der intrinsischen sequenziellen Struktur von Expert-Roboter-Trajektorien trainiert. Unter der Annahme, dass der Aufgabenfortschritt über die Zeit linear wächst, konstruieren die Autoren positive Samples (vorwärtsgerichtete Aktionssequenzen, die zu Fortschritt führen) und negative Samples (rückwärtsgerichtete Aktionssequenzen, die zu Regression führen) direkt aus bestehenden Datensätzen, was keine zusätzliche manuelle Annotation erfordert.
Architektur: Der Verifier basiert auf einem Vision-Language-Action (VLA)-Backbone (speziell Qwen2.5-0.5B). Er nimmt den aktuellen Zustand, die Aufgabenanweisung und eine Abfrage-Aktion als Eingabe, um die erwartete Änderung des Aufgabenfortschritts ( $\Delta p$ ) vorherzusagen.
Auswahlmechanismus: Der vorhergesagte Score trägt eine explizite semantische Bedeutung (z. B. zeigt ein negativer Score eine Behinderung an, ein großer positiver Score schnellen Fortschritt). Während der Inferenz werden Kandidaten mit Scores unter einem Schwellenwert verworfen, und ein score-gewichteter Durchschnitt der verbleibenden Kandidaten wird berechnet, um die finale Aktion zu erzeugen.
Effizienz: Das VLM-Backbone wird nur einmal pro Beobachtungs-Anweisungs-Paar ausgeführt. Versteckte Zustände werden über alle Kandidaten hinweg geteilt, die dann parallel durch einen leichten Aktionskopf evaluiert werden, was eine hochdurchsatzfähige Verifikation ermöglicht.

Hauptbeiträge

Richtlinienagnostisches Framework: Ein Plug-and-Play-System, das vortrainierte generalistische Richtlinien verbessert, ohne dass zusätzliches Fine-Tuning erforderlich ist.
Learned Posterior Sampling: Eine auf Action-VAE basierende Strategie, die Aktionen in eine komprimierte Verteilung codiert und so die effiziente Generierung vielfältiger, hochwertiger Aktionskandidaten ermöglicht, die der Verteilung der Richtlinie entsprechen.
Aufgabenfortschritts-Verifikation: Ein Verifier, der trainiert wurde, um die Auswirkungen niedrigstufiger Aktionen auf den Aufgabenfortschritt vorherzusagen, und der eine interpretierbare Aktionsauswahl auf Basis expliziter semantischer Scores statt undurchsichtiger Belohnungssignale ermöglicht.
Empirische Validierung: Nachweis erheblicher Leistungsverbesserungen über diverse simulierte und reale Umgebungen hinweg.

Experimentelle Ergebnisse

Die Autoren bewerteten TapSampling sowohl an simulierten Benchmarks (CALVIN, LIBERO) als auch an realen Roboter-Setups.

CALVIN Benchmark (Simuliert): TapSampling verbesserte die durchschnittliche Erfolgslänge für mehrere nicht-deterministische Richtlinien:
- Diffusion Policy: Erhöhung von 2,41 auf 2,58.
- OpenVLA: Erhöhung von 3,30 auf 3,51.
- VPP: Erhöhung von 4,39 auf 4,46.
- Die Verbesserungen waren über verschiedene Aufgaben-Schritte (1–5) hinweg konsistent, was auf eine bessere Langzeitstabilität hindeutet.
LIBERO-Long Benchmark (Simuliert): Angewendet auf die $\pi0.5$ -Richtlinie, verbesserte die Methode die Erfolgsrate von 96,8 % auf 98,0 %.
Experimente in der realen Welt: Unter Verwendung eines Franka Research 3-Arms verbesserte TapSampling die durchschnittliche Erfolgsrate der $\pi0$ -Richtlinie von 78,3 % auf 83,3 %. Bemerkenswert ist die verbesserte Präzision bei Aufgaben, die eine räumliche Ausrichtung und eine kontaktbewusste Platzierung erfordern (z. B. Stapeln und Platzieren von Objekten).
Effizienzanalyse:
- Sampling: Learned Posterior Sampling verursachte im Vergleich zum Gauß-Sampling eine vernachlässigbare zusätzliche Latenz (<0,01 s), war jedoch erheblich schneller als wiederholtes Richtlinien-Sampling.
- Verifikation: TapSampling erzielte bei der Bewertung von 16 Kandidaten eine etwa 12 $\times$ schnellere Verifikations-Latenz im Vergleich zu RoboMonkey (das LLaVA-7B verwendet), bedingt durch seine gebündelte Evaluierungsarchitektur.
- Fidelity: Eine Maximum Mean Discrepancy (MMD)-Analyse bestätigte, dass Aktionen, die über Learned Posterior Sampling generiert wurden, enger mit der wahren Richtlinienverteilung übereinstimmen als solche aus Gauß-Sampling.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass die Zuweisung von Rechenleistung zur Inferenzzeit einen effektiven, modellagnostischen Weg bietet, um die Zuverlässigkeit und Leistung generalistischer Roboter-Richtlinien zu verbessern, und dient als komplementäre Achse zur Skalierung von Trainingsdaten.

Die Autoren behaupten, dass TapSampling die Instabilität, die dem Single-Shot-Inferenzverfahren inhärent ist, durch folgende Maßnahmen adressiert:

Bereitstellung eines Mechanismus zur Korrektur von Fehlern, die durch stochastische Varianz verursacht werden, ohne die Richtlinie neu zu trainieren.
Ermöglichung einer interpretierbaren Aktionsauswahl durch einen Verifier, der den Aufgabenfortschritt versteht, anstatt sich auf Black-Box-Scoring zu verlassen.
Ausgleich von Effizienz und Wirksamkeit durch die Learned Posterior Sampling-Strategie, die die hohe Latenz wiederholter Richtlinienabfragen vermeidet und gleichzeitig eine hohe Aktions-Fidelity beibehält.

Die Arbeit legt nahe, dass Inferenzzeit-Strategien, insbesondere solche, die auf dem Verständnis des Aufgabenfortschritts basieren, eine gangbare und notwendige Richtung für den Einsatz robuster Roboter-Manipulationssysteme in komplexen, realen Szenarien darstellen.