💻 computer science

Action with Visual Primitives

Das Papier stellt AVP (Action with Visual Primitives) vor, eine End-to-End-Architektur, die das Verständnis von Anweisungen und das räumliche Verständnis von der motorischen Steuerung entkoppelt, indem ein Vision-Language-Modell visuelle-Primitiv-Token ausgibt, um einen Flow-Matching-Aktions-Experten zu konditionieren, wodurch die Erfolgsraten, die Dateneffizienz und die Generalisierung bei robotischen Greif- und Platzieraufgaben im Vergleich zu bestehenden Methoden wie pi_0.5 erheblich verbessert werden.

Ursprüngliche Autoren: Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein komplexes Spiel von Chinesischem Schach zu spielen oder Dominosteine perfekt zu stapeln. Sie geben ihm einen Befehl: „Bewege das rote Teil in die Ecke."

In den meisten aktuellen Roboterhirnen (sogenannten VLA-Modellen) versucht der Roboter, alles auf einmal zu tun. Er muss Ihre Worte verstehen, genau herausfinden, wo sich das rote Teil auf dem Brett befindet, und dann die präzisen Muskelbewegungen berechnen, um es zu greifen – alles in einem einzigen, flüchtigen Gedanken. Es ist, als würde man einen Menschen bitten, eine Karte zu lesen, das Auto zu fahren und es zu parken, alles während eines Gesprächs, ohne jemals innezuhalten, um nachzudenken. Dies führt oft zu Verwirrung, besonders wenn das Brett etwas anders aussieht oder die Teile an einer neuen Stelle liegen.

Die Autoren dieses Papiers, AVP (Action with Visual Primitives), schlagen einen intelligenteren Weg vor, die Arbeit aufzuteilen. Sie behandeln das Roboterhirn wie ein Team mit zwei unterschiedlichen Rollen: einen Strategen und einen Ausführenden.

Das neue Teamwork: Strateg vs. Ausführender

1. Der Strateg (Das Vision-Sprach-Modell)
Stellen Sie sich diesen Teil als „Augen und Gehirn" vor. Seine einzige Aufgabe ist es, die Szene und die Anweisung zu betrachten und dann zu entscheiden, was zu tun ist und wo.

Anstatt nur in Worten zu denken, zeichnet der Strateg eine schnelle, unsichtbare Skizze auf das Bild. Er könnte ein kleines Kästchen um das Schachteil zeichnen oder einen Punkt auf das Zielfeld setzen.
Diese Zeichnungen werden „Visuelle Primitive" genannt. Es sind einfache, klare Marker, die sagen: „Hey, konzentriere dich hier."

2. Der Ausführende (Der Aktions-Experte)
Stellen Sie sich diesen Teil als „Hände" vor. Er muss sich keine Sorgen machen, die Regeln des Schachs oder die Bedeutung Ihrer Worte zu verstehen.

Er betrachtet einfach die Skizze des Strategen (die Visuellen Primitiven) und sagt: „Okay, ich sehe das Kästchen. Ich werde meinen Arm bewegen, um alles zu greifen, was sich in diesem Kästchen befindet."
Da das „Was" und „Wo" bereits vom Strategen gelöst sind, kann sich der Ausführende zu 100 % auf die physische Bewegung konzentrieren.

Warum dies besser funktioniert

Das Papier argumentiert, dass die alte Methode den „Ausführenden" zwingt, jedes Mal beim Bewegen neu zu lernen, wie man die Welt sieht und versteht. Die neue AVP-Methode ermöglicht es dem „Strategen", sein vorab trainiertes Wissen zu nutzen, um das Denken zu übernehmen, während der „Ausführende" einfach den visuellen Hinweisen folgt.

Die „Zero Annotation"-Superkraft
Normalerweise müssen Menschen, um einem Roboter beizubringen, diese Kästchen zu zeichnen, Tausende von Bildern manuell kennzeichnen (z. B. „Das ist das Schachteil"). Das ist langsam und teuer.

Der AVP-Trick: Der Roboter weiß bereits, wohin sich seine Hand bewegt (weil er seine eigenen Gelenke steuert). Das System wandelt während des Trainings die eigenen Handbewegungen des Roboters automatisch in die „Visuellen Primitiven" (die Kästchen und Punkte) um.
Analogie: Es ist wie ein Tanzlehrer, der keine Pfeile auf den Boden zeichnen muss, damit der Schüler sie sieht. Der Lehrer beobachtet einfach die Füße des Schülers und hebt automatisch die Schritte hervor, die der Schüler ohnehin schon macht. Keine zusätzlichen Zeichnungen erforderlich.

Die Ergebnisse: Beweis aus der realen Welt

Das Team testete dies an einem echten Roboter mit zwei Armen in drei herausfordernden Szenarien:

Chinesisches Schach: Bewegen von Figuren auf einem überfüllten Brett mit vielen ähnlich aussehenden Gegenständen.
Dominosteine: Platzieren von Dominosteinen mit sehr spezifischen Winkeln.
Allgemeines Greifen und Platzieren: Aufnehmen zufälliger Objekte unterschiedlicher Formen.

Die Ergebnisliste:

Im Vergleich zur bisherigen besten Methode (genannt π0.5) verbesserte AVP die Erfolgsrate um 27,61 %.
Generalisierung: Wenn der Roboter auf einer Art von Brett trainiert, aber an einem völlig anderen getestet wurde (oder mit verschiedenen Objekten), funktionierte AVP immer noch gut. Die alte Methode scheiterte oft, weil sie durch den neuen Look verwirrt wurde.
Geschwindigkeit: Während einige ältere Methoden, die externe Werkzeuge zur Objekterkennung nutzten, langsam waren (37 Sekunden für einen Befehl), war AVP schnell (0,27 Sekunden), was es für den Echtzeiteinsatz praktikabel macht.

In Kürze

AVP ist ein Roboter-Kontrollsystem, das Denken von Tun trennt. Es nutzt einen „Strategen", um basierend auf Anweisungen einfache visuelle Ziele (Primitiven) zu zeichnen, und einen „Ausführenden", um diesen Zielen zu folgen. Diese Arbeitsteilung macht den Roboter viel besser darin, neue Aufgaben, neue Objekte und überfüllte Umgebungen zu bewältigen, ohne dass Menschen ihm jedes einzelne Detail manuell beibringen müssen.

Technischer Zusammenfassung: Action with Visual Primitives (AVP)

Problemstellung

Aktuelle Vision-Language-Action (VLA)-Architekturen bilden Sprachanweisungen und visuelle Beobachtungen typischerweise in einem einzigen Vorwärtspass auf Roboteraktionen ab. Obwohl dieses Konzept einfach ist, verknüpft es das Verständnis von Anweisungen, das räumliche Szenenverständnis und die Motorsteuerung innerhalb eines einzigen Lernziels. Folglich wird der „Action-Experte" (die Komponente, die für die Generierung von Motorbefehlen verantwortlich ist) gezwungen, kognitive und perzeptive Fähigkeiten implizit neu zu erlernen, die bereits im vortrainierten Vision-Language-Modell (VLM) vorhanden sind. Diese Kopplung begrenzt die Lerneffizienz und die Generalisierungsfähigkeit, insbesondere wenn Objekte, Anordnungen oder Umgebungen zum Testzeitpunkt verändert werden.

Bestehende Versuche, dieses Problem über intermediäre Repräsentationen zu adressieren, stoßen auf spezifische Zielkonflikte:

Planungsorientierte Ansätze (z. B. $\pi0.5$ ) nutzen linguistische Teilaufgaben, haben jedoch Schwierigkeiten mit feinkörnigen räumlichen Unterscheidungen in dichten Szenen.
World-Action-Modelle (z. B. $\pi0.7$ ) verwenden vorhergesagte zukünftige Bildrahmen, wodurch der Action-Experte gezwungen ist, aufgabenrelevante Pixel neu zu entdecken.
Visual-Prompt-Methoden (z. B. Point-VLA, VP-VLA) verlassen sich auf externe Modelle (wie SAM oder Grounding DINO), um räumliche Marker zu generieren. Dies erzeugt mehrstufige Pipelines, die Inferenzlatenz einführen und das Risiko einer Fehlerfortpflanzung durch Ausfälle der Lokalisierung in vorangehenden Stufen bergen.

Methodik: AVP-Architektur

Die Autoren schlagen AVP (Action with Visual Primitives) vor, eine End-to-End-VLA-Architektur, die die Schnittstelle zwischen dem VLM und dem Action-Experten neu definiert. Anstelle einer impliziten, unstrukturierten Grenze setzt AVP ein visuell-primitiv-zentriertes Kommunikationsprotokoll ein.

Kernkomponenten

Vortrainiertes VLM & Autoregressiver Decoder: Gegeben eine Sprachanweisung ( $l$ ) und Multi-View-Beobachtungen ( $o_t$ ) analysiert das VLM die aktuelle Teilaufgabe. Ein autoregressiver Decoder sagt dann ein diskretisiertes visuelles Primitive ( $p_t$ ) voraus, das das Ziel der nächsten Stufe repräsentiert (z. B. ein Punkt, ein Begrenzungsrechteck oder eine Trajektorie).
Projektion in den visuellen Raum: Das vorhergesagte Primitive wird vom Sprachraum in den Token-Raum der visuellen Repräsentation projiziert ( $z^{vp}_t$ ). Diese Token werden über die ursprüngliche Beobachtung gelegt, um eine augmentierte multimodale Repräsentation ( $z^{aug}_t$ ) zu erzeugen.
Flow-Matching Action-Experte: Der Action-Experte empfängt die augmentierten Token und den Roboterzustand ( $s_t$ ), um einen Horizont zukünftiger Aktionen ( $a_{t:t+h}$ ) vorherzusagen.

Training und Überwachung

End-to-End-Optimierung: Im Gegensatz zu kaskadierten Ansätzen internalisiert AVP die Schnittstelle der visuellen Primitiven. Die Generierung der Primitiven und die Aktionsvorhersage werden gemeinsam optimiert.
Quelle der Überwachung: Der Decoder für visuelle Primitiven wird mittels eines Hilfsverlusts ( $L_{vp}$ ) überwacht. Entscheidend ist, dass die Ground-Truth-visuellen Primitiven ( $y^{vp}_t$ ) direkt aus der Kinematik des Endeffektors (Roboter-Propriozeption) abgeleitet werden, wodurch manuelle Annotation oder externe Perzeptionsmodelle überflüssig werden.
Zielsetzung: Der Gesamtverlust ist eine gewichtete Summe aus dem Verlust der Aktionsvorhersage und dem Verlust der Primitive-Überwachung: $L = L_{act} + \lambda L_{vp}$ .

Hauptbeiträge

Neukonzeptionierte Aufgabenteilung: Die Arbeit schlägt eine klare Arbeitsteilung vor, bei der das VLM darüber entscheidet, was zu tun ist und wo (via visueller Primitiven), während sich der Action-Experte ausschließlich darauf konzentriert, wie die Ausführung erfolgt.
Visuelle Primitiven als explizite Schnittstelle: AVP führt räumlich verankerte Token ein, die intern vom VLM erzeugt werden, als Kommunikationsmedium und ersetzt damit die impliziten Grenzen aktueller VLAs.
End-to-End-Implementierung: Das System implementiert diese Schnittstelle ohne externe Detektoren oder Segmentierer und nutzt kinematikbasierte Überwachung, um den Primitive-Generator zu trainieren.
Skalierbarkeit: Die Methode bietet einen Weg zur Skalierung durch kostengünstige Trainingsdaten (Kinematik liefert automatische Labels) und eine kompakte Form, die sich leicht auf speicherergänzte oder längerfristige Aufgaben erweitern lässt.

Experimentelle Ergebnisse

Die Autoren evaluierten AVP auf einer zweiarmligen AgileX-Piper-Plattform über drei reale Aufgaben: Manipulation von Chinesischen Schachfiguren, Platzierung von Dominosteinen und allgemeines Greifen und Ablegen von Objekten.

Leistung im Vergleich zur Baseline: Im Vergleich zur $\pi0.5$ $π 0.5$ -Baseline erzielte AVP eine Gesamtverbesserung der Manipulationserfolgsrate um 27,61 % über alle Aufgaben hinweg.
- Chinesisches Schach: Die durchschnittliche Erfolgsrate verbesserte sich von 62,67 % ( $\pi0.5$ ) auf 90,28 % (AVP).
- Dominoplatzierung: Die durchschnittliche Erfolgsrate verbesserte sich von 81,94 % auf 88,19 %, mit signifikanten Gewinnen bei der Orientierungserfolgsrate.
- Allgemeines Greifen und Ablegen: Die durchschnittliche Erfolgsrate verbesserte sich von 64,96 % auf 86,18 %.
Generalisierung:
- Räumliche kompositorische Generalisierung: Bei nicht gesehenen direkten Übergängen (A $\to$ B), die während des Trainings nicht vorkamen (das nur A $\to$ C $\to$ B zeigte), versagte $\pi0.5$ vollständig (0 % Erfolg), während AVP hohe Erfolgsraten erreichte (z. B. 100 % bei direkten Übergängen auf dem Schachbrett).
- Zero-Shot-Objekttransfer: Ein Modell, das ausschließlich mit Chinesisch-Schach-Daten trainiert wurde, generalisierte erfolgreich in einem Zero-Shot-Szenario auf nicht gesehene Objekte und Hintergründe, wohingegen die Baseline unter Verteilungsverschiebungen signifikant nachließ.
Effizienz: AVP wies eine geringere Inferenzlatenz (0,27 s) auf im Vergleich zu Methoden, die auf externe LLM-APIs angewiesen sind (z. B. Point-VLA-Varianten mit ca. 37 s).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AVP die Wirksamkeit der Entkopplung der Zielinferenz von der Bewegungsausführung demonstriert. Durch die Auslagerung komplexer räumlicher Schlussfolgerungen an das VLM und die Bereitstellung expliziter, visuell verankerter Anweisungen für den Action-Experten erreicht das System:

Verbesserte Dateneffizienz: Das Lernen ist effizienter, da der Action-Experte keine räumliche Verankerung neu erlernen muss.
Erhöhte Generalisierungsfähigkeit: Die explizite visuelle Schnittstelle ermöglicht es der Policy, gelernte Bewegungsmuster für neue Übergänge und Objekte neu zu kombinieren.
Reduzierter Annotationsaufwand: Die Abhängigkeit von Kinematik zur Überwachung der Primitiven vermeidet die Kosten und die Fragilität menschlicher Kennzeichnung oder Abhängigkeiten von externen Detektoren.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die sequenzielle zweistufige Inferenz (Primitive-Vorhersage gefolgt von Aktionsgenerierung) eine etwas höhere Laufzeitlatenz einführt als Single-Pass-Policies, und das System bleibt empfindlich gegenüber präziser Hand-Augen-Kalibrierung. Die Ergebnisse deuten jedoch darauf hin, dass visuelle Primitiven als robuste und skalierbare Schnittstelle für allgemeine robotische Manipulation dienen.