💻 computer science

UniFS: Unified Fast-to-Slow Hierarchical Architecture for Vision-Language-Action Models

UniFS führt eine einheitliche, schnelle-zu-langsame hierarchische Architektur für Vision-Language-Action-Modelle ein, die VLM-Schichten nach ihrer Aktualisierungsfrequenz schichtet und multiskalige Merkmalsinteraktionen neu routet, um den Effizienz-Genauigkeits-Trade-off zu lösen, wodurch eine staatlich anerkannte Spitzenleistung (State-of-the-Art) und signifikant reduzierte Latenz auf dem LIBERO-Benchmark und auf Echtzeit-Roboterplattformen erreicht wird.

Ursprüngliche Autoren: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine präzise Aufgabe beizubringen, wie etwa das Stapeln von Blöcken oder das Aufheben eines Bechers. Um dies zu tun, benötigt der Roboter zwei Dinge, die zusammenarbeiten müssen:

Das Gehirn (Vision-Language Model): Dieser Teil betrachtet die Szene, liest die Anweisungen und versteht das „große Ganze“ (z. B. „Ich muss den roten Block auf den blauen stapeln“). Er ist intelligent, aber langsam im Denken.
Die Hände (Action Expert): Dieser Teil bewegt tatsächlich den Arm des Roboters. Er muss sofort reagieren, um zu verhindern, dass der Roboter Dinge fallen lässt, daher muss er sehr schnell sein.

Das Problem: Das „Geschwindigkeit vs. Klugheit“-Dilemma

Die Gehirne aktueller Roboter stehen vor einem frustrierenden Teufelskreis.

Der alte Weg: „Gehirn“ und „Hände“ sind getrennt. Das Gehirn sendet ein langsames Update an die Hände. Wenn das Gehirn zu oft aktualisiert, wird der Roboter träge und schwerfällig. Wenn es zu selten aktualisiert, werden die Anweisungen des Gehirns veraltet, bis sie bei den Händen ankommen, was dazu führt, dass der Roboter auf veralteten Informationen reagiert (wie der Versuch, einen Ball zu fangen, der sich bereits bewegt hat).
Der Informationsverlust: Noch schlimmer ist, dass die Hände nur den finalen Gedanken des Gehirns erhalten. Sie verpassen all die interessanten „Denkschritte“, die das Gehirn auf dem Weg dorthin unternommen hat, was die Präzision der Bewegungen des Roboters einschränkt.

Die Lösung: UniFS (Das „Multi-Speed-Gehirn“)

Die Autoren dieser Arbeit, UniFS, haben untersucht, wie das menschliche Gehirn funktioniert. Sie haben bemerkt, dass unsere Gehirne nicht nur mit einer Geschwindigkeit arbeiten; wir verarbeiten Informationen gleichzeitig in unterschiedlichen Geschwindigkeiten. Schnelle Wellen verarbeiten unmittelbare sensorische Details (wie ein plötzliches Geräusch), während langsame Wellen tiefe, stabile Gedanken verarbeiten (wie Ihr Name oder ein langfristiger Plan).

UniFS wendet diese Idee auf Roboter an, indem es ein Unified Fast-to-Slow Architecture (ein vereintes Schnell-zu-Langsam-Architekturmodell) erstellt. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „geschichtete Team“ (Stratified Layers)

Anstatt dass das gesamte Gehirn mit einer Geschwindigkeit denkt, teilt UniFS die Schichten des Gehirns in ein Team mit unterschiedlichen Schichtplänen auf:

Die flachen Schichten (Die Späher): Dies sind die äußeren Schichten des Netzwerks. Sie aktualisieren sich sehr schnell (bei jedem einzelnen Schritt). Sie sind wie Späher, die umherlaufen und ständig unmittelbare Veränderungen in der Umgebung melden (z. B. „Der Becher ist gerade gewackelt!“).
Die tiefen Schichten (Die Strategen): Dies sind die inneren Schichten. Sie aktualisieren sich sehr langsam (nur alle paar Schritte). Sie sind wie Generäle in einem Kommandozentrum, die den stabilen Plan bewahren („Staple den roten Block auf“), damit sie sich nicht von jedem winzigen Wackeln ablenken lassen.

Das Ergebnis: Der Roboter erhält das Beste aus beiden Welten: sofortige Reaktionen auf Veränderungen und einen stabilen, langfristigen Plan, alles aus einem einzigen Gehirn.

2. Die „geheime Übergabe“ (Latent Vector Inversion)

Es gab ein kniffliges Problem: In der Standard-KI änderten sich die tiefen Schichten (die langsamen Strategen) eigentlich zu schnell, weil sie zu nah an der Aktionsausgabe lagen. Dies durchbrach den „langsamen“ Teil des Plans.

Um dies zu beheben, nutzt UniFS einen cleveren Trick namens Latent Vector Inversion.

Die Analogie: Stellen Sie sich einen Staffellauf vor, bei dem der Stab in umgekehrter Reihenfolge übergeben wird. Normalerweise laufen die „schnellen“ Läufer (flache Schichten) zu den „langsamen“ Läufern (tiefe Schichten). UniFS dreht dies um: Die „schnellen“ sensorischen Details werden an die Schichten gesendet, die für die Feinmotorik zuständig sind, während die „langsamen“ stabilen Pläne an die Schichten gesendet werden, die das große Ganze handhaben.
Warum es hilft: Dies stellt sicher, dass die „Strategen“ ruhig und stabil bleiben, während die „Späher“ die chaotischen, schnellen Details bewältigen. Es richtet die richtigen Informationen für die richtige Aufgabe aus.

3. Die „Trainerpfeife“ (Multi-Level Supervision)

Um sicherzustellen, dass der Roboter korrekt lernt, nutzt der Trainingsprozess Multi-Level Supervision.

Die Analogie: Anstatt den Schüler (den Roboten) nur bei der Abschlussprüfung (der finalen Aktion) zu bewerten, gibt der Lehrer (der Trainingsalgorithmus) Feedback in jeder Phase des Lernprozesses.
Das Ziel: Dies zwingt die „langsamen“ Schichten dazu, langfristige Pläne zu erstellen, und die „schnellen“ Schichten, schnelle Korrekturen vorzunehmen, wodurch verhindert wird, dass der Roboter Abkürzungen nimmt oder verwirrt wird.

Die Ergebnisse: Schneller und Klüger

Das Paper testete dieses neue System auf einem Benchmark namens LIBERO (einer Reihe von Roboter-Manipulationsaufgaben) und auf einem echten Roboterarm (Franka).

Geschwindigkeit: Das neue System ist 2,1-mal schneller als bisherige Methoden. Es reduzierte die Zeit, die für eine Entscheidung benötigt wird, von 36,5 Millisekunden auf nur 17,8 Millisekunden. Das ist wie der Wechsel von einer trägen Schnecke zu einem schnellen Sprinter.
Erfolgsrate: Es erreichte eine Erfolgsquote von 98,3 %, was der höchste Stand der Technik (State-of-the-Art) im Vergleich zu anderen Modellen ist.
Gedächtnis: Da die „langsamen“ Schichten sich nicht bei jedem Schritt aktualisieren, halten sie den vergangenen Kontext natürlich fest, ohne zusätzliche Speicherbänke zu benötigen. Es ist wie ein eingebautes Kurzzeitgedächtnis, das sich automatisch an das erinnert, was vor ein paar Sekunden passiert ist.

Zusammenfassung

UniFS ist wie ein Gehirn, das einem Roboter ermöglicht, gleichzeitig mit mehreren Geschwindigkeiten zu denken. Es hat eine schnell reagierende äußere Schicht für unmittelbare Sicherheit und eine langsame, stabile innere Schicht für die langfristige Planung. Durch das Umkehren der Art und Weise, wie diese Schichten mit den Händen des Roboters kommunizieren, und durch das Training mit spezifischem Feedback auf jeder Ebene, wird der Roboter sowohl schneller als auch präziser als je zuvor.

Technisches Resümee: UniFS

Problemstellung
Mainstream-Vision-Language-Action (VLA)-Modelle stehen bei der Implementierung für die Robotersteuerung in Echtzeit vor einem kritischen „Frequenzdilemma“. Während groß angelegte Vision-Language-Modelle (VLMs) eine starke semantische Argumentation bieten, begrenzt deren Rechenaufwand die Inferenzfrequenzen auf 1–10 Hz, was für eine stabile Closed-Loop-Steuerung in dynamischen Umgebungen (die typischerweise >50 Hz erfordert) unzureichend ist. Um dies zu adressieren, entkoppeln bestehende Fast-Slow-Dualsystem-Architekturen ein hochfrequentes „Fast System“ (Action Expert) von einem niederfrequenten „Slow System“ (VLM). Diese Ansätze leiden jedoch unter zwei grundlegenden Einschränkungen:

Trade-off zwischen semantischem Drift und Effizienz: Große Aktualisierungsabstände zwischen dem VLM und dem Action Expert führen dazu, dass der Action Expert auf veralteten Kontexten basiert, was zu semantischem Drift führt. Umgekehrt machen kleine Abstände die beabsichtigte Rechenersparnis zunichte.
Informationsverlust: Aktuelle Paradigmen (ob separate Module oder eingebettete Experten) speisen dem Action Expert typischerweise nur die Repräsentation der letzten Schicht des VLM mit einer festen Frequenz zu. Dies verwirft reichhaltige Zwischenmerkmale, was die Kopplung von Informationen und die Präzision bei Manipulationen einschränkt.

Methodik: UniFS-Architektur
Inspiriert durch die Multi-Timescale-neuronale Verarbeitung im menschlichen Gehirn (z. B. unterschiedliche Frequenzbänder für sensorische vs. kognitive Verarbeitung), schlagen die Autoren UniFS vor, eine vereinheitlichte Fast-to-Slow-hierarchische Architektur. Anstatt Module zu trennen, integriert UniFS Multi-Frequenz-Dynamiken innerhalb eines einzigen VLM-Backbones. Die Methode stützt sich auf drei zentrale Designs:

Fast-to-Slow-Architektur (FSA):
Die VLM-Schichten werden in Gruppen mit progressiv abnehmenden Aktualisierungsfrequenzen unterteilt. Flache Schichten werden mit hohen Frequenzen aktualisiert, um schnell wechselnde Dynamiken zu erfassen, während tiefere Schichten seltener aktualisiert werden, um stabilen semantischen Kontext zu speichern. Dies wird durch einen asynchronen schichtweisen Ausführungsmechanismus erreicht, bei dem die $k$ -te Schichtengruppe nur alle $n_k$ Zeitschritte aktualisiert wird ( $n_1 < n_2 < \dots < n_K$ ).
Latent Vector Inversion (LVI):
Empirische Analysen zeigen, dass tiefere Schichten in Standard-VLMs oft eine höhere zeitliche Variabilität aufweisen, da sie näher am Action-Output liegen. Dies steht im Widerspruch zum Ziel, stabile Merkmale in tiefen Schichten zu speichern. UniFS führt einen Mechanismus der „Latenten Vektor-Inversion“ ein, der die Interaktionsreihenfolge neu routet:

Tiefe Merkmale (ursprünglich schnell variierend) werden invertiert, um mit verfeinerten Action-Outputs (grobe Planung) zu interagieren.
Flache Merkmale (ursprünglich langsam variierend) werden invertiert, um mit initialen verrauschten Action-Vorschlägen (feingranulare Dekodierung) zu interagieren.
Diese Ausrichtung stellt sicher, dass schnell variierende Repräsentationen feingranulare Aktionen leiten, während langsam variierende Repräsentationen eine stabile Planung unterstützen.

Frequency Feature Replacement (FFR) & Multi-Level-Supervision:

Trainingseffizienz: Um trotz asynchroner Aktualisierungen ein paralleles Training zu ermöglichen, schlagen die Autoren FFR vor. Anstatt Schichten während des Forward-Pass zu überspringen (was den statischen Berechnungsgraph unterbrechen würde), berechnet das Modell alle Merkmale für alle Zeitschritte in einem Batch und richtet sie anschließend über eine differenzierbare Indexierungsoperation retrospektiv an den vorgeschriebenen Aktualisierungsfrequenzen aus.
Hierarchisches Lernen: Eine Multi-Level-Supervision-Strategie wendet Hilfsverluste (Auxiliary Losses) an jeder Frequenzgruppe innerhalb des Action Experts an. Dies erzwingt eine Coarse-to-Fine-Lernhierarchie, die verhindert, dass das Modell Abkürzungen durch hochfrequente Komponenten lernt, und sicherstellt, dass die langsamen Schichten stabile, langfristige Pläne lernen.

Wichtigste Ergebnisse
Die Experimente wurden auf dem LIBERO-Benchmark (130 Aufgaben über vier Suiten) und einer Franka Research 3 (FR3) Realroboter-Plattform durchgeführt.

Performance: UniFS erreicht eine State-of-the-Art durchschnittliche Erfolgsrate von 98,3 % auf LIBERO, was eine Verbesserung um 2,5 % gegenüber der VLA-Adapter-Baseline darstellt.
Effizienz: Die Architektur reduziert die durchschnittliche Inferenzlatenz von 36,5 ms auf 17,8 ms (eine 2,1-fache Beschleunigung), mit einer theoretischen Beschleunigung von etwa 2,6x.
Einsatz in der realen Welt: Auf der Franka-Plattform bewältigte UniFS Aufgaben, die von einfachem Greifen (75 % Erfolgsrate) bis hin zu komplexen Austauschaufgaben, die ein Kurzzeitgedächtnis erfordern (50 % Erfolgsrate), reichten.
Ablationsstudien: Das Entfernen der Latent Vector Inversion verursachte einen signifikanten Leistungsabfall (von 98,3 % auf 70,3 % in spezifischen Konfigurationen), was die Notwendigkeit der Abstimmung der Feature-Frequenzen auf die Bedürfnisse des Action Experts unterstreicht.

Bedeutung und Behauptungen
Das Paper behauptet, dass UniFS das fundamentale Frequenzdilemma in Fast-Slow-Dualsystemen löst, indem es diese in einem einzigen Backbone vereinheitlicht. Die primären Beiträge sind:

Vereinheitlichte Multi-Timescale-Repräsentation: Es generiert direkt Multi-Timescale-Latent-Vektoren aus einem einzigen VLM, was die Ausrichtung zwischen visuellen, sprachlichen und aktionsbezogenen Repräsentationen verbessert, ohne die starre Kopplung separater Module.
Implizites Gedächtnis: Durch das Cachen von langsam-frequenten Pfaden bewahrt das Modell intrinsisch historische Abhängigkeiten über Schritte hinweg, ohne explizite Speicherpuffer zu benötigen – eine Fähigkeit, die in Mainstream-Dualsystemen fehlt.
Effizienz ohne Opfer: Es zeigt, dass eine erhebliche Beschleunigung der Inferenz erreicht werden kann, ohne die Performance zu beeinträchtigen, wodurch die Rechenkomplexität effektiv von der Steuerungsfrequenz entkoppelt wird.

Die Autoren weisen auf Limitationen hin, insbesondere dass der Trainingsprozess nicht von der Inferenzbeschleunigung profitiert (aufgrund der Notwendigkeit voller paralleler Forward-Passes in FFR) und dass die Architektur ein sorgfältiges Fine-Tuning erfordert, um Distributionsverschiebungen zu vermeiden, die das vortrainierte semantische Wissen stören könnten. Zukünftige Arbeit zielt darauf ab, UniFS auf fortgeschrittenere Backbones wie $\pi_0$ auszuweiten und es in groß angelegte Pre-training-Verfahren zu integrieren.