🤖 machine learning

{\Omega}-QVLA: Robust Quantization for Vision-Language-Action Models via Composite Rotation and Per-step Scaling

Das Papier stellt $\Omega$ -QVLA vor, ein trainingsfreies Post-Quantisierungs-Framework, das eine robuste gleichmäßige W4A4-Quantisierung für gesamte Vision-Language-Action-Modelle durch die Kombination einer zusammengesetzten SVD-Hadamard-Rotation mit einer schrittweisen DiT-Aktivierungsskalierung ermöglicht und dabei sowohl auf Benchmarks als auch bei realen Manipulationsaufgaben state-of-the-art-Erfolgswerte und eine signifikante Speicherreduktion erzielt.

Ursprüngliche Autoren: Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen ein brillantes, milliardenwertiges Roboterhirn. Dieses Gehirn ist ein „Vision-Language-Action" (VLA)-Modell. Es kann die Welt durch Kameras sehen, komplexe mündliche Anweisungen verstehen und genau herausfinden, wie es seine Roboterarme bewegen muss, um eine Aufgabe zu erfüllen.

Das Problem? Dieses Gehirn ist riesig. Es ist, als würde man versuchen, ein massives, High-End-Kino auf einem winzigen, batteriebetriebenen Handheld-Spielkonsolen zu betreiben. Es benötigt zu viel Speicher und ist zu langsam, um auf echten Robotern zu laufen.

Um dies zu beheben, versuchen Wissenschaftler normalerweise, das Gehirn zu „verkleinern", indem sie seine Zahlen komprimieren (ein Prozess, der als Quantisierung bezeichnet wird). Stellen Sie sich vor, Sie wandeln einen hochauflösenden 4K-Film in ein niedrigauflösendes MP4 um, um Platz zu sparen.

Das große Problem:
Frühere Versuche, diese Roboterhirne zu verkleinern, hatten einen gravierenden Mangel. Sie komprimierten den „Denk"-Teil (das Sprachmodell), ließen aber den „Bewegungs"-Teil (den Aktionskopf) in voller, hochauflösender Qualität. Warum? Weil alle glaubten, der „Bewegungs"-Teil sei zu zerbrechlich. Man dachte, wenn man ihn zu stark komprimiere, würde der Roboter anfangen zu zittern, zu ruckeln oder Dinge fallen zu lassen, weil die Zahlen zu „unscharf" geworden wären.

Die Lösung: Ω-QVLA
Diese Arbeit stellt eine neue Methode namens Ω-QVLA vor. Es ist das erste Werkzeug, das sowohl den Denk- als auch den Bewegungsanteil des Roboterhirns erfolgreich auf dieselbe winzige Größe (genannt W4A4) verkleinert, ohne dass der Roboter auseinanderfällt.

So haben sie es mit zwei kreativen Tricks geschafft:

1. Der „Drehende Shuffle" (Composite Rotation)

Stellen Sie sich ein Kartenspiel vor, bei dem einige Karten unglaublich schwer (Ausreißer) und der Rest leicht ist. Wenn Sie versuchen, sie in eine kleine Schachtel zu packen, zerdrücken die schweren Karten die anderen, und die Schachtel bricht.

Im Roboterhirn sind einige Datenkanäle „schwer" (sie haben riesige Zahlen), während andere „leicht" sind.

Der alte Weg: Einfach alles zusammenquetschen. Die schweren Karten zerdrücken die Schachtel.
Der Ω-QVLA-Weg: Sie verwenden einen speziellen „Shuffle" (eine Mischung aus Mathematik namens SVD und Hadamard-Rotation). Stellen Sie sich vor, Sie drehen das Kartenspiel und mischen es so, dass das Gewicht der schweren Karten gleichmäßig über das gesamte Deck verteilt wird. Jetzt ist keine einzelne Karte schwer genug, um die Schachtel zu zerbrechen. Dies ermöglicht es ihnen, die Daten viel aggressiver zu komprimieren, ohne die „Form" der Information zu verlieren.

2. Die „Schritt-für-Schritt-Lautstärke" (Per-Step Scaling)

Der „Bewegungs"-Teil des Roboters funktioniert wie ein Videoredakteur, der ein Bild für Bild glättet (ein Prozess namens Denoising).

Das Problem: Die „Lautstärke" (oder Intensität) der Daten ändert sich wild vom ersten bis zum letzten Bild. Wenn Sie einen festen Lautstärkewert für das gesamte Video einstellen, ist der Anfang vielleicht zu leise und das Ende zu laut und verzerrt.
Der Ω-QVLA-Weg: Sie haben eine „dynamische Lautstärkeregelung" geschaffen, die die Empfindlichkeit für jeden einzelnen Schritt des Videos anpasst. Anstatt eine statische Einstellung zu verwenden, hört das System den Daten in jedem spezifischen Moment zu und passt den Kompressionsmaßstab entsprechend an. Dies verhindert, dass der Roboter verwirrt wird, wenn die Daten während seiner Bewegung zu laut oder zu leise werden.

Die Ergebnisse
Das Team testete dies an zwei berühmten Roboterhirnen (Pi 0.5 und GR00T N1.5) unter Verwendung einer Simulation namens LIBERO und echter Roboterarme.

In der Simulation: Die komprimierten Roboter performten genauso gut wie die riesigen, unkomprimierten. Tatsächlich schaffte es der winzige komprimierte Roboter bei einem Test sogar, eine bessere Arbeit zu leisten als das Original!
In der realen Welt: Als sie den komprimierten Roboter an einen echten Tisch legten, um Tassen aufzuheben, Handtücher zu falten und Blöcke zu bewegen, bewegte er sich flüssig und präzise.
Der Wettbewerb: Andere Methoden, die dies versucht hatten (QuantVLA), ließen die Roboter ruckeln und die Aufgaben scheitern. Ω-QVLA hielt sie flüssig.
Gespeicherter Platz: Sie reduzierten den benötigten Speicher um 71%. Das ist, als würde man eine 4-GB-Filmdatei in eine 1-GB-Datei verwandeln, ohne die Handlung zu verlieren.

Das Fazit
Diese Arbeit beweist, dass der „Bewegungs"-Teil eines Roboterhirns nicht zu zerbrechlich ist, um komprimiert zu werden. Durch die Verwendung eines intelligenten „Shuffles", um die schweren Daten zu verteilen, und einer „Schritt-für-Schritt"-Anpassung, um sich ändernde Lautstärken zu bewältigen, können sie diese massiven Roboterhirne auf eine Größe verkleinern, die auf einen echten Roboter passt, wodurch sie schneller, günstiger und bereit für die reale Welt werden.

Technische Zusammenfassung: Ω-QVLA

Problemstellung

Vision-Language-Action (VLA)-Modelle integrieren Wahrnehmung, Schlussfolgerung und Steuerung in eine einzige Policy, wobei typischerweise ein Large Language Model (LLM) als Rückgrat und ein diffusionsbasierter Aktionskopf (DiT) verwendet werden. Obwohl sie für die allgemeine Roboterkontrolle vielversprechend sind, sind diese Modelle aufgrund ihrer Multi-Milliarden-Parameteranzahl und ihrer Speicheranforderungen prohibitiv teuer für den Einsatz auf Endgeräten.

Bestehende Bemühungen zur Post-Training-Quantisierung (PTQ) haben keine vollständige Lösung für VLA-Modelle geliefert. Vorangegangene Arbeiten komprimierten typischerweise das LLM-Rückgrat, ließen jedoch den DiT-Aktionskopf in voller Präzision (FP16) oder setzten auf Mischpräzisionsschemata. Diese Zögerlichkeit resultiert aus der Annahme, dass der DiT-Aktionskopf inhärent zu empfindlich gegenüber einer einheitlichen Low-Bit-Quantisierung sei. Im Gegensatz zur Sprachgenerierung, bei der Quantisierungsfehler möglicherweise nicht wahrnehmbar sind, erzeugen Fehler im Aktionskopf kontinuierliche Steuersignale, die direkt mit physikalischen Aktuatoren interagieren. In einem geschlossenen Regelkreis werden quantisierungsbedingte Störungen durch Kontaktkräfte und physikalische Dynamiken verstärkt, was zu einer kumulativen Fehlerausbreitung und zum Aufgabenversagen führt. Folglich hat keine vorherige Methode erfolgreich den gesamten DiT-Aktionskopf eines VLA-Modells auf eine einheitliche Low-Bit-Präzision quantisiert.

Methodik: Ω-QVLA

Die Autoren schlagen Ω-QVLA vor, das erste trainingsfreie PTQ-Framework, das in der Lage ist, sowohl das Sprachrückgrat als auch den gesamten DiT-Aktionskopf eines VLA-Modells auf eine einheitliche W4A4-Präzision (4-Bit-Gewichte, 4-Bit-Aktivierungen) zu komprimieren. Das Framework eliminiert die Notwendigkeit einer Mischpräzisionszuweisung durch zwei Kerninnovationen:

1. Composite SVD·Hadamard-Rotation

Um Kanal-energie-Ungleichgewichte und Aktivierungsausreißer zu adressieren, führen die Autoren eine zweistufige Rotationsstrategie ein, die vor der Quantisierung angewendet wird:

SVD-Rotation: Eine Singulärwertzerlegung (SVD) wird auf die Gewichtsmatrix $W = U\Sigma V^\top$ berechnet. Die Rotationsmatrix $R_{SVD} = U$ wird angewendet, um die zeilenweise Energie der Gewichte auszugleichen. Dies transformiert den Gewichtsraum so, dass die Energie jeder Zeile direkt durch das Singulärspektrum gesteuert wird, wodurch eine durch Koordinaten verursachte Energiekonzentration entfernt wird.
Hadamard-Rotation: Da die SVD-Rotation ausschließlich aus Gewichten abgeleitet ist, garantiert sie keine Einheitlichkeit im Aktivierungsraum. Um dies zu beheben, kombinieren die Autoren die SVD-Rotation mit einer normalisierten Hadamard-Matrix $H$ . Die zusammengesetzte Rotation $R = R_{SVD} \cdot H$ wirkt als einheitliche Mischmatrix, die die Energie eines dominanten Kanals gleichmäßig auf alle Ausgangskanäle verteilt.
Blockweise Implementierung: Um den Rechen- und Speicheraufwand einer dichten $C_{in} \times C_{in}$ -Rotationsmatrix zu vermeiden, approximiert die Methode die Rotation in Blöcken. Kanäle werden durch eine Zickzack-Permutation basierend auf den Normen der Gewichtsspalten neu angeordnet, um sicherzustellen, dass Kanäle mit hoher und niedriger Norm gleichmäßig über die Blöcke verteilt sind, was eine Konzentration von Ausreißern innerhalb einer einzelnen Partition verhindert.

2. Schrittweise DiT-Aktivierungsskalierung

Standardmäßige statische Skalierung ist für DiT-Modelle suboptimal, da die Beträge der Aktivierungen während des mehrstufigen Denoisings-Prozesses erheblich schwanken.

Dynamische Bereichsdrift: Die Autoren beobachten, dass sich Aktivierungsstatistiken über die Denoising-Schritte hinweg verschieben, insbesondere in Schichten, die zeitbedingte Eingaben erhalten (z. B. QKV-Projektionen nach AdaLayerNorm).
Schrittweise Kalibrierung: Anstelle eines einzigen statischen Skalenfaktors verwendet Ω-QVLA eine vorausberechnete, schrittweise, schichten- und kanalweise Skalierungstabelle. Diese Tabelle wird aus Kalibrierungstrajektorien abgeleitet und während der Inferenz abgerufen, um die Drift des dynamischen Bereichs aufzufangen. Dies ermöglicht es dem Quantisierer, sich an die sich verschiebenden Aktivierungsbereiche zu jedem spezifischen Zeitschritt anzupassen.

Hauptbeiträge

Einheitliche W4A4-Quantisierung: Ω-QVLA ist das erste trainingsfreie Framework, das den gesamten VLA-Stack (LLM-Rückgrat + DiT-Aktionskopf) einheitlich auf W4A4 quantisiert und damit die Annahme in Frage stellt, dass der Aktionskopf eine einheitliche Low-Bit-Quantisierung nicht überstehen kann.
Kompositer Rotationsmechanismus: Die Einführung einer zusammengesetzten SVD·Hadamard-Rotation, die gleichzeitig die Kanal-spezifische Gewichtenergie ausgleicht und verbleibende Aktivierungsausreißer verteilt, wodurch die Grenzen der isolierten Verwendung von SVD- oder Hadamard-Transformationen adressiert werden.
Schrittweise Kalibrierung: Die Entwicklung eines schrittweisen Aktivierungsskalierungsmechanismus speziell für DiT-Modelle, um zeitschrittabhängige Drift des dynamischen Bereichs zu handhaben, was für die Aufrechterhaltung der Stabilität in iterativen Denoising-Prozessen entscheidend ist.

Experimentelle Ergebnisse

Das Framework wurde am LIBERO-Benchmark unter Verwendung zweier state-of-the-art VLA-Policies evaluiert: Pi 0.5 und GR00T N1.5.

Simulationsleistung:
- Pi 0.5: Erreichte eine durchschnittliche Erfolgquote von 98,0 % unter W4A4-Quantisierung, die die FP16-Referenz (97,1 %) leicht übertraf.
- GR00T N1.5: Erreichte eine durchschnittliche Erfolgquote von 87,8 % und entsprach damit der FP16-Referenz (87,0 %).
- Vergleich: Diese Ergebnisse übertreffen signifikant vorherige W4A4-Vollquantisierungs-Baselines (z. B. SmoothQuant, DuQuant, QuantVLA), die oft versagten, die Leistung beizubehalten, wenn sie die DiT-Aufmerksamkeits-Schichten quantisierten. Beispielsweise erreichte QuantVLA bei Pi 0.5 nur 82,0 % Erfolg, während Ω-QVLA 98,0 % erreichte.
- Speichereffizienz: Das Framework reduzierte den statischen Speicherbedarf um 71,3 % im Vergleich zu FP16, mit einem vernachlässigbaren Metadaten-Overhead (~90 MB für Pi 0.5).
Manipulation in der realen Welt:
- Experimente wurden auf einer Dual-Arm-ARX-R5-Plattform mit fünf bimanuellen Manipulationsaufgaben durchgeführt (z. B. Tasse aufnehmen, Handtuch falten).
- Leistung: Ω-QVLA erreichte eine durchschnittliche Fortschrittsbewertung von 51,0 und übertraf damit die FP16-Baseline (49,6). Im Gegensatz dazu kollabierte die Baseline QuantVLA auf 25,0.
- Qualitative Analyse: Tests in der realen Welt bestätigten, dass Ω-QVLA glatte, präzise Manipulationstrajektorien erzeugt. Baseline-Methoden zeigten ruckartige Endeffektor-Bewegungen und häufige Spitzen in den Aktionsdimensionen, was zu Aufgabenversagen über lange Zeiträume führte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Ω-QVLA die vorherrschende Überzeugung umstößt, der DiT-Aktionskopf sei zu empfindlich, um einheitlich quantisiert zu werden. Indem die Autoren direkt die Quellen der Instabilität adressieren – Kanal-energie-Ungleichgewicht und Drift des dynamischen Bereichs während der Denoising-Schritte – demonstrieren sie, dass eine einheitliche W4A4-Präzision für den Hochleistungs-Einsatz von VLA ausreicht.

Die Autoren betonen, dass ihr Ansatz kein Nachtraining erfordert und die Komplexität der Mischpräzisionszuweisung eliminiert. Die Ergebnisse deuten darauf hin, dass eine effektive VLA-Komprimierung eine ganzheitliche, aktionsbewusste Optimierung erfordert und nicht die direkte Übertragung von sprachzentrierten Quantisierungstechniken. Obwohl die aktuelle Evaluierung auf DiT-basierte Rückgrate und spezifische Benchmarks beschränkt ist, etabliert die Arbeit eine neue Baseline für die Roboterkontrolle auf Endgeräten und ermöglicht den Einsatz von großskaligen VLA-Policies auf Hardware mit strengen Speicher- und Latenzbeschränkungen.