💻 computer science

ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

Die Arbeit stellt ETA-VLA vor, ein effizientes Framework für Vision-Language-Action-Modelle im autonomen Fahren, das durch eine neuartige, textgesteuerte und diversitätserhaltende Token-Verdünnung die Rechenkosten um bis zu 61 % senkt, ohne dabei die Fahrleistung auf dem NAVSIM v2-Benchmark signifikant zu beeinträchtigen.

Ursprüngliche Autoren: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Zichong Gu, Hao Sun

Veröffentlicht 2026-03-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Zichong Gu, Hao Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren ein Auto. Ihr Gehirn ist der KI-Modell, das die Straße sieht, die Verkehrsschilder liest und entscheidet, wann Sie bremsen oder lenken müssen.

Das Problem bei den aktuellen „Superhirnen" für autonome Fahrzeuge ist, dass sie versuchen, alles gleichzeitig zu verarbeiten. Sie schauen sich nicht nur die aktuelle Straße an, sondern auch die letzten 10 Sekunden, und das von allen 6 Kameras des Autos gleichzeitig. Das ist wie wenn Sie versuchen, einen ganzen Film in 4K-Auflösung zu sehen, während Sie gleichzeitig ein Buch lesen und ein Mathe-Test lösen müssen. Das Gehirn (der Computer) wird überlastet, wird langsam und verbraucht riesige Mengen an Energie.

Die Forscher haben eine Lösung namens ETA-VLA entwickelt. Man kann sich das wie einen super-effizienten Co-Piloten vorstellen, der dem Fahrer hilft, sich nur auf das Wesentliche zu konzentrieren.

Hier ist die Erklärung in drei einfachen Schritten:

1. Der Zeit-Filter (Temporal Fusion Module)

Stellen Sie sich vor, Sie fahren gerade geradeaus. Was ist wichtiger: Was vor 5 Sekunden passiert ist, oder was jetzt passiert?

Das alte Problem: Das Auto speichert jeden einzelnen Pixel der letzten Bilder und versucht, sie alle gleichzeitig zu analysieren. Das ist wie ein Stapel alter Zeitungen, den man immer weiter aufstapelt.
Die ETA-VLA-Lösung: Dieser Teil des Systems ist wie ein kluger Archivar. Er schaut sich die letzten Bilder an und fasst sie zusammen. Er sagt: „Ah, vor 3 Sekunden war die Straße leer, das ist nicht mehr wichtig. Aber vor 1 Sekunde hat ein Kind auf den Bürgersteig geschaut – das ist wichtig!" Er komprimiert die Geschichte der letzten Sekunden zu einer einzigen, klaren Zusammenfassung. So muss das Gehirn nicht mehr jeden einzelnen Moment neu berechnen.

2. Der Aufmerksamkeits-Filter (ILSA)

Jetzt hat das Auto eine Zusammenfassung der Vergangenheit, aber immer noch Bilder von 6 Kameras. Das sind tausende von kleinen Bildpunkten (Tokens).

Das alte Problem: Das System schaut sich jeden einzelnen Bildpunkt an, egal ob es ein wichtiger Fußgänger ist oder ein unscheinbarer Baum im Hintergrund. Das ist wie wenn Sie bei einer Party jeden einzelnen Gast ansehen, auch die, die nur die Wand anstarren, anstatt sich auf die Person zu konzentrieren, die Ihnen die Hand schüttelt.
Die ETA-VLA-Lösung: Hier kommt der ILSA-Filter ins Spiel. Er funktioniert wie der Fokus eines menschlichen Fahrers.
- Wenn der Befehl lautet „Fahren Sie geradeaus", ignoriert das System die Seitenkameras fast vollständig und konzentriert sich auf die Straße vor dem Auto.
- Wenn der Befehl „Links abbiegen" lautet, schaut es sofort auf die linke Seite und die Kreuzung.
- Der Clou: Es wirft nicht einfach alles weg, was nicht sofort wichtig scheint. Es behält ein paar „Sicherheits-Reserven" bei (wie einen Blick in den toten Winkel), damit nichts Wichtiges übersehen wird. Es ist wie ein erfahrener Fahrer, der weiß, wo er hinschauen muss, aber trotzdem immer einen Teil seines Bewusstseins für den Rest der Umgebung behält.

3. Das Ergebnis: Schneller, sicherer, schlauer

Durch diese zwei Tricks (Zusammenfassen der Zeit und gezieltes Fokussieren auf das Wichtige) passiert etwas Magisches:

Das System muss 32 % weniger Rechenarbeit leisten. Das ist wie wenn Sie ein Auto bauen, das mit weniger Benzin auskommt, aber genauso schnell fährt.
Es schneidet 85 % der unnötigen Bildpunkte weg, verliert aber trotzdem fast keine Genauigkeit.
Auf den Teststrecken (NAVSIM) hat das System so gut abgeschnitten wie die besten bisherigen Modelle, aber es ist viel effizienter.

Zusammenfassend:
ETA-VLA ist wie ein menschlicher Fahrer im Computer. Ein menschlicher Fahrer schaut nicht starr auf jeden einzelnen Stein auf der Straße. Er weiß, worauf er achten muss (Verkehr, Ampeln, Fußgänger) und blendet den Rest aus, behält aber im Hinterkopf, dass etwas Wichtiges passieren könnte. Die Forscher haben diesem Verhalten nachgebaut, damit autonome Fahrzeuge nicht nur „dumm" und rechenintensiv sind, sondern „klug" und ressourcenschonend fahren können.

1. Problemstellung

Autonomes Fahren erfordert die Verarbeitung hochdimensionaler räumlich-zeitlicher Daten aus mehreren Kameraperspektiven über die Zeit. Vision-Language-Action (VLA) Modelle, die Large Language Models (LLMs) nutzen, bieten einen einheitlichen Rahmen für die Interpretation von Szenen und die Ausführung von Steuerbefehlen. Ein zentrales Problem bei der Implementierung solcher Modelle ist jedoch der Rechenleistungsengpass:

Quadratische Komplexität: Die Selbst-Aufmerksamkeitsmechanismen (Self-Attention) in LLMs haben eine quadratische Komplexität ( $O(L^2)$ ) bezüglich der Sequenzlänge $L$ .
Token-Explosion: Um genaue Vorhersagen zu treffen, müssen historische Multi-View-Frames (z. B. $n$ vergangene Frames von $C$ Kameras) verarbeitet werden. Das lineare Anfügen aller visuellen Token führt zu einer massiven Sequenzlänge.
Hardware-Beschränkungen: Die daraus resultierende Rechenlast (FLOPs) macht den Einsatz auf eingebetteter Fahrzeughardware oft unmöglich.
Mangelnde Effizienz-Accuracy-Abwägung: Bestehende Methoden zur Token-Pruning ignorieren oft semantische Texteinträge oder behandeln zeitliche Abhängigkeiten nicht innerhalb des LLMs, was zu einem Verlust kritischer Informationen (z. B. in toten Winkeln) führt.

2. Methodik: ETA-VLA Framework

Die Autoren schlagen ETA-VLA (Efficient Token Adaptation) vor, ein Framework, das die Effizienz auf zwei Ebenen adressiert: zeitlich und räumlich innerhalb des LLM. Das System besteht aus drei Hauptkomponenten:

A. Temporal Fusion Module (TFM)

Ziel: Reduktion der Token-Anzahl durch zeitliche Kompression vor dem LLM.
Funktionsweise: Anstatt alle Frames direkt zu konkatenieren, extrahiert ein visueller Encoder Features. Diese werden mit lernbaren Zeit-Embeddings ( $E_{temp}$ ) angereichert.
Adaptive Fusion: Ein Transformer-basierter Encoder erfasst zeitliche Abhängigkeiten. Anschließend erfolgt eine gewichtete Aggregation mittels lernbarer Zeitgewichte ( $w$ ), um eine kompakte visuelle Merkmalskarte ( $V_{fused}$ ) zu erzeugen, die kritische Bewegungsinformationen bewahrt, aber redundante historische Daten komprimiert.

B. Intra-LLM Sparse Aggregator (ILSA)

Dies ist der Kerninnovation, die direkt im LLM (basierend auf LLaMA) operiert, um Token dynamisch zu selektieren.

Hybride Ausführungsstrategie: Nur ausgewählte Schichten des LLM nutzen eine „eager"-Implementierung für die Token-Auswahl, während andere Schichten optimierte Attention-Mechanismen (FlashAttention) nutzen, um Overhead zu minimieren.
Dynamische Text-Anker-Auswahl: Statt alle Text-Token zu nutzen, identifiziert das System relevante linguistische „Bewerter" (Anker), die semantisch mit den visuellen Token übereinstimmen, um Rauschen durch irrelevante Anweisungen zu vermeiden.
RoPE-freie Semantische Bewertung: Herkömmliche Attention-Scores in LLMs sind durch Rotary Position Embeddings (RoPE) verzerrt (abhängig von der relativen Distanz). ILSA berechnet eine RoPE-freie Attention-Matrix, die die reine semantische Relevanz zwischen der Fahr-Anweisung und den visuellen Token misst, unabhängig von deren Position in der Sequenz.
Diversity-Preserving Sparsification (Vielfaltserhaltende Verdünnung): Um sicherzustellen, dass keine kritischen räumlichen Regionen (z. B. Seitenansichten bei einer Kurve) verloren gehen, wird eine Zwei-Phasen-Strategie angewendet:
1. Global Pruning: Selektion der Top-K Token basierend auf der semantischen Relevanz für die Aufgabe.
2. Recycling (Wiederverwertung): Selektion zusätzlicher Token basierend auf ihrer Feature-Diversität innerhalb jeder Kameraperspektive. Dies garantiert, dass auch weniger semantisch relevante, aber strukturell einzigartige Token (z. B. für die Situationswahrnehmung) erhalten bleiben. Dies imitiert die menschliche Aufmerksamkeitsverteilung.

C. Action Decoding

Anstatt diskrete Aktionen autoregressiv zu generieren, wird ein leichter Transformer-Decoder verwendet, der die verdünnten visuellen Sequenzen in kontinuierliche Trajektorien umwandelt. Ein vortrainierter Scorer (basierend auf dem Extended Predictive Driver Model Score - EPDMS) optimiert die Trajektorie hinsichtlich Sicherheit, Effizienz und Komfort.

3. Schlüsselbeiträge

Intra-LLM Sparsification: Erste Methode, die Token-Pruning direkt innerhalb des LLM unter Nutzung von Text-Anweisungen und zeitlicher Konsistenz durchführt, anstatt dies nur im Vision-Encoder zu tun.
RoPE-freies Scoring: Ein neuartiger Mechanismus zur Berechnung der Token-Wichtigkeit ohne die Verzerrung durch Positions-Embeddings, was für das Verständnis von Fern- und Nah-Objekten in Fahrszenen entscheidend ist.
Diversity-Preserving Recycling: Eine Strategie, die globale Effizienz mit der Erhaltung der räumlichen Vielfalt (insbesondere über mehrere Kameraperspektiven hinweg) in Einklang bringt, um Sicherheitslücken zu vermeiden.
Temporale Fusion: Adaptive Kompression historischer Daten, die die lineare Wachstumsrate der Token-Anzahl effektiv bremst.

4. Ergebnisse

Die Methode wurde auf dem NAVSIM v2 Benchmark evaluiert:

Leistung (Navtest): ETA-VLA erreicht einen EPDMS-Score von 85,0, was einen neuen State-of-the-Art darstellt und menschliche Experten (90,3) fast erreicht. Es übertrifft starke Baselines wie DiffusionDrive (84,3) und GTRS (84,6).
Robustheit (Navhard): Auf dem schwierigen Navhard-Benchmark (Pseudo-Closed-Loop) erreicht das Modell 48,0 EPDMS, deutlich besser als DiffusionDrive (26,0) und Transfuser (23,1).
Effizienz:
- Reduktion der Rechenkosten (FLOPs) um ca. 32% bei gleicher oder besserer Leistung.
- Bei extremem Pruning (85% der visuellen Token entfernt) wird die Inferenz-FLOPs um 61% reduziert, wobei 94% der ursprünglichen Genauigkeit erhalten bleiben.
Ablationsstudien: Zeigten, dass die Kombination aus TFM und ILSA entscheidend ist. Das Entfernen der TFM senkte die Leistung drastisch. Die RoPE-freie Bewertung und das Recycling-Verfahren übertrafen etablierte Methoden wie HoloV und SparseVLM signifikant.

5. Bedeutung und Fazit

ETA-VLA adressiert das fundamentale Dilemma zwischen Rechenkomplexität und Sicherheitsanforderungen in autonomen Fahrsystemen.

Menschliche Nachahmung: Das Framework imitiert erfolgreich die menschliche kognitive Aufmerksamkeitsverteilung: Es fasst die Vergangenheit zusammen (TFM) und fokussiert sich selektiv auf relevante, aber diverse Teile der aktuellen Szene (ILSA).
Praktische Anwendbarkeit: Durch die signifikante Reduktion der FLOPs bei Beibehaltung der hohen Genauigkeit wird der Einsatz von komplexen VLA-Modellen auf ressourcenbeschränkter Fahrzeughardware erst möglich.
Sicherheit: Der Ansatz der „Vielfaltserhaltung" stellt sicher, dass die Effizienzsteigerung nicht zu einem Verlust des Situationsbewusstseins in kritischen Bereichen (wie toten Winkeln) führt, was für die Sicherheit autonomer Fahrzeuge essenziell ist.

Zusammenfassend bietet ETA-VLA einen skalierbaren und effizienten Weg, um hochintelligente, sprachgesteuerte Fahrmodelle in die reale Welt zu integrieren.