ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

Probleemstelling

Vision-Language-Action (VLA) modellen bieden een veelbelovende aanpak voor autonoom rijden door visuele input en taakgerichte instructies te vertalen naar besturingscommando's. Echter, het implementeren van deze modellen in real-world omgevingen stuit op een kritiek efficiëntie-probleem:

• Temporele complexiteit: Accurate trajectvoorspelling vereist de verwerking van historische multi-view frames (meerdere camera's over tijd).
• Rekenkundige explosie: Traditionele VLA-architecturen plakken visuele tokens van alle frames en camera's aan elkaar. Omdat de zelf-attentie-mechanismen in Large Language Models (LLM) een kwadratische complexiteit hebben ($O(L^2)$) ten opzichte van de sequentielengte $L$, leidt een toename van het aantal frames en camera's tot een onbeheersbare toename in rekenkosten (FLOPs).
• Token-bloat: Dit maakt de uitvoering op ingebouwde voertuighardware onmogelijk. Bestaande methoden voor token-pruning missen vaak de nuance van tekstuele semantiek of modelleren geen complexe temporele afhankelijkheden binnen de LLM.

Methodologie: ETA-VLA

De auteurs stellen ETA-VLA (Efficient Token Adaptation) voor, een framework dat de rekenlast verlaagt door redundantie te elimineren op zowel temporeel als ruimtelijk niveau, geïnspireerd door de cognitieve aandachtstoewijzing van menselijke bestuurders. Het framework bestaat uit drie kerncomponenten:

1. Temporal Fusion Module (TFM):

   • Werkt voor de LLM op de visuele encoder-features.
   • Voegt temporele informatie toe via leerbare tijds-embeddings.
   • Gebruikt een Transformer-gebaseerde encoder om temporele afhankelijkheden te vangen en past vervolgens een leerbare gewogen aggregatie toe. Dit comprimeert de historische frames tot een compacte visuele feature-map, waardoor de lineaire groei van tokens met de tijd wordt tegengegaan.

2. Intra-LLM Sparse Aggregator (ILSA):

   • Dit is de kerninnovatie die binnen de LLM werkt om visuele tokens dynamisch te selecteren en te verwijderen.
   • RoPE-vrije Semantische Scoring: In plaats van standaard causale attentie (die bevooroordeeld is door Rotary Position Embeddings/RoPE), berekent ILSA een "RoPE-free" attentiematrix. Dit zorgt dat tokens puur op basis van hun semantische relevantie voor de rijinstructie worden gescoord, zonder afstandsbias.
   • Dynamische Tekst-Anchors: Het systeem selecteert automatisch de meest relevante teksten ("raters") uit de prompt om visuele tokens te beoordelen, in plaats van alle teksten te gebruiken.
   • Diversiteitsbehoudende Recyclage (Diversity-Preserving Recycling): Om te voorkomen dat kritieke ruimtelijke gebieden (zoals blinde vlekken) verloren gaan, wordt een twee-staps strategie gebruikt:
     1. Globale Pruning: Behoud van de top-K tokens met de hoogste semantische relevantie.
     2. Recycling: Herselectie van tokens die niet in de top-K zitten maar een hoge diversiteitsscore hebben binnen hun respectieve camera-view. Dit garandeert dat de model bewust blijft van diverse scènes, net als een menselijke bestuurder.

3. Actie Decoder:

   • Verwerkt de gesparseerde tokens en voorspelt continue toekomstige trajecten via een lichtgewicht Transformer-decoder.
   • Gebruikt een vooraf getrainde "Scorer" module om de output te optimaliseren op basis van veiligheid, efficiëntie en comfort (EPDMS-score).

Belangrijkste Bijdragen

• Intra-LLM Sparsification: De eerste methode die token-pruning direct binnen de LLM-laag toepast voor VLA-modellen, specifiek ontworpen voor multi-view, multi-frame rijscenario's.
• RoPE-vrije Scoring: Een nieuwe mechanisme om visuele tokens te scoren zonder de positiesbias van RoPE, wat essentieel is voor het begrijpen van semantische relevantie over lange sequenties.
• Menselijke Aandachtsimitatie: De combinatie van temporele fusie en diversiteitsbehoudende recycling imiteert hoe mensen aandacht verdelen (focus op het pad, maar bewustzijn van de omgeving), wat leidt tot een betere balans tussen efficiëntie en veiligheid.
• Hybride Executiestrategie: Een implementatie die alleen op specifieke lagen de "eager attention" gebruikt voor scoring, terwijl de rest van de lagen gebruikmaken van geoptimaliseerde FlashAttention, wat de overhead minimaliseert.

Resultaten

De methode is geëvalueerd op de NAVSIM v2 benchmark (Navtest en Navhard):

• Prestaties: ETA-VLA bereikte een state-of-the-art EPDMS-score van 85.0 op de Navtest-benchmark (bijna het niveau van menselijke experts van 90.3), wat significant hoger is dan bestaande methoden zoals DiffusionDrive (84.3) en GTRS (84.6).
• Efficiëntie:
  • Het model reduceerde de totale FLOPs met ongeveer 32%.
  • Bij een agressieve pruning van 85% van de visuele tokens, werd nog steeds 94% van de oorspronkelijke nauwkeurigheid behouden.
  • De inferentie-FLOPs werden met 61% gereduceerd.
• Ablatiestudies:
  • Het verwijderen van de Temporal Fusion Module liet de score dalen naar 77.2, wat de noodzaak van temporele compressie bevestigt.
  • Vergelijkingen met Random Pruning, HoloV en SparseVLM toonden aan dat de specifieke combinatie van RoPE-vrije scoring en diversiteitsbehoud cruciaal is voor de superieure prestaties.

Betekenis en Conclusie

ETA-VLA lost een fundamenteel probleem op in de toepassing van VLA-modellen voor autonoom rijden: de onhoudbare rekenkosten bij het verwerken van lange temporele reeksen van meerdere camera's. Door de rekenkracht te richten op de meest semantisch relevante en diverse tokens, maakt het framework het mogelijk om high-reasoning VLA-modellen uit te voeren op resource-beperkte voertuighardware.

De studie onderstreept dat het nabootsen van menselijke cognitieve prioritering (samenvatten van het verleden en selectieve aandacht) niet alleen de efficiëntie verbetert, maar ook de veiligheid en robuustheid van het besturingssysteem verhoogt. Dit opent de weg voor de praktische implementatie van geavanceerde, taalgestuurde autonome rijsystemen.