Technische Samenvatting: Planning-Aligned Token Compressie voor Long-Context Autonoom Rijden

Probleemstelling

Monolithische Vision-Action (VA) en Vision-Language-Action (VLA) beleidsmodellen vertegenwoordigen een paradigmaverschuiving in autonoom rijden, waarbij multi-modale inputs direct worden in kaart gebracht naar voertuigtrajecten via verenigde transformer-backbones. Het schalen van deze modellen om complexe interacties aan te kunnen vereist echter uitgebreide temporele context, wat de visuele token-sequentielengte snel doet opzwellen tot boven de computationele budgetten voor real-time verwerking.

Bestaande oplossingen kampen met een afweging:

• Lineaire Transformers/Externe Geheugen: Vereisen vaak aanpassingen aan de backbone of introduceren architecturale complexiteit.
• Token Compressie: De meest praktische benadering, omdat het geen wijzigingen in de backbone vereist. Huidige methoden vertrouwen echter op regelgebaseerde heuristieken (bijv. temporeel verval), die recente frames behouden en oudere frames willekeurig weggooien.
• De Kernbeperking: Regelgebaseerde compressie staat los van het planning-doel. Het slaagt er niet in om onderscheid te maken tussen redundante informatie en beslissingskritieke historische signalen (bijv. de volgorde van aankomst van voertuigen bij een kruispunt met voorrang). Zoals in het artikel wordt geïllustreerd, kan het weggooien van verre observaties (bijv. op $t=-3s$) leiden tot onjuiste beslissingen over de voorrang, wat resulteert in veiligheidschendingen zoals het doorrijden bij een stopbord.

Methodologie: COMPACT-VA

De auteurs stellen COMPACT-VA (Compression via Planning-Aligned Context Tokens) voor, een working memory framework dat is ontworpen om uitgebreide context te comprimeren tot begrensde representaties, terwijl de compressie expliciet wordt afgestemd op de rij-intentie.

1. Hiërarchische Temporele Context Buffering

In plaats van een platte context-window wordt de observatiegeschiedenis ($T$ tijdstappen) georganiseerd in een hiërarchische FIFO-geheugenbank met $K$ compressielagen.

• Temporele Decay Inductive Bias: Recente frames behouden een hoge token-resolutie (geen compressie), tussenliggende frames ondergaan matige compressie, en verre frames ondergaan agressieve compressie.
• Q-former Compressie: In elke laag worden leerbare query-tokens samengevoegd met ruwe observatie-tokens, tijdstap-embeddings en camera-embeddings. Een Q-former module (gebaseerd op MMDiT) verwerkt dit via self-attention om selectief taakrelevante visuele kenmerken te aggregeren.
• Positionele Consistentie: Rotary Positional Embeddings (RoPE) worden geschaald door de compressieratio om uitlijning met de ongecomprimeerde sequentie te behouden.

2. Planning-Aligned Variational Coupling

De kerninnovatie is een Conditional Variational Auto-Encoder (cVAE) met Vector Quantization (VQ) die de compressiekwaliteit direct koppelt aan trajectvoorspelling.

• Driving Intent Latent ($z$): Een compacte discrete latente variabele wordt tijdens de training gedestilleerd uit toekomstige trajecten.
• Posterior Encoder (Q-net): Traint alleen tijdens de trainingsfase. Het neemt de gecomprimeerde observaties ($o_{compressed}$) en het grondwaarheid toekomstige traject ($\tau_{future}$) als input om de driving intent latent $z_q$ te extraheren.
• Prior Encoder (P-net): Werkt tijdens zowel de trainings- als de inferentiefase. Het voorspelt de intent latent $z_p$ met alleen de gecomprimeerde observaties, zonder toegang tot toekomstige informatie.
• Vector Quantization: Zowel $z_q$ als $z_p$ worden in kaart gebracht naar een gedeelde discrete codebook. Deze discretisering dwingt het model om een eindig aantal rij-"skills" of intenties te leren.
• End-to-End Optimalisatie: Het systeem wordt geoptimaliseerd via een samengestelde loss-functie:
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  De KL-divergentieterm zorgt ervoor dat de prior-distributie (tijdens inferentie) overeenkomt met de posterior-distributie (tijdens training). Als de Q-former kritieke historie wegwerpt, kan de prior de intentie niet voorspellen, wat resulteert in een hoge KL-divergentie en een verslechterde trajectvoorspelling. Dit creëert een closed-loop waarbij het model leert wat het moet behouden.

3. Inferentie

Tijdens de testfase is alleen de prior-pathway actief. Het model comprimeert observaties, voorspelt de latent $z_p$, kwantiseert deze, en voegt deze toe als een speciale token aan de gecomprimeerde geheugenbank. Deze gecombineerde sequentie voedt de verenigde transformer-backbone voor autoregressieve trajectgeneratie.

Evaluatiekader

De auteurs identificeren high-signal dynamische scenario's waar uitgebreide context (5–10 seconden) cruciaal is voor discrete besluitvorming, wat verschilt van continue trajectoptimalisatie:

1. Voorrangskruispunten (Four-Way Stops): Bepalen van de voorrang op basis van de volgorde van aankomst.
2. Stop/Yield met Dynamische Obstructie: Het bijhouden van de status van geoccludeerde voertuigen.
3. Onbeschermde Bochten (Unprotected Turns): Beoordelen van de ruimte tussen tegenliggers over een bepaalde tijd.

Metrieken: Traditionele metrieken zoals minADE worden als niet-afgestemd beschouwd. Het artikel introduceert gedragsmetrieken:

• Go Success Rate (Go SR): Het vermogen om door te rijden na het stoppen.
• Stop Success Rate (Stop SR): Het vermogen om volledig te stoppen wanneer dat vereist is.
• Roll-Through Rate: De frequentie waarmee het niet lukt om volledig te stoppen (veiligheidskritisch).
• Stop Position/Duration Errors: Ruimtelijke en temporele afwijkingen.

Belangrijkste Resultaten

Geëvalueerd op de Alpamayo dataset (specifiek gecureerd voor geheugenafhankelijke scenario's) en de Alpasim simulator:

• Prestatiewinst: Onder vergelijkbare token-budgetten (~1.424 tokens) bereikt COMPACT-VA een Go Success Rate van 68,3%, wat beter is dan de standaard 1-seconde baseline (63,8%) en de dense 5-seconde ongecomprimeerde baseline (61,9%).
• Veiligheidsverbeteringen: Het vermindert de Roll-Through Rate met 22% (7,0% vs. 9,0% voor baselines) en verbetert de Stop Success Rate naar 89,2%.
• Ablatie-inzichten:
  • Het verwijderen van de planning-alignment verlaagt de Go SR naar 65,6%, wat de noodzaak bevestigt van de koppeling met intentie.
  • Naïeve compressie (zonder historie-conditionering) levert 63,5%, wat de waarde aantoont van traject-geconditioneerde compressie.
  • Hiërarchische compressie is essentieel; recente frames moeten de volledige resolutie behouden.
• Efficiëntie: Vergeleken met ongecomprimeerde 5-seconde verwerking (6.400 tokens), bereikt COMPACT-VA een 3,3× versnelling in inferentie en een 2,7× reductie in geheugen (3,95 GB vs. 10,51 GB piek GPU-geheugen) terwijl algemene rijvaardigheid behouden blijft in closed-loop simulaties.

Betekenis en Claims

Het artikel stelt dat taakbewuste working memory de sleutel is tot redeneren in diverse autonome rijscenario's. Door over te stappen van regelgebaseerde heuristieken naar planning-aligned compressie, ontdekt en behoudt het model impliciet beslissingskritieke historische informatie zonder handmatig gecreëerde retentieregels.

De auteurs positioneren dit werk als een stap naar effectief geheugen voor monolithische VA/VLA-beleidsmodellen, en demonstreren dat begrensde context-windows, wanneer gekoppeld aan variationele doelstellingen, de spanning kunnen oplossen tussen computationele beperkingen en de behoefte aan langdurig redeneren in veiligheidskritische rijbeslissingen. Zij merken op dat hoewel de winst op algemeen rijgedrag bescheiden is, de aanpak bijzonder impactvol is in scenario's met een hoog signaalgehalte waar discrete beslissingen (stop/go) afhangen van gedragscues uit het verleden van 5–10 seconden.