Technische Samenvatting: Neural Token Reconstruction voor de Scene Token Bottleneck in End-to-End Driving

1. Probleemstelling

Recente perceptievrije end-to-end (E2E) autonome rijmethoden omzeilen expliciete perceptie-outputs (bijv. detectie, segmentatie) door dichte beeldpatch-tokens te comprimeren tot een compacte set "scene tokens". Deze tokens dienen als de enige visuele interface tussen de vision-backbone en de trajectplanner.

De kernbeperking die in dit werk wordt geïdentificeerd, is dat deze scene tokens uitsluitend worden gesuperviseerd door het planningsobjectief (trajectgeneratie en scoring). Dit biedt slechts zwakke beperkingen op de fijnmazige visuele informatie die tijdens compressie behouden blijft. Gevolglik hebben de geleerde scene tokens de neiging om redundante representaties te ontwikkelen met sterk overlappende ruimtelijke aandachtspatronen, waardoor ze er niet in slagen diverse en informatieve visuele bewijslast te bewaren die noodzakelijk is voor robuuste planning. Dit probleem is analoog aan bekende defecten in Vision Transformers waarbij aggregatie-tokens neigen naar 'lazy encoding' zonder expliciete supervisie.

De fundamentele vraag die wordt geadresseerd is: Hoe kunnen compacte scene tokens planning-relevante visuele informatie behouden zonder expliciete perceptie-supervisie?

2. Methodologie: Neural Token Reconstruction (NTR)

De auteurs stellen Neural Token Reconstruction (NTR) voor, een self-distillatieframework dat ontworpen is om de scene-token bottleneck direct tijdens de training te superviseren. Het framework werkt zonder de planner-architectuur te wijzigen of expliciete perceptie-koppen te introduceren tijdens de inferentie.

Kernmechanisme

NTR introduceert een masked latent reconstruction objective die de compacte scene tokens dwingt om te fungeren als het enige geheugen voor het reconstrueren van gemaskeerde patch-niveau latente features.

1. Self-Distillation Setup:
   • Online Encoder: Verwerkt gemaskeerde beelden om scene tokens en gemaskeerde patch-features te generen.
   • EMA Teacher: Een Exponential Moving Average (EMA) kopie van de online encoder verwerkt schone beelden om stop-gradient latente targets ($Z_{v,*}$) te leveren.
2. Reconstructieproces:
   • Een lichtgewicht decoder probeert de latente features van de teacher te reconstrueren op specifieke gemaskeerde locaties.
   • Cruciaal is dat de decoder alleen cross-attendeert naar de compacte scene tokens ($\tilde{S}_{v,m}$) en geen toegang heeft tot de dichte online patch-outputs.
   • Deze architecturale beperking zorgt ervoor dat reconstructie-gradiënten uitsluitend door de compacte scene-token bottleneck moeten lopen, wat de tokens dwingt om rijkere, minder redundante visuele bewijslast te coderen om aan de reconstructie-loss te voldoen.

Semantisch Gestuurde Allocatie

Om de reconstructie-efficiëntie en relevantie te verbeteren, maakt NTR gebruik van semantische priors afgeleid van foundation-model segmentatie (bijv. SAM3).

• In plaats van uniforme willekeurige masking, worden reconstructie-targets toegewezen aan gestructureerde, veiligheidskritische rijregio's (agenten, begaanbare gebieden, verkeerscontroletekens).
• Deze priors fungeren als een zwakke bias tijdens de training, maar worden volledig verwijderd tijdens de inferentie, wat zorgt voor nul extra computationele overhead voor de ingezette planner.

Trainingsdoelstelling

De totale loss-functie combineert de originele planning loss ($L_{plan}$) met de reconstructie loss ($L_{rec}$):
$$L = L_{plan} + \lambda_{rec}L_{rec}$$
Waarbij $L_{rec}$ wordt berekend als de $L_1$-afstand tussen de gereconstrueerde latente features en de stop-gradient teacher targets op de geselecteerde patch-locaties.

3. Belangrijkste Bijdragen

1. Identificatie van de Bottleneck: Het papier identificeert de scene-token compressie-interface als een kritieke representatieleeruitdaging in perceptievrije E2E driving, waarbij tokens vaak inklappen naar redundante features door een gebrek aan directe supervisie.
2. NTR Framework: Stelt een self-distillatieframework voor met behulp van masked latent reconstruction om de compacte planning-bottleneck direct te superviseren, wat het behoud van informatieve en complementaire visuele bewijslast stimuleert.
3. Semantische Priors zonder Overhead: Introduceert een methode om reconstructie-targets te sturen naar gestructureerde rij-elementen met behulp van foundation-model annotaties, wat de kwaliteit van de supervisie verbetert zonder expliciete perceptie-koppen of kosten tijdens de inferentie te introduceren.
4. Empirische Validatie: Demonstreert dat NTR de planning-prestaties verbetert en tegelijkertijd de token-redundantie vermindert en de effectieve rang van de scene token representatie verhoogt.

4. Experimentele Resultaten

De auteurs hebben NTR geëvalueerd op drie publieke benchmarks en een private grootschalige dataset.

• Waymo Open Dataset (E2E Track):
  • Behaalde een state-of-the-art RFS (Rater Feedback Score) van 8.0461 met ensembling (7.9982 met een enkel model).
  • Presteerde beter dan bestaande methoden (bijv. RAP, Poutine, IRL-VLA) in zowel menselijke beoordelingsscores als trajectnauwkeurigheid (ADE).
• NavSim V1 & V2:
  • Behaalde 94.1 PDMS en 90.9 EPDMS op de navtest split, waarmee zij voorgaande SOTA-methoden zoals DrivoR en RAP overtrof.
• Token Diagnostiek:
  • Analyse van pairwise cosine similarity en effectieve rang toont aan dat NTR de token-redundantie aanzienlijk vermindert en de effectieve dimensionaliteit van het scene token geheugen vergroot vergeleken met planning-only baselines.
• Real-World Deployment:
  • Gevalideerd op een private grootschalige driving dataset en geïntegreerd in een real-vehicle planning stack, wat de praktische toepasbaarheid en schaalbaarheid aantoont.

5. Betekenis en Claims

Het papier claimt dat NTR een fundamenteel gat in de representatieleer bij perceptievrije planning adresseert. Door de bottleneck direct te superviseren via reconstructie, dwingt de methode de compacte scene tokens om rijkere en minder redundante visuele representaties te leren.

Belangrijke punten benadrukt door de auteurs:

• Alleen tijdens Training: Alle hulpcomponenten (reconstructie decoder, EMA teacher, semantische priors) worden tijdens de inferentie verwijderd, waardoor de ingezette planner ongewijzigd blijft.
• Complementair Karakter: NTR richt zich op de compressie-bottleneck in plaats van op de visuele backbone zelf, waardoor het complementair is aan backbone-niveau pretraining methoden zoals MAE of JEPA.
• Prestatie vs. Efficiëntie: De aanpak bereikt state-of-the-art planning-prestaties zonder de computationele complexiteit of architecturale complexiteit tijdens de inferentie te verhogen.

De auteurs concluderen dat directe bottleneck-supervisie via masked latent reconstruction een levensvatbare en effectieve strategie is om de kwaliteit van compacte visuele representaties in end-to-end autonoom rijden te verbeteren.