Technische Samenvatting: Let op de kloof tussen geprivilegieerdeerde en camera-informatie

Probleemstelling

Camera-georiënteerde autonome rijmodellen voorspellen toekomstige ego-voertuig trajecten (waypoints) met behulp van uitsluitend RGB-beelden, ego-toestandkenmerken en routecommando's. Hoewel end-to-end systemen die deze inputs direct naar besturing vertalen schaalbaar zijn, stellen de auteurs dat standaard waypoint-supervisie alleen vaak leidt tot een zwakke supervisie van de representatie van nabijgelegen weggebruikers (actoren). In complexe stedelijke scènes hangt het ego-traject frequent af van een kleine set specifieke voertuigen, voetgangers of fietsers. Een zuivere waypoint-doelstelling beperkt het uiteindelijke pad, maar kan er niet in slagen om tussenliggende beeldkenmerken te dwingen om expliciet te coderen welke actoren aanwezig zijn, welke relevant zijn, of hoe zij bewegen.

Het kernprobleem dat wordt geadresseerd is of training-alleen, actor-niveau supervisie de open-loop waypoint-voorspelling op basis van enkel RGB kan verbeteren zonder dat daarvoor geprivilegieerde actor-toestandinformatie (bijv. exacte simulatorcoördinaten) nodig is tijdens de inferentie. De auteurs beogen de "privileged-to-camera gap" te kwantificeren—het prestatieverschil tussen modellen die gebruikmaken van exacte weggebruikers-toestanden en modellen die uitsluitend vertrouwen op camera-inputs.

Methodologie

Framework Overzicht

De voorgestelde aanpak behandelt camera-georiënteerde waypoint-voorspelling als een gesuperviseerd, actor-centrisch representatie-leervraagstuk. Het systeem introduceert Road-User Sidecar (RU-sidecar) supervisie: hulp-labels afgeleid uit offline simulator-toestanden die de training van een camera-gebaseerd model sturen. Deze labels worden nooit als input gebruikt tijdens de inferentie.

Het framework bestaat uit drie hoofdcomponenten:

1. Deployable Camera Path: Een student-model dat multi-view RGB, ego-toestand en routecommando's als input neemt. Het voorspelt actor-gecentreerde intermediaire representaties (actor tokens), rangschikt hun relevantie, voorspelt korte-termijn toekomsten voor geselecteerde actoren, en gebruikt deze om toekomstige ego-waypoints te voorspellen.
2. Offline Label Generator: Een module die de simulator-toestand verwerkt om sidecar-labels ($S_t$) te genereren voor training. Deze bevatten:
   • Actor Geometrie & Attributen ($B_t$): Klasse, positie, koers, snelheid en validiteitsmaskers.
   • Image-Grounded Labels ($G_t$): Geprojecteerde locatie van actoren in de camerabeelden.
   • Target-Conditioned Relevance ($C_t$): Een relevantiescore ($c_i$) die actoren rangschikt op basis van afstand, relatieve snelheid, tijd-tot-conflict, route-rijstrookrelevantie, status als kwetsbare weggebruiker (VRU) en hindsight overlap met het toekomstige ego-pad.
   • Selected-Actor Futures ($F_t$): Korte-termijn bewegingsdoelen voor de top-$K$ relevante actoren.
3. Non-Deployable Simulator Path: Een diagnostisch referentiemodel dat exacte simulator actor-toestanden ($A_t$) als input gebruikt. Dit dient als een oracle om de resterende prestatiekloof te schatten en, optioneel, als een leraar voor distillatie.

Model Architectuur

Het deploybare model gebruikt een gedeelde visuele encoder (ConvNeXt-Tiny) om de RGB-historie te verwerken. Het maakt gebruik van een student interface bestaande uit:

• Actor-Token Head: Voorspelt een vaste set camera-afgeleide actor-slots en attributen.
• Selector: Rangschikt actor-slots op basis van relevantie voor het ego-voertuig.
• Dynamics Head: Voorspelt korte-termijn toekomsten voor de top-$K$ geselecteerde actoren.
• Waypoint Planner: Let op de geselecteerde actor-future tokens om het ego-traject te voorspellen.

Tijdens de training worden voorspelde slots gematcht met sidecar-actoren via deterministische greedy nearest-center matching. De losses zijn:

• Primair: Waypoint imitatie loss ($L_{wp}$).
• Sidecar Losses: Objectiviteit/geometrie ($L_{obj}$), attributen ($L_{attr}$), relevantie-rangschikking ($L_{sel}$), en geselecteerde actor-dynamiek ($L_{dyn}$).
• Optioneel Distillatie: Teacher alignment ($L_{dist}$) met behulp van het simulator-toestand model.

Experimenteel Protocol

Experimenten maken gebruik van een vaste simulator-snapshot van LMDrive met route-disjoint splits (geen route komt in meerdere splits voor). De evaluatie is strikt open-loop, waarbij Final Displacement Error (FDE) en Average Displacement Error (ADE) op uitgesloten routes worden gemeten. De studie vergelijkt:

• Een eenvoudige waypoint-alleen RGB baseline.
• Een gematchte "no-teacher" non-sidecar controle (dezelfde architectuur, geen sidecar losses).
• RU-sidecar modellen (met en zonder teacher alignment).
• Non-deployable diagnostieken (Oracle sidecar-geselecteerde actor en Simulator-toestand actor-dynamiek).

Belangrijkste Resultaten

Kwantitatieve Prestaties

Op de test-split behaalde het RU-sidecar model zonder teacher alignment een Final Displacement Error (FDE) van 1.223 ± 0.01 m.

• Dit is een reductie van 32.6% ten opzichte van de plain waypoint-alleen RGB baseline (1.815 m).
• Dit is een reductie van 28.7% ten opzichte van de gematchte no-teacher non-sidecar controle (1.716 m).
• Het model verbeterde boven de baseline op 1445/1494 uitgesloten routes en boven de gematchte controle op 1417/1494 routes.

Teacher Alignment: Het toevoegen van een simulator-toestand teacher verminderde de FDE verder naar 1.186 m, maar introduceerde een hogere variabiliteit tussen verschillende runs (seed variability). De auteurs beschouwen dit als secundair aan het robuuste no-teacher resultaat.

Diagnostiek:

• De Oracle sidecar-geselecteerde actor diagnostiek (gebruikmakend van exacte actor-selectie maar camera-features) behaalde een FDE van 1.146 m.
• De Simulator-toestand actor-dynamiek diagnostiek (gebruikmakend van exacte actor-toestanden) behaalde een FDE van 0.174 m.
• De grote kloof tussen het RU-sidecar model (1.223 m) en de simulator-toestand diagnostiek (0.174 m) bevestigt dat er een aanzienlijke "privileged-to-camera gap" blijft bestaan.

Slice Analyse

Verbeteringen waren consistent over alle niet-lege actor-geconditioneerde slices:

• Actor-Dense Scènes: 29.1% FDE-reductie voor samples met $\ge$ 4 geldige sidecar-actoren.
• Kwetsbare Weggebruikers (VRU): 30.0% FDE-reductie wanneer een voetganger of fietser aanwezig is.
• Horizon-gewijs: FDE-reductie werd waargenomen over alle 6 voorspellingshorizonten.

Ablatie Bevindingen

• Het verwijderen van actor-future supervisie ($L_{dyn}$) of selector-supervisie ($L_{sel}$) zorgde ervoor dat de prestaties terugvielen naar het niveau van de baseline, wat aangeeft dat beide componenten cruciaal zijn voor de winst.
• Eenvoudige waypoint loss herweging of geshuffled-teacher controles leverden verwaarloosbare verbeteringen op, wat suggereert dat de winst specifief is voor de actor-centrische supervisiestructuur.

Betekenis en Claims

Het artikel claimt aan te tonen dat simulator-afgeleide, training-alleen sidecar-supervisie de open-loop waypoint-voorspelling voor camera-georiënteerde modellen significant verbetert. Door het probleem te formuleren als een actor-centrisch representatie-leervraagstuk, leert het model de weggebruiker-structuur (existentie, relevantie en beweging) te coderen vanuit enkel RGB-inputs, wat op zijn beurt helpt bij het plannen van trajecten.

Belangrijkste bijdragen zijn:

1. Formulering: Het behandelen van camera-georiënteerde waypoint-voorspelling als een gesuperviseerd actor-centrisch representatievraagstuk.
2. Methode: Introductie van RU-sidecar labels voor actor-grounding, relevantie en beweging zonder de RGB-only inferentie te compromitteren.
3. Evaluatie: Een gecontroleerde "control ladder" die de effecten van actor-supervisie isoleert van architecturale wijzigingen of loss herweging, gebruikmakend van route-disjoint splits.
4. Gap Kwantificering: Het bieden van empirisch bewijs voor de resterende kloof tussen camera-afgeleide representaties en geprivilegieerde actor-toestanden.

Beperkingen en Bescheidenheid:
De auteurs geven expliciet aan dat hun claims beperkt zijn tot open-loop simulatie-diagnostiek. De studie stelt geen closed-loop veiligheid, crash-vermijding, real-world transfer of deployment-gereedheid vast. Bovendien wordt de actor-future head gekarakteriseerd als een "representatie-vormend en planner-conditionerend mechanisme" in plaats van een deploybaar forecasting module, aangezien de absolute toekomstige toestand-voorspelling (Dyn-FDE) matig blijft. De primaire ondersteunde claim is de effectiviteit van het no-teacher RU-sidecar recept, aangezien teacher alignment slechts marginale winst bood met hogere instabiliteit.