💻 computer science

BeyondSight: Object Permanence for End-to-End Autonomous Driving

Het artikel introduceert BeyondSight, een permanentie-bewust end-to-end autonoom rijframe dat persistente actor-hypothesen behoudt tijdens occlusies om redeneren en planning te verbeteren, gevalideerd door de nieuwe nuScenes-Permanence dataset.

Oorspronkelijke auteurs: Sandro Papais, Letian Wang, Mudit Jain, Behnaz Rezaei, Steven L. Waslander

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sandro Papais, Letian Wang, Mudit Jain, Behnaz Rezaei, Steven L. Waslander

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een auto rijdt, maar in plaats van een mens achter het stuur zit, heb je een superintelligent robotbrein. Dit brein gebruikt camera's om de wereld te zien, net zoals jij dat doet. Maar het lastige deel is: de wereld zit vol met blinde vlekken. Een grote vrachtwagen kan je zicht op een voetganger blokkeren, of een gebouw kan een fietser aan het zicht onttrekken.

Lange tijd hadden de beste robotbreinen een vreemde fout: als ze iets niet konden zien, deden ze alsof het niet bestond.

Denk aan een spelletje "Marco Polo" waarbij de robot alleen spelers telt die hij kan zien. Als een speler achter een drijvend eiland zwemt en uit het zicht verdwijnt, vergeet de robot direct dat diegene er is. Het is alsof de speler in het niets is verdwenen. Dit is gevaarlijk! Als de robot de voetganger achter de vrachtwagen vergeet, kan hij recht naar de plek rijden waar die voetganger op het punt staat te stappen.

Het "Ghost"-probleem

De paper noemt dit het probleem van Object Permanentie. In simpele termen is object permanentie het vermogen om te weten dat dingen nog steeds bestaan, zelfs als je ze niet kunt zien. Baby's leren dit al vroeg; als je een speeltje onder een deken verstopt, weet je dat het er nog steeds is.

De meeste huidige zelfrijdende systemen (zoals in de vergelijking in de paper) zijn als baby's die dit nog niet hebben geleerd. Ze koppelen "bestaan" direct aan "zien".

Zien? Dan is het er.
Niet zien? Dan is het weg.

De auteurs zijn het niet eens met deze aanpak. Ze zeggen dat het feit dat een sensor (zoals een camera of laserradar) geen signaal van een auto of persoon kan opvangen, niet betekent dat die auto of persoon heeft opgehouden te bestaan. De paper sluit expliciet de gedachte uit dat we gewoon moeten wachten tot een object weer verschijnt voordat we ons er zorgen over maken. Wachten is te laat; het ongeluk kan in de tussentijd al gebeuren.

Ontmoet "BeyondSight": De Robot met een Geheugen

De onderzoekers introduceerden een nieuw systeem genaamd BeyondSight. Je kunt BeyondSight zien als een robot die een "mentale post-it" bijhoudt voor elke auto of persoon die hij ooit heeft gezien.

Zo werkt het, met een speelse analogie:
Stel je voor dat de robot een detective is die een mysterie oplost.

De Observatie: De detective ziet een verdachte (een auto) door de straat rennen.
Het Verdwijnen: De verdachte duikt achter een muur. De detective kan hen niet meer zien.
De Oude Manier: De detective zegt: "Nou, ik zie ze niet meer, dus ze moeten ergens naartoe geteleporteerd zijn. Zaak afhandig!" en stopt met het volgen van hen.
De BeyondSight-Manier: De detective zegt: "Ik zie ze niet, maar ik weet dat ze die kant op renden. Ik zal een mentale aantekening bijhouden van waar ze zich zouden moeten bevinden, zelfs al blokkeert de muur mijn zicht."

BeyondSight doet dit wiskundig. Het houdt een "hypothese" (een gok) bij over waar de verborgen actor zich bevindt. Het werkt deze gok bij op basis van hoe snel en in welke richting de actor bewoog voordat ze uit het zicht raakten. Zelfs als de camera niets ziet, houdt het brein van de robot de "ghost" van de actor levend in zijn planning.

Het Bewijs: Werkte het?

De auteurs hebben dit niet alleen bedacht; ze hebben het getest. Ze hebben een nieuwe versie gemaakt van een beroemde rijdende dataset genaamd nuScenes, die ze nuScenes-Permanence noemden.

In de oude dataset, als een auto achter een gebouw verborgen was, zei de data "er is niets". De nieuwe dataset zegt: "Er is een auto, maar deze is verborgen." Dit stelde hen in staat om de robot te trainen om verborgen dingen te onthouden.

Dit is wat ze vonden, met de exacte cijfers uit hun tests:

De "Onzichtbare" Score: Voordat BeyondSight de robot in staat was om actoren die volledig verborgen waren te detecteren, was de score 0. Het was alsof ze niet bestonden. Met BeyondSight sprong deze score naar 0.249 mAP. Dat is een enorme sprong van niets naar iets!
De Veiligheidsscore: Het belangrijkste deel is hoe goed de auto rijdt. De onderzoekers maten de "planning error" (hoe ver de route van de auto afweek van het perfecte, veilige pad).
- De oude manier had een fout van 0.61.
- BeyondSight verlaagde deze fout naar 0.54.
- Ze maten ook de "collision rate" (hoe vaak de robot bijna iets raakte). De oude manier was 0.08%, en BeyondSight verlaagde dit naar 0.07%.

Waarom dit ertoe doet

De paper suggereert dat dit "geheugen" de robot veiliger maakt, vooral op lastige plekken zoals zebrapaden of kruispunten waar auto's vaak achter andere auto's verborgen zitten.

In één specifieke test keken ze naar een situatie waarin een voetganger verborgen was achter een vrachtwagen.

De Oude Robot: Vergeet de voetganger. Hij plande een route die recht naar de toekomstige positie van de voetganger zou leiden.
BeyondSight: Herinnerde zich de voetganger. Hij plande een route die de verborgen persoon voldoende ruimte gaf, ook al kon hij de persoon niet zien.

De Addertjes (Wat ze nog niet weten)

De auteurs zijn voorzichtig om niet te zeggen dat dit een perfect, opgelost probleem is. Ze geven toe dat als een verborgen object voor een zeer lange tijd verborgen blijft, de gok van de robot een beetje "verouderd" kan raken of uit koers kan raken. Het is als het raden waar een vriend achter een muur langs rent; als de muur 100 meter lang is, kan je gok een beetje naast zitten tegen de tijd dat ze weer tevoorschijn komen.

Daarnaast werkt het systeem het best wanneer het verborgen object vloeiend beweegt. Als een verborgen auto plotseling stopt of een bocht maakt op een manier die de robot niet verwachtte, kan het systeem het niet onmiddellijk oppikken.

De Kernboodschap

De belangrijkste bevinding is dat voor zelfrijdende auto's om echt veilig te zijn, ze moeten stoppen met handelen alsof ze alleen in het huidige moment bestaan. Ze moeten onthouden wat ze een seconde geleden hebben gezien, zelfs als dat nu uit het zicht is.

BeyondSight suggereert dat door robots een "geheugen" te geven voor verborgen objecten, we ze betere beslissingen kunnen laten nemen en ongelukken kunnen voorkomen in de blinde vlekken waar de meeste echte gevaren zich verschuilen. Het is een stap naar auto's die niet alleen de wereld "zien", maar deze ook echt "begrijpen".

Technische Samenvatting: BeyondSight: Objectpermanentie voor End-to-End Autonoom Rijden

1. Probleemstelling

Autonome rij-systemen opereren in gedeeltelijk observeerbare omgevingen waarin actoren (voertuigen, voetgangers) frequent volledig worden afgeschermd door infrastructuur of andere voertuigen. Analyse van de nuScenes-dataset onthult dat ongeveer 30% van de actoren op elk gegeven tijdstip volledig onobserveerbaar is, inclus\text{bij} de actoren die zich in de directe nabijheid van het voertuig bevinden.

Huidige end-to-end autonome rij (E2E-AD) systemen koppelen de existentie van een actor doorgaans aan de instantane observatie. Wanneer een actor volledig onobserveerbaar wordt, degradeert de representatie van deze actor in het model vaak of verdwijnt deze volledig. Het verwijderen van deze "onzichtbare" agenten uit de scène-representatie dwingt downstream predictie- en planningsmodules om alleen te redeneren over momenteel zichtbare actoren. Bijgevolg vertonen deze systemen reactief of fragiel gedrag in scenario's met veel occlusie (bijv. kruispunten), waarbij ze er niet in slagen veilige trajecten te handhaven voor actoren die tijdelijk verborgen zijn maar nog wel aanwezig zijn. Bovendien gaan standaard perceptie-benchmarks impliciet uit van een gelijkstelling tussen observeerbaarheid en existentie, waarbij onobserveerbare actoren uit zowel de supervisie als de evaluatie worden gefilterd, wat voorkomt dat modellen persistente representaties leren over de gaten in observeerbaarheid heen.

2. Methodologie: BeyondSight

De auteurs stellen BeyondSight voor, een permanentie-bewust E2E-AD framework dat de existentie van een actor expliciet ontkoppelt van de instantane observeerbaarheid. Het systeem behoudt persistente actor-hypothesen over de tijd, waardoor gezamenlijke perceptie, predictie en planning kunnen redeneren over actoren, zelfs wanneer zij tijdelijk onobserveerbaar zijn.

Kernarchitectuur

BeyondSight bouwt voort op de SparseDrive architectuur, die gebruikmaakt van sparse queries om dynamische actoren en kaart-elementen te representeren. De belangrijkste innovatie is een driefasen-inferentiepipeline geïnspireerd door Bayesiaanse filtering, ontworpen om actor-hypothesen te propageren en bij te werken:

Temporal Prior Decoder: Deze module propageert actor-queries van het vorige frame ( $q_{t-1}$ ) naar het huidige tijdstip ( $t$ ) om een bewegingsgeconditioneerde hypothese-set ( $q_t^{\text{prior}}$ ) te genereren. Cruciaal is dat deze fase uitsluitend opereert op query-embeddings via self-attention en een lichtgewicht MLP, zonder toegang te hebben tot de huidige beeldkenmerken. Dit stelt het model in staat om hypothesen voor actoren te behouden, zelfs wanneer er geen visueel bewijs beschikbaar is.
Observation Decoder: Deze fase combineert de temporele prior met nieuw geïnitialiseerde object-queries en huidige BEV-kenmerken ( $F_t$ ) om observatie-geconditioneerde hypothesen ( $q_t^{\text{obs}}$ ) te produceren. Deze component wordt alleen gesuperviseerd met observeerbare grondwaarheid-actoren.
Posterior Fusion Decoder: Deze module brengt de gepropageerde prior en de observatie-geconditioneerde hypothesen met elkaar in overeenstemming. Het selecteert de voorstel (proposal) met de hogere classificatie-betrouwbaarheid voor elke actor en verfijnt deze om de uiteindelijke scène-representatie ( $q_t^{\text{post}}$ ) te produceren. Deze gefuseerde representatie bevat zowel observeerbare als onobserveerbare actoren, wat zorgt voor een rijkere context voor downstream planning.

Optimalisatie en Supervisie

De training volgt een tweestaps-protocol (perceptie pre-training gevolgd door end-to-end gezamenlijke training). Om objectpermanentie af te dwingen, introduceren de auteurs Permanence-Aware Supervision:

Uitgebreide Grondwaarheid (Extended Ground Truth): De detectie- en bewegingsverliezen worden berekend over de volledige set actoren ( $G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$ ), inclusief degenen die momenteel onobserveerbaar zijn.
Observeerbaarheidsclassificatie: De posterior decoder voorspelt een observeerbaarheidsstatus ( $\hat{o}_t^i$ ) voor elke query, gesuperviseerd via binary cross-entropy. Dit leert het model expliciet om onderscheid te maken tussen een actor die geoccludeerd is versus een actor die afwezig is.
Verliesfunctie: De totale doelstelling omvat standaard detectie-, kaart-, bewegings- en planning-verliezen, aangevuld met een gemodificeerd detectieverlies ( $\mathcal{L}_{\text{det}}'$ ) dat onobserveerbare actoren superviseert, en een observeerbaarheidsclassificatieverlies ( $\mathcal{L}_{\text{obs}}$ ).

3. Belangrijkste Bijdragen

Het artikel introduceert drie primaire bijdragen:

Formalisering van Objectpermanentie: De auteurs definiëren objectpermanentie voor E2E-AD als een representatie-niveau beperking die vereist dat eerder geobserveerde actoren ook dan zij tijdelijk onobserveerbaar zijn, gerepresenteerd blijven in de hypothese-set van het model.
nuScenes-Permanence Benchmark: Een uitbreiding van de nuScenes-dataset die supervisie- en evaluatieprotocollen biedt voor onobserveerbare actoren. Dit omvat het reconstrueren van ontbrekende traject-toestanden met behulp van fysiek gefundeerde bewegingspriors voor intervallen waar sensorondersteuning ontbreekt, waardoor de annotatieset met ongeveer 30% wordt uitgebreid.
BeyondSight Framework: Een permanentie-bewuste uitbreiding van sparse-query E2E-AD architecturen die persistente hypothesen behoudt door middel van temporele propagatie en observeerbaarheids-bewuste fusie, wat redeneren onder langdurige occlusie mogelijk maakt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de nuScenes validatieset en de voorgestelde nuScenes-Permanence benchmark.

Standaard Prestaties

Op standaard nuScenes-metrieken behoudt BeyondSight concurrerende prestaties terwijl het downstream planning verbetert:

Planning: De open-loop planningfout ( $L2_{\text{avg}}$ ) verbeterde van 0.61 (SparseDrive) naar 0.54, en de botsingsratio daalde van 0.08% naar 0.07%.
Perceptie: De detectieprestaties (mAP) stegen van 0.415 naar 0.427, en de tracking-prestaties (AMOTA) verbeterden van 0.372 naar 0.401.
False Positives: Het model veroorzaakte geen extra false positives onder het officiële evaluatieprotocol, wat aantoont dat het behouden van persistente hypothesen de standaard benchmark-prestaties niet verslechtert.

Objectpermanentie Prestaties (nuScenes-Permanence)

De voorgestelde observeerbaarheids-geconditioneerde metrieken laten significante winsten zien in het redeneren over geoccludeerde actoren:

Onobserveerbare Detectie: Het model behaalde een mAP $_{\text{unobs}}$ van 0.249, een dramatische verbetering ten opzichte van de baseline SparseDrive, die een score van 0 behaalde (omdat SparseDrive onobserveerbare actoren weglaat).
Holistisch Begrip: De geaggregeerde metriek mAP $_{\text{all}}$ verbeterde van 0.389 naar 0.413.
Planning onder Occlusie: In een subset met hoge occlusie waar de toekomstige trajecten van verborgen actoren het voertuig naderden, verminderde BeyondSight de planningfout van 0.64 naar 0.56 en de botsingsratio's van 0.163 naar 0.08.

Ablatie-studies

Ablatie-experimenten bevestigden dat:

Temporele propagatie alleen (zonder permanentie-bewuste supervisie) niet in staat is tot detectie van volledig onobserveerbare actoren (mAP $_{\text{unobs}}$ blijft 0).
De combinatie van temporele propagatie, posterior fusie en supervisie op onobserveerbare actoren vereist is om de gerapporteerde winsten te behalen.
De Posterior Fusion Decoder cruciaal is voor het in overeenstemming brengen van gepropageerde hypothesen met huidige observaties.

5. Betekenis en Beperkingen

Het artikel betoogt dat objectpermanentie een cruciaal modelleringsprincipe is voor robuust end-to-end autonoom rijden. Door de existentie van een actor te ontkoppelen van de instantane observeerbaarheid, stelt BeyondSight systemen in staat om te redeneren over de volledige dynamische omgeving, wat leidt tot veiligere planning in scenario's met veel occlusie. De introductie van nuScenes-Permanence biedt het eerste systematische protocol voor het trainen en evalueren van deze capaciteit.

Beperkingen:

Stale Hypothesen: Persistente hypothesen kunnen inaccuraat ("stale") worden tijdens zeer lange occlusies als actoren significant afwijken van de geleerde temporele prior, wat potentieel kan leiden tot lokalisatiefouten (localization drift).
Bewegingsaannames: De nuScenes-Permanence annotaties gaan uit van nagenoeg continue beweging. De benchmark kan abrupte verborgen manoeuvres (bijv. plotseling stoppen, scherpe bochten of veranderingen in intentie) die niet betrouwbaar kunnen worden afgeleid van de omliggende observaties, mogelijk niet volledig vangen.
Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk de exploratie van uncertainty-aware geheugen, simulatie-gebaseerde annotaties met privileged labels en multi-observer datasets voor directe occlusie-evaluatie moet verkennen.