Technische Samenvatting: SparseWorld

Probleemstelling

Bestaande wereldmodellen voor end-to-end autonoom rijden vertrouwen doorgaans op dichte scène-representaties (bijvoorbeeld volledige voorspelling van visuele waarnemingen of dichte Bird's-Eye-View-bezettingskaarten). Hoewel deze effectief zijn, brengen ze hoge rekenkosten met zich mee en genereren ze redundante informatie, wat hun inzet belemmert in real-world toepassingen met beperkte middelen. Bovendien richten menselijke bestuurders zich van nature op de toekomstige toestanden van kritieke elementen (belangrijke verkeersdeelnemers en wegstructuren) in plaats van op het uiterlijk van de volledige scène. Huidige methoden maken geen gebruik van deze instancie-gerichte efficiëntie, waardoor er behoefte is aan een lichtgewicht wereldmodel dat uitsluitend de kritieke lay-out van een scène voorspelt om de planning te verbeteren zonder de overhead van dichte generatie.

Methodologie

SparseWorld is een lichtgewicht, visie-gericht wereldmodel dat is ontworpen voor voorspelling op instancieniveau en verfijning van bewegingsplanning. Het integreert naadloos in end-to-end rijframeworks met bewustzijn voor instancie (zoals SparseDrive en VAD) en werkt via drie opeenvolgende fasen:

1. Toekomstvoorspelling met Sparse Dreamer

Het kernonderdeel, Sparse Dreamer (SPD), voert een autoregressieve uitrol uit om toekomstige kaartelementen en omringende agenten te voorspellen in een sparse representatie.

• Instance Memory Queue (IMQ): Onderhoudt een cache van historische en voorspelde toekomstige instancie.
• Global Instance Alignment (GIA): Projecteert huidige ankers naar ruwe toekomstposities met behulp van ego-bewegingscompensatie en intrinsieke snelheidsaanpassingen om fouten in coördinaattransformatie te mitigeren.
• SparseWorld Decoder: Een autoregressieve transformer die historische instancie en huidige actiecondities (snelheid, traject, stuurinval) verwerkt. Deze maakt gebruik van:
  • Temporele Cross-Attention: Injecteert temporele en relatieve positionele embeddings afgeleid van voorstellen van de bewegingsplanner om de ruimtelijke perceptie te verbeteren.
  • Actie-geconditioneerde Cross-Attention: Encodeert actiecondities (via Fourier-embeddings) om gecontroleerde generatie van toekomstige scenario's mogelijk te maken.
• Future Motion Planner (FMP): Gebruikt de voorspelde toekomstige instancie om toekomstige actiecondities af te leiden, waarmee de autoregressieve lus wordt gesloten.

2. Verfijning van Bewegingsplanning

De voorspelde toekomstige instancie worden gebruikt om de bewegingsvoorspelling en trajectplanning van de baseline te verfijnen.

• Bewegingsvoorspelling: De bewegingsvoorspeller aggregeert ruimtelijk-temporele context met behulp van toekomstige instancie-kenmerken (in plaats van alleen historische), wat resulteert in nauwkeurigere en diversere bewegingspatronen.
• Trajectplanning: De kenmerken van het eigen voertuig worden versterkt door interactie met toekomstige instancie-kenmerken.
  • Safety-Critical Loss (SCL): Tijdens training modelleert een nieuwe verliesfunctie expliciet de geometrie van agenten (grootte, oriëntatie) en toekomstige trajecten om het model te sturen naar routes met een laag risico.
  • Adaptive Trajectory Selection (ATS): Tijdens inferentie evalueert het systeem drie kandidaat-trajecten (baseline, toekomst-gegenereerd en SCL-verfijnd). Het kiest de veiligste optie op basis van botsingsdetectie en safety-critical loss, en past aanpassingsvectoren toe om veiligheid te garanderen.

Belangrijkste Bijdragen

1. SparseWorld Framework: Introductie van een lichtgewicht, visie-gericht wereldmodel dat sparse toekomstige instancie (agenten en kaartlay-outs) voorspelt in plaats van dichte scènes, wat de efficiëntie aanzienlijk verbetert.
2. Verfijning van Bewegingsplanning: Een nieuwe strategie die toekomstvoorspellingen gebruikt om zowel bewegingsvoorspelling als trajectplanning te verfijnen. Dit omvat de Safety-Critical Loss voor training en de Adaptive Trajectory Selection-module voor real-time veiligheidsborging.
3. Sparse Dreamer Architectuur: Een gespecialiseerde module met Global Instance Alignment en een SparseWorld Decoder met gezamenlijke temporele en ruimtelijke aandachtsmechanismen om de toekomstige evolutie van de scène nauwkeurig te anticiperen.

Experimentele Resultaten

De auteurs hebben SparseWorld geëvalueerd op de nuScenes-dataset (voor open-loop-metrics) en de Bench2Drive-benchmark (voor closed-loop-metrics).

• Instancievoorspelling: SparseWorld behaalt state-of-the-art prestaties in toekomstige instancievoorspelling. Op nuScenes behoudt het 82,8% van de baseline 3D-detectieprestaties en 86,4% van de online mapping-prestaties op een horizon van 2 seconden, wat aanzienlijk beter is dan de baselines "Copy & Paste" en "Projection".
• Bewegingsvoorspelling: Bij integratie met SparseDrive (SparseWorld-S) bereikt de methode een End-to-End Prediction Accuracy (EPA) van 0,488 en verlaagt de Miss Rate (MR) tot 0,128. Met VAD-Tiny (SparseWorld-V) verbetert de EPA naar 0,619 met een MR van 0,113.
• Open-Loop Planning: SparseWorld-S bereikt een botsingspercentage van 0,05% op nuScenes, een reductie van 37,5% ten opzichte van de SparseDrive-baseline, wat een nieuwe state-of-the-art vertegenwoordigt.
• Closed-Loop Planning: Op Bench2Drive behaalt SparseWorld-S een Driving Score (DS) van 48,95, een verbetering van 9,9% ten opzichte van de SparseDrive-baseline, en verbetert het Succespercentage met 9,1%.
• Efficiëntie: SparseWorld is aanzienlijk efficiënter dan dichte wereldmodellen. Het genereert 4-kaderscènes op instancieniveau in 70ms met slechts 4GB geheugen, vergeleken met honderden milliseconden en gigabytes geheugen voor bezettings- of op afbeelding gebaseerde generators.

Betekenis en Claims

Het artikel beweert dat SparseWorld de kloof succesvol overbrugt tussen de theoretische voordelen van wereldmodellen en de praktische beperkingen van real-world autonoom rijden. Door over te schakelen van dichte naar sparse scène-representaties, nabootst het model de menselijke cognitieve focus op kritieke elementen, waardoor de rekenoverhead wordt verminderd terwijl de veiligheid wordt versterkt.

De auteurs stellen dat hun instancie-gerichte aanpak niet alleen efficiënter is, maar ook effectiever voor downstream-planning dan dichte representaties. De integratie van toekomstige instancievoorspelling stelt de planningsmodule in staat om met hogere fideliteit "vooruit te kijken", wat resulteert in trajecten die veiliger, robuuster en minder vatbaar zijn voor botsingen. Het werk toont aan dat lichtgewicht wereldmodellen kunnen dienen als krachtige plug-in-modules om de prestaties van bestaande end-to-end systemen voor autonoom rijden aanzienlijk te verhogen.