💻 computer science

Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

Dit paper introduceert MOSAIC, een data-selectieframework dat door het partitioneren van datasets en het toepassen van neurale schaalwetten de prestaties van end-to-end autonome rijsystemen optimaliseert met tot 80% minder trainingsdata.

Oorspronkelijke auteurs: Tolga Dimlioglu, Nadine Chang, Maying Shen, Rafid Mahmood, Jose M. Alvarez

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tolga Dimlioglu, Nadine Chang, Maying Shen, Rafid Mahmood, Jose M. Alvarez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Hoe je een slimme zelfrijdende auto traint zonder de hele wereld te hoeven zien

Stel je voor dat je een jonge, slimme chauffeur wilt opleiden om een auto zelfstandig te laten rijden. Je hebt een enorme berg video's van verkeerssituaties: van drukke steden als New York tot rustige landwegen, van zonnige dagen tot stormachtige regenbuien.

Het probleem? Je kunt niet alles laten zien aan de chauffeur. Er is te veel data, en het trainen op alles kost te veel tijd en energie. Als je willekeurig filmpjes uitkiest, leert de auto misschien veel over het parkeren in de regen, maar blijft hij onzeker over het inhalen op een snelweg.

De onderzoekers van dit paper (MOSAIC) hebben een slimme manier bedacht om precies de juiste filmpjes te selecteren. Ze noemen hun methode MOSAIC.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Chaos Sorteren (Clustering)

Stel je voor dat je een enorme doos met Lego-stukjes hebt, maar ze zitten door elkaar: rode, blauwe, groene, en allemaal verschillende vormen. Je wilt een kasteel bouwen, maar je hebt niet alle stukjes nodig, alleen de juiste mix.

MOSAIC begint door die enorme doos met verkeersvideo's in vakjes te verdelen.

Vakje 1: Drukke stadsverkeerssituaties (zoals Las Vegas).
Vakje 2: Bochtige voorsteden (zoals Pittsburgh).
Vakje 3: Snelwegen.
Vakje 4: Regenachtige dagen.

In plaats van te kijken naar elk filmpje apart, kijken ze naar deze groepen.

2. De Voorspelling (De "Groeicurve")

Nu komt het slimme deel. De onderzoekers vragen zich af: "Als ik 100 filmpjes uit het 'Stadsverkeer'-vakje toevoeg, hoe veel beter wordt de auto dan? En wat als ik 100 filmpjes uit het 'Regen'-vakje toevoeg?"

Ze gebruiken een wiskundige regel (een 'schaalwet') om dit te voorspellen.

Analogie: Stel je voor dat je een plant hebt. Als je water geeft, groeit hij snel. Maar als je al veel water hebt gegeven, helpt nog een beetje water niet meer zo veel (de plant zit vol).
Bij de auto is het hetzelfde: Als de auto al veel stadsverkeer heeft gezien, helpt het toevoegen van nog meer stadsverkeer niet meer zo veel. Maar als hij nog nooit regen heeft gezien, helpt dat ene regenfilmpje enorm!

MOSAIC meet voor elk vakje hoe snel de auto nog kan "groeien" (leren) als je daar meer van toevoegt.

3. De Slimme Keuze (Iteratief Kiezen)

Nu moet de auto zijn training beginnen. MOSAIC kijkt niet naar één groot blok data, maar pakt één filmpje per keer en vraagt zich af: "Welk vakje geeft op dit moment de meeste winst?"

Begin: De auto heeft nog nooit regen gezien. MOSAIC zegt: "Haal eerst een regenfilmpje!" (Grote winst).
Midden: De auto heeft veel stadsverkeer gezien, maar nog geen bochtige wegen. MOSAIC zegt: "Nu halen we een bocht-filmpje."
Einde: De auto is al heel goed in alles. MOSAIC zoekt nu heel specifiek naar de zeldzame situaties die nog ontbreken.

Het is alsof je een chef-kok bent die een gerecht proeft en telkens precies het ingrediënt toevoegt dat op dat moment het meest ontbreekt, in plaats van zomaar een handvol kruiden erin te gooien.

Waarom is dit zo belangrijk?

De resultaten zijn verbazingwekkend:

Efficiëntie: Met deze methode kan de auto 80% minder data nodig hebben om even goed te worden als wanneer je willekeurig data zou kiezen.
Balans: De auto wordt niet alleen goed in één ding (zoals parkeren), maar wordt evenwichtig goed in alles: veilig blijven, regels volgen, en comfortabel rijden.
Kosten: Minder data betekent minder rekenkracht nodig, wat geld en energie bespaart.

De Kernboodschap

MOSAIC is als een slimme personal trainer voor een zelfrijdende auto. In plaats van de auto te laten trainen op elke willekeurige dag, kijkt de trainer precies waar de auto nog zwakke punten heeft, en pland een trainingssessie die precies die zwakke punten aanpakt.

Het resultaat? Een veiligere, slimmere auto die sneller klaar is om de weg op te gaan, met minder moeite en minder data.

Titel: Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

Auteurs: Tolga Dimlioglu et al. (NYU, NVIDIA, University of Ottawa)

1. Het Probleem

Grootschalige deep learning-modellen voor fysieke AI-toepassingen, zoals autonoom rijden (AD), zijn afhankelijk van zeer diverse en enorme datasets. Het trainen van modellen op alle beschikbare data is echter computationeel inefficiënt en vaak onnodig. Bestaande methoden voor data-selectie en -mixing lopen vast op drie belangrijke uitdagingen:

Meerdere concurrerende metrics: AD-systemen worden geëvalueerd op een reeks metrics (bijv. rijstijl, veiligheid, comfort) die niet altijd evenredig verbeteren.
Heterogene invloed: Verschillende data-stalen beïnvloeden deze metrics op verschillende manieren en met verschillende snelheden. Een clip met drukke stadstrafiek kan bijvoorbeeld de "voetgangersdetectie" sterk verbeteren maar weinig doen voor "rijcomfort".
Onnauwkeurige domeinverdeling: Bestaande methoden gaan vaak uit van goed gedefinieerde, homogene domeinen. In de realiteit is het echter moeilijk om data direct in subsets te verdelen die een voorspelbare en consistente invloed hebben op de metrics.

Het doel is om een selectiebeleid te ontwikkelen dat een optimale mix van data selecteert binnen een beperkt budget, zodat de totale prestatie (een aggregatie van alle metrics) wordt gemaximaliseerd.

2. Methodologie: MOSAIC

De auteurs stellen MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection) voor, een raamwerk dat bestaat uit drie fasen:

Fase 1: Clustering en Ranking

Clustering: De dataset wordt opgesplitst in discrete domeinen (clusters) die verschillende rijcontexten vertegenwoordigen (bijv. gebaseerd op geografische locatie of semantische beschrijvingen). Binnen elke cluster wordt aangenomen dat de data een vergelijkbare invloed heeft op de metrics.
Ranking: Binnen elke cluster worden de individuele data-stalen gerangschikt op basis van een "belangrijke score" ( $I(x)$ ). Deze score wordt bepaald door te evalueren hoe goed het model op dat specifieke staal presteert ten opzichte van de huidige trainingsset. De hoogst gerangschikte stalen (die de grootste potentiële verbetering bieden) worden eerst geselecteerd.

Fase 2: Schalen van Domeinen (Scaling Laws)

Voor elke cluster wordt een neuraal schalingswet (scaling law) gefit. Dit model voorspelt hoe de totale utility ( $U$ ) verbetert naarmate er meer data uit die specifieke cluster wordt toegevoegd.
De auteurs gebruiken een verzadigende exponentiële functie: $\Delta U_i(n) \approx a_i(1 - e^{-n/\tau_i})$ $Δ U_{i} (n) \approx a_{i} (1 - e^{- n / τ_{i}})$ .
- $a_i$ : De asymptotische maximale verbetering die uit cluster $i$ gehaald kan worden.
- $\tau_i$ : De snelheid waarmee de meerwaarde afneemt (verzadiging).
Deze parameters worden geschat via kleine "pilot runs" (finetuning op subsets van data).

Fase 3: Iteratieve Data-selectie

Het probleem wordt geformuleerd als een optimalisatieprobleem: hoeveel samples ( $n_i$ ) moeten er uit elke cluster $i$ worden gehaald om de totale utility te maximaliseren onder een totaal budget $B$ ?
In plaats van een complexe regressie, gebruikt MOSAIC een iteratieve benadering gebaseerd op het eerste verschil (first-difference).
In elke iteratie wordt de cluster geselecteerd die op dat moment de hoogste marginale winst biedt (de grootste toename in utility bij het toevoegen van één extra sample).
Dit proces wordt herhaald totdat het budget is verbruikt. Hierdoor wordt dynamisch overgeschakeld van clusters met snelle initiële winst naar clusters die later nog waardevol zijn.

3. Belangrijkste Bijdragen

Het MOSAIC-raamwerk: Een generieke pipeline die clustering, ranking en schalingswetten combineert om data-mixen te optimaliseren voor meerdere concurrerende metrics.
Toepassing op End-to-End AD: De methode is succesvol toegepast op End-to-End planners (Hydra-MDP) op de NAVSIM en OpenScene benchmarks.
Empirische Validatie: Uitgebreide experimenten tonen aan dat MOSAIC robuust is ongeacht de clustering-methode (geografie vs. semantische captions) en dat de combinatie van clustering én ranking cruciaal is voor de prestaties.

4. Resultaten

De prestaties werden gemeten aan de hand van de EPDMS (Extended Predictive Driver Model Score), een aggregatie van 9 regels-compliance metrics.

Superieure Data-efficiëntie: MOSAIC presteert aanzienlijk beter dan bestaande baselines (Random, Uncertainty, Coreset, Chameleon).
- Op de OpenScene dataset behaalde MOSAIC de hoogste EPDMS-scores en had tot 80% minder data nodig om dezelfde prestatie te bereiken als willekeurige selectie.
- Op de Navtrain dataset (een gecureerde dataset met complexe scenario's) behaalde MOSAIC tot 1,1 punt hogere EPDMS dan de beste concurrenten en vereiste 60-70% minder samples.
Balans in Metrics: MOSAIC slaagt erin om een gebalanceerde verbetering te realiseren over alle 9 metrics, terwijl andere methoden vaak slechts bepaalde metrics verbeteren ten koste van anderen.
Kosten-batenanalyse: Hoewel MOSAIC initiële rekentijd vereist voor de pilot runs om de schalingswetten te schatten, compenseert dit zich volledig terug bij grotere datasets. Bij hoge budgets is MOSAIC de meest rekenkundig efficiënte methode.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele doorbraak in hoe data voor fysieke AI-systemen wordt geselecteerd. In plaats van te vertrouwen op intuïtie of simpele diversiteitsmetrieken, introduceert MOSAIC een principiële, wiskundig onderbouwde aanpak die rekening houdt met hoe data-prestaties schalen.

De belangrijkste inzichten zijn:

Data-selectie moet rekening houden met de niet-lineaire schaling van prestaties per domein.
Het is essentieel om data binnen domeinen te ranken op basis van hun specifieke impact.
De methode is scalabel en generaliseerbaar, wat het een blauwdruk maakt voor het bouwen van efficiëntere en veiligere autonome rij-systemen met beperkte data-begrotingen.

Kortom, MOSAIC bewijst dat slimme data-selectie niet alleen de kwaliteit van het model verbetert, maar ook de kosten en tijd voor training drastisch kan verlagen.