Failure Modes for Deep Learning-Based Online Mapping: How to Measure and Address Them

Each language version is independently generated for its own context, not a direct translation.

De Probleemstelling: De "Cursusleerling" die het boekje uit het hoofd leert

Stel je voor dat je een zelfrijdende auto traint om een kaart te tekenen van de weg waar hij rijdt. Dit heet "online mapping". De auto moet in real-time zien waar de rijbanen, stoplijnen en kruispunten zitten, zodat hij veilig kan rijden.

De onderzoekers ontdekten een groot probleem: de kunstmatige intelligentie (AI) die hiervoor wordt gebruikt, is eigenlijk een slimme, maar luie cursist.

In plaats van echt te begrijpen hoe wegen werken (bijvoorbeeld: "rijbanen lopen meestal recht of maken bochten"), heeft de AI het boekje uit het hoofd geleerd.

Als de auto wordt getest op een weg die hij al eens heeft gezien tijdens zijn training, presteert hij perfect.
Maar als hij op een nieuwe weg komt, zelfs als die er heel veel op lijkt, raakt hij in paniek en maakt hij fouten.

De onderzoekers noemen dit overfitting. De auto heeft niet geleerd om te redeneren, maar om te herinneren.

De Oplossing: Twee Soorten "Luie Leerlingen"

De onderzoekers hebben een nieuwe manier bedacht om te meten waarom de auto faalt. Ze splitsen het probleem op in twee soorten "luie gedrag":

De "Locatie-Luie" (Memoriseren van plekken):
- Vergelijking: Stel je voor dat een student voor een examen alleen de antwoorden van de vragen in het boekje leert, maar niet de theorie. Als de examinator een vraag stelt die exact op het boekje lijkt, haalt hij een 10. Maar als de vraag net iets anders is gesteld, faalt hij.
- In de auto: De auto onthoudt specifieke GPS-plekken. "Op hoek van de Kerkstraat en de Dam is er een stoplicht." Hij weet niet waarom het daar is, hij weet alleen dat het daar staat. Als je hem op een andere hoek zet, ziet hij geen stoplicht meer.
De "Vorm-Luie" (Memoriseren van patronen):
- Vergelijking: Een student die alleen oefent met ronde cirkels. Als hij een vierkant moet tekenen, kan hij dat niet, omdat hij nooit een vierkant heeft gezien. Hij is verslaafd aan de ronde vorm.
- In de auto: De auto heeft alleen geoefend op rechte wegen en simpele bochten. Als hij op een complex kruispunt komt met vreemde hoeken, faalt hij, omdat hij die specifieke geometrie niet kent.

De Nieuwe Meetlat: De "Vogelperspectief"

Om dit te meten, gebruiken de onderzoekers een nieuwe meetmethode.

De oude methode: Kijkt alleen of de lijnen van de auto dicht bij de echte lijnen liggen (als twee punten dicht bij elkaar zijn, is het goed). Dit is als kijken of twee mensen ongeveer op dezelfde plek staan, zonder te kijken of ze in dezelfde richting kijken.
De nieuwe methode (Fréchet-afstand): Dit is alsof je kijkt of de vorm van de lijn klopt. Denk aan een hond die aan een lijn loopt. Als de hond en de eigenaar precies hetzelfde pad lopen, is de afstand klein. Als de hond een bocht maakt en de eigenaar gaat rechtdoor, is de afstand groot, zelfs als ze op hetzelfde moment op dezelfde plek zijn.
- Waarom is dit beter? Het meet of de auto de vorm van de weg echt begrijpt, niet alleen of hij de punten op de juiste plek zet.

De Experimenten: Het "Nieuwe Buurtje"

De onderzoekers hebben getest wat er gebeurt als ze de auto in een geheel nieuwe buurt zetten, ver weg van de straten waar hij heeft geoefend.

Resultaat: De prestaties van de auto zakte dramatisch in. Dit bewees dat de auto inderdaad de oude straten uit het hoofd had geleerd in plaats van de regels van het verkeer te begrijpen.

Ze ontdekten ook dat de datasets (de verzameling foto's en kaarten waar de auto mee traint) vaak te veel van hetzelfde bevatten.

Vergelijking: Stel je voor dat je een kok traint om soep te maken, maar je geeft hem alleen maar recepten voor tomatensoep. Hij wordt een meester in tomatensoep, maar als je hem vraagt om groentesoep te maken, weet hij niet hoe hij moet beginnen.

De Oplossing: De "Tuin van Diversiteit"

Om dit op te lossen, hebben de onderzoekers een slimme truc bedacht om de trainingsdata te "schoonmaken".

Ze gebruiken een Minimum Spanning Tree (MST).
Vergelijking: Stel je hebt een enorme tuin met duizenden bloemen. Veel bloemen zijn bijna identiek (bijvoorbeeld 1000 rode rozen). De onderzoekers zeggen: "We hebben maar één of twee rode rozen nodig om te leren hoe een roos eruitziet. De rest is overbodig."
Ze verwijderen de dubbele, saaie bloemen en houden alleen de unieke, verschillende soorten over.
Het resultaat: De auto traint op een kleinere, maar veel gevarieerdere dataset. Hij ziet meer verschillende soorten wegen en leert daardoor beter om te redeneren.

Conclusie

Deze paper zegt eigenlijk: "Stop met het trainen van je zelfrijdende auto op dezelfde, saaie wegen. Geef hem een wereldreis!"

Als je de auto traint op een verscheidenheid aan unieke wegen (in plaats van duizenden identieke kopieën), en je meet of hij de vorm van de weg begrijpt in plaats van alleen de locatie, dan wordt hij veel veiliger en betrouwbaarder in de echte wereld.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Diep leernetwerk-gebaseerde online mapping (het real-time genereren van HD-kaarten vanuit sensordata) is een hoeksteen van autonoom rijden. Echter, deze modellen vertonen significante generalisatieproblemen. Hoewel ze uitstekend presteren op bekende datasets (zoals nuScenes en Argoverse 2), falen ze vaak in nieuwe omgevingen.

De auteurs identificeren twee hoofdoorzaken voor deze falen:

Locatie-overspecifiek overfitting (Memorization): Modellen onthouden specifieke locaties en omgevingskenmerken in plaats van algemene structuren te leren. Dit leidt tot een kunstmatig hoge prestatie op validatiesets die geografisch overlappen met de trainingsdata.
Geometrisch overfitting: Modellen overfitten op bekende kaartgeometrieën (bijv. specifieke bochtstralen of kruisingstypes) en falen wanneer ze geconfronteerd worden met geometrisch nieuwe scenario's, zelfs als deze op een andere locatie liggen.

Bestaande evaluatiemethoden en dataset-splits (vaak tijdelijk) verdoezelen deze problemen door geografische overlap, wat leidt tot een verkeerd beeld van de werkelijke generalisatiecapaciteit.

Methodologie

De auteurs stellen een nieuw raamwerk voor om deze foutmodi te meten, te ontkoppelen en aan te pakken.

1. Ontkoppeling van Foutmodi via Gespecialiseerde Splits

In plaats van willekeurige splits, worden validatie-sets gedefinieerd op basis van twee metrieken:

Geografische afstand ( $d(v)$ ): De afstand van een validatie-stukje tot de dichtstbijzijnde trainingsstijl.
Geometrische gelijkenis ( $s(v)$ ): De geometrische dissimilariteit tussen het waarheidsgetrouwe kaartbeeld van een validatiestukje en de meest vergelijkbare trainingsstijl.

Om deze effecten te isoleren, worden de data gesplitst in subsets:

$V_{close}^*$ vs. $V_{far}^*$ : Gesplitst op geografische afstand, maar gecontroleerd voor geometrische gelijkenis om puur locatie-gebaseerd overfitting te meten.
Geometrische bins: De geografisch verre subset ( $V_{far}$ ) wordt verder onderverdeeld in bins op basis van geometrische gelijkenis om de gevoeligheid voor geometrische noviteit te kwantificeren.

2. Nieuwe Prestatiemetingen

De traditionele Average Precision (AP) met Chamfer distance wordt geacht te beperkt te zijn omdat deze niet de volgorde van punten in kaart-elementen respecteert en gevoelig is voor binaire "hit/miss" beslissingen.

Fréchet-gebaseerde statistieken: De auteurs introduceren een nieuwe metriek gebaseerd op de discrete Fréchet-afstand. Deze houdt rekening met de volgorde van punten langs lijnen en polygonen.
M (Mediaan) en IQR: In plaats van een drempelwaarde te gebruiken, wordt de mediaan ( $M$ ) en het interkwartielbereik ($IQR$) van de Fréchet-afstanden gebruikt om de reconstructiekwaliteit per element te meten. Dit is robuuster voor kleine datasets en geeft een nauwkeuriger beeld van de vormbehoud.

3. Kwantificering van Overfitting

Op basis van de bovenstaande splits en metrieken worden twee scores gedefinieerd:

Locatie-overspecifiek overfitting score ( $O_{loc}$ ): De relatieve daling in prestatie ( $M$ ) wanneer men gaat van geografisch nabije naar verre samples (gecontroleerd voor geometrie). Een hoge score duidt op memorisatie van locatiekenmerken.
Geometrisch overfitting score ( $O_{geom}$ ): De helling van de regressielijn van de prestatie ( $M$ ) tegenover de geometrische dissimilariteit. Een steile daling duidt op overfitting op specifieke kaartgeometrieën.

4. Dataset Bias Analyse en Sparsificatie

De auteurs analyseren dataset-bias met behulp van Minimum Spanning Trees (MST):

Geometrische Diversiteit ($geomdiv$): De som van de gewichten (geometrische kosten) van de MST van een dataset. Een hogere som impliceert meer diversiteit.
Geometrische Similariteit tussen sets: Een symmetrische maat voor hoe goed de trainings- en validatiesets elkaars geometrieën "dekken".
MST-gebaseerde Sparsificatie: Een strategie om redundantie in de trainingsset te verminderen. Samples met zeer vergelijkbare geometrieën worden samengevoegd tot clusters, waarbij slechts één representatief sample per cluster wordt behouden. Dit verkleint de dataset maar verhoogt de geometrische balans.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op nuScenes en Argoverse 2 met meerdere state-of-the-art modellen (o.a. MapTR, MapTRv2, VectorMapNet).

Bevestiging van Foutmodi: Alle geteste modellen vertonen zowel locatie- als geometrisch overfitting. De prestatie daalt drastisch bij geografisch disjuncte splits en bij toenemende geometrische noviteit.
Effectiviteit van Nieuwe Metrieken: De Fréchet-gebaseerde metriek ( $M$ ) correleert sterker met de geometrische gelijkenis dan de traditionele Chamfer-AP, vooral bij kleine datasets.
Dataset Bias: De originele splits van nuScenes en Argoverse 2 hebben een hoge geografische overlap (tot 80% van de validatie-data ligt binnen 5m van trainingsdata) en hoge geometrische similariteit. Nieuwe, geografisch disjuncte splits tonen een significante prestatiedaling, wat de ware generalisatieproblemen blootlegt.
Sparsificatie Resultaten:
- Het toepassen van de MST-sparsificatie op de trainingsset (verwijderen van redundante samples) leidt tot een verbetering van de generalisatie en een verkleining van de trainingsgrootte (tot 65% van de originele grootte zonder prestatieverlies, en zelfs verbetering bij lage drempels).
- Willekeurige verkleining van de dataset leidt daarentegen tot een daling in prestatie en diversiteit.
- De beste prestaties worden behaald met trainingssets die een hoge geometrische diversiteit hebben en goed gebalanceerd zijn.

Bijdragen en Significantie

De paper levert een cruciale bijdrage aan het veld van autonoom rijden door:

Een gestructureerd evaluatiekader: Het biedt de eerste methodologie om locatie-gebaseerd memoriseren en geometrisch overfitting systematisch te scheiden en te kwantificeren.
Betrouwbare Metrieken: De introductie van Fréchet-gebaseerde statistieken biedt een robuustere manier om kaartreconstructie te beoordelen dan bestaande AP-metrieken.
Dataset Ontwerp: Het demonstreert dat dataset-diversiteit (gemeten via MST) een betere voorspeller is voor generalisatie dan dataset-grootte. De voorgestelde sparsificatiestrategie biedt een praktische oplossing om trainingsdata te optimaliseren: minder data, maar van hogere kwaliteit en diversiteit.
Toekomstgerichte Richting: De auteurs pleiten voor "failure-mode-aware" protocollen en datasetontwerpen die centraal staan rondom kaartgeometrie, wat essentieel is voor het veilig deployen van online mapping-systemen in de echte wereld.

Kortom, de paper waarschuwt dat hoge scores op bestaande benchmarks vaak een illusie zijn veroorzaakt door data-lekkage en bias, en biedt concrete tools om dit op te lossen en echt generaliserende modellen te bouwen.