Failure Modes for Deep Learning-Based Online Mapping: How to Measure and Address Them

Diese Arbeit stellt einen Rahmen zur Identifizierung und Messung von Generalisierungsfehlern bei Deep-Learning-Modellen für Online-Kartierung vor, der durch die Entmischung von Merkmalsauswendiglernen und Überanpassung an bekannte Geometrien sowie durch datensatzbasierte Optimierungsstrategien robustere und leistungsfähigere Systeme ermöglicht.

Das Wesentliche

Das Problem: Der "Karte-Kopierer" statt des "Karten-Lesers"

Stell dir vor, ein autonomes Auto ist wie ein Schüler, der für eine große Prüfung lernt. Die Prüfung ist das Fahren in einer neuen Stadt.

• Das Ziel: Der Schüler soll die Regeln der Straße verstehen, damit er überall sicher fahren kann.
• Das Problem: Viele moderne KI-Modelle (die "Schüler") lernen nicht wirklich. Sie auswendig. Sie merken sich nicht, wie eine Kreuzung funktioniert, sondern sie merken sich: "Wenn ich an dieser genau einen Baum und diesen einen Laternenmast sehe, dann ist hier links eine Abbiegung."

Das Paper von Hubbertz und Kollegen nennt das "Geografisches Auswendiglernen". Wenn der Schüler dann in eine Stadt kommt, die ähnlich aussieht, aber die Bäume anders stehen, scheitert er kläglich. Er hat die Karte nicht verstanden, sondern nur die Position gelernt.

---

Die Lösung: Ein neuer "Lehrer" mit zwei neuen Werkzeugen

Die Forscher haben ein neues System entwickelt, um zu testen, ob der Schüler wirklich klug ist oder nur auswendig gelernt hat. Sie trennen zwei Dinge voneinander:

1. Orts-Overfitting (Der "Ich kenne diesen Ort"-Effekt):

   • Analogie: Ein Schüler, der die Antwort auf eine Matheaufgabe kennt, weil er sie genau so in seinem Buch gesehen hat, aber nicht weiß, wie man rechnet.
   • Der Test: Man gibt dem Auto eine Aufgabe in einer Stadt, die geografisch weit weg ist von den Trainingsdaten. Fällt die Leistung stark ab? Dann hat es nur den Ort gemerkt, nicht die Straße.

2. Geometrie-Overfitting (Der "Ich kenne diese Form"-Effekt):

   • Analogie: Ein Schüler, der nur gerade Straßen kennt. Wenn er auf eine kurvige Straße trifft, weiß er nicht, wie er fahren soll, obwohl er die Regeln kennt.
   • Der Test: Man gibt dem Auto eine Stadt, die geografisch neu ist, aber die Straßen sind alle gerade (wie im Training). Funktioniert es? Wenn nein, hat es nur die Form der Straßen gelernt, nicht die Logik dahinter.

Die neuen Messwerkzeuge: Der "Discrete Fréchet-Abstand"

Bisher haben die Forscher gemessen, ob die KI die Karte "ungefähr" richtig gezeichnet hat (wie ein grobes Raster). Das ist wie wenn man sagt: "Na ja, die Straße ist in der Nähe, das zählt."

Die neuen Forscher sagen: Nein, das reicht nicht!
Sie nutzen eine Methode namens Discrete Fréchet-Abstand.

• Die Analogie: Stell dir vor, du und dein Hund laufen auf einem Weg. Du hast eine Leine. Der Fréchet-Abstand misst nicht nur, wie nah ihr seid, sondern in welcher Reihenfolge ihr die Punkte passiert.
• Wenn die KI eine Kurve zeichnet, aber die Punkte in der falschen Reihenfolge setzt (wie wenn der Hund im Kreis läuft, während du geradeaus gehst), ist das eine Katastrophe. Der Fréchet-Abstand fängt das auf, während die alten Methoden das übersehen haben. Es ist wie der Unterschied zwischen "Die Straße ist irgendwo da" und "Die Straße verläuft exakt so, wie sie soll".

Die Diagnose der Datensätze: Der "Wanderer im Wald"

Die Forscher haben auch die Datenbanken (die "Lehrbücher") untersucht, mit denen die Autos lernen.

• Das Problem: Die Trainingsdaten waren oft zu einseitig. Es gab zu viele gerade Straßen und zu wenige Kurven, oder alles kam aus derselben Gegend.
• Die Lösung (MST-Sparsifizierung): Sie nutzen einen Algorithmus namens Minimaler Spannbaum (MST).
  • Die Analogie: Stell dir vor, du hast einen riesigen Wald voller Bäume (Datenpunkte). Viele Bäume stehen sehr dicht beieinander und sehen fast gleich aus (redundante Daten).
  • Der MST-Algorithmus ist wie ein Gärtner, der den Wald durchschneidet. Er behält nur die Bäume, die am weitesten voneinander entfernt sind (die vielfältigsten), und schneidet die dichten, gleichen Gruppen weg.
  • Das Ergebnis: Das Auto lernt mit weniger Daten, aber mit einer viel besseren Mischung. Es sieht mehr verschiedene Straßentypen und wird dadurch robuster.

Was ist das Ergebnis?

1. Bessere Tests: Wenn man die Autos nur mit den neuen, strengen Tests prüft (geografisch getrennte Städte + neue Messung der Straßenform), sieht man viel ehrlicher, wie gut sie wirklich sind.
2. Besseres Lernen: Wenn man die Trainingsdaten "ausdünnt" (die doppelten, ähnlichen Straßen wegmacht) und dafür mehr Vielfalt (verschiedene Kurven, Kreuzungen) reinbringt, fahren die Autos am Ende sicherer.
3. Die Erkenntnis: Viele aktuelle KI-Modelle sind eigentlich nur sehr gute "Karten-Kopierer". Um sie zu echten "Karten-Lesern" zu machen, brauchen wir vielfältigere Daten und ehrlichere Tests.

Zusammenfassend: Die Forscher haben gesagt: "Hört auf, Autos nur in der Heimatstadt zu testen. Bringt sie in fremde Länder mit anderen Straßenformen. Und wenn sie lernen, gebt ihnen nicht 1000 Bilder von derselben Kreuzung, sondern 100 Bilder von 100 verschiedenen Kreuzungen."

Technische Zusammenfassung

1. Problemstellung

Deep-Learning-Modelle für das Online-Mapping (die Echtzeit-Generierung von vektorisierten HD-Karten aus Sensordaten wie Lidar, Radar und Kamera) sind ein Eckpfeiler des autonomen Fahrens. Trotz erheblicher Fortschritte leiden diese Modelle unter signifikanten Generalisierungsproblemen.

Das Hauptproblem besteht darin, dass Modelle oft nicht allgemeine räumliche Strukturen lernen, sondern spezifische Merkmale ihrer Trainingsdaten auswendig lernen (Memorization).

• Geografische Überlappung: Wenn Trainings- und Validierungsdaten geografisch nahe beieinander liegen, zeigen Modelle oft überhöhte Leistung, da sie standortspezifische Hinweise nutzen, anstatt die Kartengeometrie zu verstehen.
• Geometrische Ähnlichkeit: Selbst bei geografisch getrennten Datensätzen können Validierungs-Szenen geometrisch sehr ähnlich zu Trainings-Szenen sein. Modelle überanpassen sich dann an bekannte Kartenformen (Geometrie-Overfitting).
• Mangelnde Metriken: Herkömmliche Metriken wie der Chamfer-Abstand (basierend auf Average Precision) erfassen die geometrische Rekonstruktionsqualität nur unzureichend, da sie die Reihenfolge der Punkte ignorieren und bei kleinen Stichproben ungenau sind.

2. Methodik

Die Autoren schlagen einen umfassenden Rahmen vor, um diese Fehlermodi zu identifizieren, zu messen und zu adressieren.

A. Trennung von Fehlermodi (Failure Modes)

Das Paper definiert zwei Hauptursachen für Leistungsabfälle:

1. Lokalisierungs-Overfitting (Localization Overfitting): Das Modell nutzt geografische Hinweise (z. B. GPS-Koordinaten oder umgebende Merkmale), um die Karte zu erraten, anstatt die Geometrie zu verstehen.
2. Geometrie-Overfitting (Geometric Overfitting): Das Modell hat spezifische Kartenformen (z. B. Kreuzungstypen) auswendig gelernt und scheitert bei neuen geometrischen Strukturen.

Um dies zu messen, werden Validierungsdaten basierend auf zwei Kriterien stratifiziert:

• Geografische Distanz ($d(v)$): Der Abstand eines Validierungs-Samples zum nächsten Trainings-Sample.
• Geometrische Ähnlichkeit ($s(v)$): Die Ähnlichkeit der Kartengeometrie zwischen Validierungs- und Trainings-Samples, berechnet mittels diskretem Fréchet-Abstand.

B. Neue Evaluationsmetriken

• Fréchet-basierte Rekonstruktionsstatistik ($M$): Anstelle des Chamfer-Abstands wird der Median des diskreten Fréchet-Abstands verwendet. Dieser berücksichtigt die Reihenfolge der Punkte entlang von Linien (Polylines/Polygone) und erfasst somit die Formtreue besser.
• Overfitting-Scores:
  • $O_{loc}$ (Lokalisierungs-Overfitting): Misst den relativen Leistungsabfall, wenn geografische Hinweise verschwinden (Vergleich von nahen vs. fernen Samples bei gleicher geometrischer Ähnlichkeit).
  • $O_{geom}$ (Geometrie-Overfitting): Misst die Leistungsdegradation, wenn die geometrische Ähnlichkeit zwischen Trainings- und Validierungsdaten sinkt (basierend auf der Steigung einer Regressionslinie über geometrische Bins).

C. Datensatz-Analyse und -Optimierung

• Geometrische Diversität: Einführung einer Metrik geomdiv, die die Summe der Kantengewichte eines Minimum Spanning Tree (MST) über die Ähnlichkeitskosten aller Samples berechnet. Hohe Werte bedeuten hohe geometrische Vielfalt.
• Geometrische Ähnlichkeit zwischen Splits: Eine symmetrische Coverage-Metrik (geomsim), um zu quantifizieren, wie gut Trainings- und Validierungssets sich gegenseitig abdecken.
• MST-basierte Sparsifizierung: Eine Strategie zur Reduktion von Redundanz im Trainingsdatensatz. Samples mit sehr ähnlicher Geometrie werden gruppiert, und pro Cluster wird nur ein repräsentatives Sample behalten. Dies soll das Training ausbalancieren und die Generalisierung verbessern.

3. Wichtige Beiträge

1. Neue Evaluationsmetriken: Einführung des Fréchet-basierten Maßes $M$ und der Overfitting-Scores $O_{loc}$ und $O_{geom}$, die eine differenzierte Analyse von Generalisierungsproblemen ermöglichen.
2. Systematischer Rahmen: Ein Framework zur Entmischung von Lokalisierungs- und Geometrie-Overfitting durch stratifizierte Validierungssets.
3. Datensatz-Bias-Analyse: Quantifizierung von geometrischer Diversität und Ähnlichkeit in gängigen Datensätzen (nuScenes, Argoverse 2) und Nachweis, dass bestehende Splits oft starke Verzerrungen aufweisen.
4. Optimierungsstrategie: Entwicklung einer MST-basierten Methode zur Reduzierung redundanter Trainingsdaten, die die geometrische Balance verbessert und die Modellleistung steigert, während die Trainingsgröße sinkt.
5. Umfassende Experimente: Validierung an mehreren State-of-the-Art-Modellen (MapTR, MapTRv2, MapQR, MGMap) auf zwei großen Datensätzen.

4. Ergebnisse

Die Experimente auf nuScenes und Argoverse 2 zeigen folgende Erkenntnisse:

• Bestätigung der Fehlermodi: Alle getesteten Modelle zeigen deutliche Anzeichen von sowohl Lokalisierungs- als auch Geometrie-Overfitting. Der Leistungsabfall ist signifikant, wenn Validierungsdaten geografisch und geometrisch von den Trainingsdaten entfernt sind.
• Einfluss der Datenaufteilung: Geografisch disjunkte Splits (z. B. nach Lilja et al. oder Yuan et al.) führen zu einem drastischen Leistungsabfall im Vergleich zu den Original-Splits, was die bisherige Überbewertung der Modelle durch Datenlecks bestätigt.
• Geometrische Diversität ist entscheidend: Trainingssets mit höherer geometrischer Diversität (geomdiv) führen zu besseren Generalisierungsergebnissen.
• Effektivität der Sparsifizierung:
  • Durch MST-basiertes Entfernen redundanter Samples (bis zu ~30-40% Reduktion der Datengröße) konnte die mAP-Leistung in den meisten Fällen gesteigert werden.
  • Dies liegt daran, dass das Modell nicht mehr durch überrepräsentierte, ähnliche Geometrien „überwältigt" wird und besser ausbalanciert lernt.
  • Im Gegensatz dazu führte zufälliges Downsampling (Random Sampling) zu einem Verlust an geometrischer Diversität und keiner Leistungssteigerung.
• Metrik-Vergleich: Die neue Fréchet-basierte Metrik $M$ liefert konsistentere und aussagekräftigere Ergebnisse als der herkömmliche mAP (Chamfer), insbesondere bei kleinen Datensätzen oder bei der Analyse einzelner Samples.

5. Bedeutung und Ausblick

Das Paper liefert einen kritischen Beitrag zur Zuverlässigkeit von Online-Mapping-Systemen für den autonomen Fahrbetrieb:

• Vertrauenswürdige Evaluation: Es etabliert Protokolle, die verhindern, dass Modelle durch geografische Datenlecks oder geometrische Redundanz überbewertet werden.
• Datensatz-Design: Es zeigt, dass die reine Menge an Daten weniger wichtig ist als deren geometrische Vielfalt und Balance. Die vorgeschlagene MST-Sparsifizierung bietet einen praktischen Weg, um effizientere und robustere Trainingsdatensätze zu erstellen.
• Zukunftsperspektiven: Die Autoren plädieren für „failure-mode-aware" Evaluierungsprotokolle und datensatzgestützte Designs, die die geometrische Vielfalt in den Vordergrund stellen. Zukünftige Arbeiten sollen diese Diversitätsmaße auf andere Domänen übertragen und geometrie-bewusste Trainingsziele erforschen.

Zusammenfassend demonstriert die Arbeit, dass Deep-Learning-Modelle für Online-Mapping oft eher „auswendig lernen" als zu generalisieren, und bietet sowohl diagnostische Werkzeuge als auch praktische Lösungen (Sparsifizierung), um dieses Problem zu adressieren und deploybare Systeme zu ermöglichen.