Zero-Shot Cross-City Generalization in End-to-End Autonomous Driving: Self-Supervised versus Supervised Representations

Diese Studie zeigt, dass selbstüberwachte visuelle Repräsentationen im Vergleich zu überwachten Backbones die Zero-Shot-Verallgemeinerungsfähigkeit von End-to-End-Autonomfahrsystemen auf neue Städte erheblich verbessern und so die Robustheit bei geografischen Domänenverschiebungen, insbesondere beim Wechsel zwischen Rechts- und Linksverkehr, signifikant steigern.

Das Wesentliche

Stell dir vor, du lernst Autofahren. Aber nicht auf einem normalen Übungsplatz, sondern nur in einer einzigen Stadt – sagen wir, in Boston. Dort kennst du jede Kurve, weißt, dass alle links fahren, und du hast die Ampeln und Baustellen genau im Kopf.

Jetzt setzt du dich in ein selbstfahrendes Auto, das nur in Boston trainiert wurde, und fährst nach Singapur. Was passiert? Plötzlich fahren alle auf der rechten Seite, die Straßen sind anders gebaut, die Verkehrsschilder sehen anders aus. Ein normales, auf Boston trainiertes Auto würde wahrscheinlich panisch werden, die Spur verlassen oder sogar einen Unfall bauen.

Genau dieses Problem untersucht die vorliegende Studie. Sie fragt sich: Wie können wir selbstfahrende Autos so trainieren, dass sie nicht nur eine Stadt kennen, sondern sich in jeder neuen Stadt zurechtfinden, ohne jemals dort gewesen zu sein?

Hier ist die einfache Erklärung der Forschung, verpackt in ein paar Bilder:

1. Das Problem: Der "Stadt-spezifische" Blick

Die meisten heutigen selbstfahrenden Autos werden mit einem "Lehrbuch" trainiert, das Bilder aus vielen verschiedenen Städten mischt. Das ist wie ein Schüler, der für eine Prüfung lernt, indem er alle möglichen Aufgaben aus dem ganzen Buch durcheinander durcharbeitet. Er kann die Aufgaben lösen, aber er hat nie wirklich verstanden, warum sie funktionieren.

Wenn man ein solches Auto dann in eine völlig neue Stadt schickt (z. B. von rechtsfahrenden USA nach linksfahrendem Singapur), stolpert es. Es hat nämlich unbewusst gelernt: "In dieser Stadt sind die Ampeln immer grün, wenn ich links abbiege." In Singapur ist das aber falsch. Das Auto verlässt sich auf Tricks, die nur in der Trainingsstadt funktionieren, statt auf echtes Verständnis.

2. Die Lösung: Zwei Arten des Lernens

Die Forscher haben zwei verschiedene Methoden verglichen, um dem Auto "Augen" und ein "Gehirn" zu geben (in der Technik nennt man das Backbone oder Rückgrat):

• Methode A: Der klassische Schüler (Überwachtes Lernen)
  Das Auto schaut sich Millionen von Bildern an, die von Menschen beschriftet wurden ("Das ist ein Auto", "Das ist eine Straße"). Das ist wie Lernen aus einem Lehrbuch mit Lösungen. Es funktioniert gut, wenn die Fragen ähnlich sind wie im Buch. Aber bei völlig neuen Fragen (neue Stadt) versagt es oft.

  • Ergebnis: Als sie ein Boston-Auto nach Singapur schickten, explodierte die Fehlerquote. Die Fahrspur wurde 10-mal schlechter, und die Unfallrate stieg um das 20-fache!

• Methode B: Der neugierige Entdecker (Selbstüberwachtes Lernen)
  Hier wird dem Auto keine Lösung gegeben. Es schaut sich einfach riesige Mengen an Fahrdaten an und muss selbst herausfinden, wie die Welt funktioniert. Es lernt Muster: "Wenn ich sehe, dass sich die Straße krümmt, muss ich lenken." Es lernt die Struktur der Welt, nicht nur die Namen der Objekte.

  • Ergebnis: Diese Autos waren viel robuster. Wenn sie von Boston nach Singapur fuhren, blieben sie stabil. Die Fehlerquote stieg kaum an.

3. Der große Test: Boston vs. Singapur

Die Forscher haben einen strengen Test gemacht:

• Szenario 1: Das Auto lernt nur in Boston und wird dann in Singapur getestet.
• Szenario 2: Das Auto lernt nur in Singapur und wird in Boston getestet.

Das Ergebnis war faszinierend:

• Wenn ein Auto aus Boston (Rechtsverkehr) nach Singapur (Linksverkehr) kam, war der Schock für die "klassischen" Autos riesig. Sie wussten nicht, wie sie sich verhalten sollten.
• Die "Entdecker"-Autos (mit selbstüberwachtem Lernen) kamen viel besser zurecht. Sie hatten gelernt, dass "Verkehr" einfach "Verkehr" ist, egal auf welcher Seite er fließt. Sie verstanden die Logik des Fahrens, nicht nur die Gewohnheiten von Boston.

4. Warum ist das wichtig?

Stell dir vor, du willst ein Taxi-Unternehmen starten, das in der ganzen Welt fährt.

• Ohne diese Forschung: Du müsstest für jede neue Stadt (Berlin, Tokio, New York) das Auto neu trainieren und mit neuen Daten füttern. Das ist extrem teuer und langsam.
• Mit dieser Forschung: Du kannst ein Auto bauen, das "intelligent genug" ist, um sich in jeder neuen Stadt sofort zurechtzufinden, ohne dass du neue Daten sammeln musst. Es ist wie ein Fahrer, der in Deutschland gelernt hat, aber sofort in Japan fahren kann, weil er das Prinzip des Fahrens verstanden hat, nicht nur die deutschen Straßen.

Fazit

Die Studie zeigt: Die Art und Weise, wie wir einem KI-Modell beibringen, die Welt zu sehen, ist entscheidend.

Wenn wir KI-Systeme nur mit "Lösungsbüchern" (klassisches Lernen) trainieren, sind sie wie auswendig gelernte Schüler, die bei neuen Aufgaben scheitern. Wenn wir sie aber dazu bringen, die Welt selbst zu erkunden und Muster zu erkennen (selbstüberwachtes Lernen), werden sie zu echten Entdeckern, die sich in unbekannten Städten sicher zurechtfinden.

Das ist ein riesiger Schritt hin zu echten, weltweit einsetzbaren selbstfahrenden Autos, die nicht an ihre Heimatstadt gebunden sind.

Technische Zusammenfassung

1. Problemstellung

End-zu-End-Autonomes Fahren (E2E-AD) wird derzeit meist auf gemischten Datensätzen mehrerer Städte trainiert, wobei häufig vortrainierte, überwachtes (supervised) Backbones (z. B. auf ImageNet) verwendet werden. Ein zentrales, aber oft vernachlässigtes Problem ist die Generalisierungsfähigkeit auf völlig neue, ungesehene Städte (Zero-Shot Cross-City Generalization).

• Versteckte Abhängigkeiten: Wenn Trainings- und Evaluierungsdaten geografisch gemischt sind, lernen Modelle oft stadt-spezifische Merkmale (z. B. spezifische Straßengeometrien, Verkehrsschilder oder Fahrtrichtungen), anstatt robuste, universelle Repräsentationen zu entwickeln.
• Geografische Domänenverschiebung: In der realen Welt muss ein Fahrzeug, das in einer Stadt trainiert wurde, sicher in einer anderen operieren, ohne nachtrainiert zu werden. Unterschiede in der Straßentopologie, der Verkehrsrichtung (Rechts- vs. Linksverkehr) und der Infrastruktur führen zu strukturellen Domänenverschiebungen.
• Fehlende Bewertung: Bisherige Benchmarks isolieren diese geografischen Verschiebungen oft nicht, was zu einer Überschätzung der Robustheit führt. Das Paper untersucht, ob selbstüberwachte (self-supervised, SSL) visuelle Repräsentationen im Vergleich zu traditionellen überwachten Repräsentationen die Transferfähigkeit über Stadtgrenzen hinweg verbessern können.

2. Methodik

Die Autoren entwickeln einen kontrollierten Evaluierungsrahmen, um den Einfluss der Repräsentationsvortrainierung auf die Generalisierung zu isolieren.

• Evaluierungsprotokoll:
  • Strenge geografische Trennung: Modelle werden ausschließlich auf Daten einer einzigen Stadt trainiert und ohne Feinabstimmung (Zero-Shot) auf einer anderen, geografisch distincten Stadt evaluiert.
  • Datensätze:
    • nuScenes: Offene Schleife (Open-Loop). Vergleich zwischen Boston (Rechtsverkehr) und Singapur (Linksverkehr).
    • NAVSIM: Geschlossene Schleife (Closed-Loop) mit Pseudo-Simulation. Umfasst Boston, Pittsburgh, Las Vegas und Singapur.
• Architekturen:
  • Open-Loop: Verwendung von LAW (Latent World Model) mit einem ViT-Backbone.
  • Closed-Loop: Verwendung von TransFuser und Latent Transfuser (bildbasiert, ohne LiDAR-Encoder im Latent Transfuser-Varianten).
• Vergleichene Backbone-Varianten:
  1. Überwacht (Supervised): ImageNet-vortrainierte Modelle (z. B. Swin Transformer, ViT-H/S/B).
  2. Allgemeine SSL: Große, generische SSL-Modelle (I-JEPA, DINOv2, MAE), die auf ImageNet oder großen allgemeinen Datensätzen trainiert wurden.
  3. Domänenspezifische SSL: Derselbe Backbone (ViT-S/14), der spezifisch auf nuScenes-Fahrdaten mittels SSL (I-JEPA, DINOv2, MAE) vortrainiert wurde.
  • Wichtig: Die Architektur und Kapazität der Backbones wurden bei den domänenspezifischen SSL-Varianten konstant gehalten, um den reinen Effekt des Vortrainierungsziels zu messen.

3. Wichtige Ergebnisse

A. Offene Schleife (nuScenes)

• Massive Generalisierungslücke bei überwachten Modellen: Ein auf Boston trainiertes Modell mit einem traditionellen Swin-Transformer (ImageNet) zeigt beim Transfer nach Singapur eine L2-Displacement-Fehler-Inflation von 9,77-fach und eine Kollisionsrate-Erhöhung von 19,43-fach.
• Asymmetrie: Der Transfer ist stark gerichtet. Der Transfer von Boston nach Singapur (Rechts- zu Linksverkehr) ist deutlich katastrophaler als der umgekehrte Weg.
• Verbesserung durch domänenspezifisches SSL:
  • Selbstüberwachtes Vortraining auf nuScenes reduziert die Generalisierungslücke drastisch.
  • Beispiel: Ein I-JEPA-Modell, das auf nuScenes (rechteckige Auflösung) vortrainiert und eingefroren wurde, reduziert die L2-Inflation von 9,77x auf 1,20x und die Kollisionsrate sogar auf 0,75x (keine Verschlechterung, sondern leichte Verbesserung).
  • Modelle mit ähnlicher In-Domain-Leistung können bei Zero-Shot-Transfer völlig unterschiedliche Ergebnisse liefern, was die Qualität der Repräsentation als kritischen Faktor für die Robustheit unterstreicht.

B. Geschlossene Schleife (NAVSIM)

• PDMS (Predictive Driver Model Score): In der geschlossenen Schleife zeigt sich, dass domänenspezifisches SSL die Performance über alle Trainingsstädte hinweg verbessert.
• Ergebnisse: Domänenspezifisch vortrainierte Backbones (insbesondere MAE und I-JEPA auf nuScenes) übertreffen den überwachten ResNet34-Baseline um bis zu 4% PDMS, insbesondere in Szenarien ohne LiDAR (Latent TransFuser).
• Robustheit: Während überwachte Modelle bei Transfer von Singapur zu Rechtsverkehr-Städten stark einbrechen, halten SSL-Modelle ihre Performance stabiler.

4. Schlüsselbeiträge

1. Nachweis der Asymmetrie: Das Paper zeigt empirisch, dass geografischer Transfer nicht symmetrisch ist; die Wahl der Trainingsstadt bestimmt maßgeblich die Robustheit des Modells.
2. Repräsentationsqualität als Schlüsselfaktor: Es wird demonstriert, dass die Art der visuellen Repräsentation (Supervised vs. SSL, generisch vs. domänenspezifisch) einen größeren Einfluss auf die Zero-Shot-Generalisierung hat als die downstreame Planungsberechnung selbst.
3. Überlegenheit von domänenspezifischem SSL: Selbstüberwachtes Lernen auf Fahrdaten (nuScenes) ist überlegen gegenüber generischen ImageNet-Vortrainings oder reinem Training von Grund auf, um strukturelle Domänenverschiebungen (wie Links-/Rechtsverkehr) zu bewältigen.
4. Neuer Evaluierungsstandard: Die Autoren etablieren den Zero-Shot-geografischen Transfer als notwendigen Stress-Test für die Bewertung von E2E-Systemen, da gemischte Datensätze die wahren Schwachstellen maskieren.

5. Bedeutung und Fazit

Die Studie liefert starke empirische Belege dafür, dass selbstüberwachtes Lernen (SSL), insbesondere wenn es auf domänenspezifischen Daten durchgeführt wird, die Robustheit von End-zu-End-Autonom-Fahr-Systemen gegenüber geografischen Verschiebungen signifikant erhöht.

• Praktische Implikation: Für die Skalierung autonomer Fahrzeuge ist es wirtschaftlich und operativ unmöglich, Daten für jede Stadt zu annotieren. Diese Ergebnisse zeigen, dass SSL-Methoden ein Weg sind, um Modelle zu entwickeln, die ohne nachträgliches Training in neuen Städten sicher navigieren können.
• Zukunft: Die Arbeit legt nahe, dass zukünftige Benchmarks und Forschungsarbeiten den Fokus von reinen In-Domain-Metriken hin zu strengen Zero-Shot-geografischen Tests verlagern müssen, um die wahre Generalisierungsfähigkeit von autonomen Systemen zu messen.

Zusammenfassend beweist das Paper, dass die Qualität der visuellen Repräsentation (durch SSL verbessert) der entscheidende Hebel ist, um die Lücke zwischen Training in einer Stadt und sicherem Betrieb in einer völlig anderen zu schließen.