TruckDrive: Long-Range Autonomous Highway Driving Dataset

Das Paper stellt TruckDrive vor, einen umfassenden Multimodal-Datensatz für das autonome Langstrecken-Fahren von Lastkraftwagen auf Autobahnen, der mit speziell entwickelten Sensoren bis zu 1.000 Meter Reichweite erfasst und zeigt, dass aktuelle autonome Fahrmodelle bei Entfernungen über 150 Meter signifikante Leistungseinbußen aufweisen.

Das Wesentliche

TruckDrive: Der neue „Fernglas"-Datensatz für selbstfahrende LKWs

Stellen Sie sich vor, Sie fahren mit einem normalen Pkw durch die Stadt. Wenn Sie auf einen Fußgänger blicken, sehen Sie ihn vielleicht 50 Meter entfernt. Das ist wie ein kurzer Blick durch ein normales Fenster. Für einen normalen Pkw reicht das völlig aus, denn er fährt langsam und kann schnell bremsen.

Jetzt stellen Sie sich einen riesigen, vollbeladenen LKW vor, der mit 120 km/h über die Autobahn rast. Wenn dieser LKW einen Hindernis sieht, braucht er viel mehr Zeit und Platz, um zu stoppen – so viel, als würde er versuchen, ein Schiff auf einem See zum Stillstand zu bringen. Wenn er erst bei 50 Metern bremst, ist es bereits zu spät. Er braucht einen „Blick" von weit über 200 Metern, um sicher zu planen.

Das Problem bisher: Fast alle Daten, mit denen selbstfahrende Autos trainiert werden, stammen aus Städten. Sie sind wie eine Brille, die nur auf kurze Distanz scharf eingestellt ist. Wenn man diese „Brille" auf einen LKW auf der Autobahn setzt, wird die Welt unscharf und gefährlich.

Hier kommt TruckDrive ins Spiel.

Was ist TruckDrive?

TruckDrive ist ein riesiger Datensatz, der speziell für Autobahnen und schwere LKWs gebaut wurde. Die Forscher haben einen LKW mit einer speziellen Ausrüstung ausgestattet, die wie ein Super-Augapfel funktioniert:

• Die Sensoren: Statt nur ein paar Kameras zu haben, trägt der LKW sieben riesige „Laser-Scanner" (LiDARs), die bis zu 400 Meter weit sehen können. Das ist wie ein Fernglas, das nicht nur sieht, sondern auch misst, wie schnell sich Dinge bewegen. Dazu kommen 10 Radargeräte und 11 hochauflösende Kameras, die bis zu 1.000 Meter weit blicken können.
• Die Daten: Sie haben über 475.000 Momentaufnahmen gemacht, davon 165.000, bei denen Menschen genau markiert haben, was man sieht (Autos, Schilder, Müll auf der Straße).

Warum ist das so wichtig? (Die Analogie vom Marathonläufer)

Bisher haben wir selbstfahrende Autos wie Marathonläufer trainiert, die nur auf einem 100-Meter-Sprint laufen. Sie sind in diesem kurzen Sprint sehr schnell und präzise. Aber wenn man sie plötzlich auf einen 42-Kilometer-Marathon schickt (die Autobahn), stolpern sie.

Die Forscher haben getestet, wie gut die besten aktuellen KI-Modelle mit diesem neuen „Marathon-Datensatz" zurechtkommen. Das Ergebnis war erschreckend:

• Sobald die Objekte weiter als 150 Meter entfernt waren, brach die Leistung der KI dramatisch ein.
• Bei der 3D-Erkennung (also das Einschätzen von Größe und Abstand) sank die Genauigkeit um bis zu 99 %.
• Die KI verlor quasi den Blick für das, was vor ihr lag. Sie konnte kleine Steine oder abgerissene Teile von anderen Fahrzeugen in der Ferne nicht mehr erkennen.

Was haben die Forscher herausgefunden?

Die aktuellen KI-Modelle sind wie ein Kartenstapel, der für eine kleine Stadt gedacht ist. Wenn man versucht, eine ganze Autobahn darauf abzubilden, wird die Karte entweder so groß, dass der Computer explodiert (zu viel Rechenleistung nötig), oder die Details werden so stark verkleinert, dass man nichts mehr erkennt.

• Kameras allein reichen nicht: Wenn man nur auf Bilder schaut, werden Objekte in der Ferne so klein wie Pixel auf einem alten Handybildschirm. Die KI kann sie nicht mehr lesen.
• Die Lösung braucht neue Ideen: Man braucht neue „Gehirne" für die Autos, die nicht nur auf kurze Distanz schauen, sondern die Zukunft weit voraus planen können.

Das Fazit

Mit TruckDrive haben die Forscher endlich das richtige „Trainingsmaterial" geliefert, um selbstfahrende LKWs sicher auf der Autobahn zu machen. Sie zeigen uns, dass wir unsere aktuellen Technologien nicht einfach nur „besser" machen müssen, sondern dass wir völlig neue Ansätze brauchen, um die riesigen Entfernungen und die hohen Geschwindigkeiten zu meistern.

Es ist wie der Unterschied zwischen einem Kind, das Fahrrad fahren lernt (Stadtdaten), und einem professionellen Rennfahrer, der auf der Formel-1-Strecke fahren muss (Autobahn-Daten). Man braucht ein ganz anderes Training, um dort sicher anzukommen. TruckDrive ist dieses neue, notwendige Training.

Technische Zusammenfassung

1. Problemstellung

Autonomes Fahren für schwere LKW auf Autobahnen stellt eine ungelöste Herausforderung dar. Im Gegensatz zu städtischen Szenarien mit Pkw erfordern LKW aufgrund ihrer hohen Masse und Trägheit deutlich längere Bremswege. Bei Geschwindigkeiten von 120 km/h benötigt ein vollbeladener LKW über 150–200 Meter zum Anhalten (entsprechend 4,5–6 Sekunden Vorlaufzeit).

Bestehende autonome Fahr-Datensätze (wie nuScenes, Waymo, KITTI) sind jedoch primär auf städtische Umgebungen und niedrige Geschwindigkeiten ausgelegt. Ihre Wahrnehmungsbereiche sind typischerweise auf 100 Meter begrenzt. Diese Einschränkung führt zu einem kritischen Sicherheitsmangel für LKW, da die verfügbare Zeit für Planung und Bremsmanöver durch die Sensorik-Latenz und die begrenzte Reichweite aufgezehrt wird. Zudem zeigen aktuelle Modelle, die auf diesen kurzen Reichweiten trainiert wurden, bei Entfernungen über 150 Metern drastische Leistungseinbußen (bis zu 99 %), da sie nicht auf lange Sichtweiten und hohe Geschwindigkeiten generalisieren können.

2. Methodik und Datensatz-Design (TruckDrive)

Um diese Lücke zu schließen, stellen die Autoren TruckDrive vor, den ersten groß angelegten, multimodalen Datensatz, der speziell für das autonome Fahren auf Autobahnen mit hohen Geschwindigkeiten entwickelt wurde.

Sensor-Setup:
Das Fahrzeug ist mit einem speziell für die Langstrecke konzipierten Sensor-Array ausgestattet:

• 7 Langstrecken-FMCW-LiDARs (AEVA Aeries II): Erfassen Reichweite und radiale Geschwindigkeit bis zu 400 m.
• 3 Kurzstrecken-LiDARs (Ouster OS0/OS1): Für tote Winkel und nahe Objekte.
• 10 4D-FMCW-Radare (Conti ARS540): Für robuste Geschwindigkeitsmessung.
• 11 Kameras (8 MP): Mit variierenden Brennweiten (kurz/mittel/lang), darunter Wide-Baseline-Stereo-Kameras, die eine Auflösung bis zu 1000 m ermöglichen.
• Synchronisation: Alle Sensoren sind auf eine gemeinsame Uhr synchronisiert (max. 5 ms Abweichung). Die Zeitstempel werden auf die Mitte der Bildbelichtung (Mid-Exposure) der Kameras ausgerichtet, um Rolling-Shutter-Effekte zu kompensieren.

Datensammlung und Annotation:

• Umfang: 475.000 synchronisierte Multimodal-Samples, davon 165.000 manuell annotierte und 310.000 ungelabelte Frames.
• Reichweite: 2D-Annotationen bis 1000 m, 3D-Annotationen (Bounding Boxes) bis 400 m.
• Dynamik: Sequenzen dauern 15–25 Sekunden bei Geschwindigkeiten bis zu 130 km/h.
• Annotation-Pipeline: Ein dreistufiger Prozess kombiniert manuelle Annotation komplexer Szenen mit automatischer Verfeinerung. Dies beinhaltet geometrische Konsistenzprüfung, kinematische Optimierung (unter Verwendung eines Unicycle-Modells zur Glättung von Trajektorien) und das „Lifting" von 2D-Erkennungen in 3D-Raum.

3. Hauptbeiträge

1. Erster Langstrecken-Datensatz: TruckDrive erweitert den Wahrnehmungsbereich um den Faktor fünf im Vergleich zu städtischen Benchmarks (bis 400 m für 3D, bis 1000 m für 2D).
2. Großskalige Multimodalität: Bereitstellung von 475k Samples mit hochauflösenden 8MP-Kameras, 4D-LiDARs und Radaren, unterstützt durch Rohdaten für selbstüberwachtes Lernen.
3. Benchmark für Hochgeschwindigkeits-Szenarien: Etablierung eines neuen Benchmarks für Aufgaben wie Objekterkennung, Tracking, Tiefenschätzung, Vorhersage und End-to-End-Planung unter realen Autobahnbedingungen.

4. Ergebnisse und Evaluation

Die Autoren evaluierten State-of-the-Art-Modelle (z. B. BEVFusion, DETR, UniAD), die auf TruckDrive trainiert wurden, um ihre Generalisierungsfähigkeit zu testen.

• 2D-Objekterkennung: Modelle wie DINO erreichen bei kurzen Distanzen (0–50 m) gute Ergebnisse, aber die Leistung bricht bei ultra-langen Distanzen (250 m+) stark ein (mAP von ~54 % auf ~15 %).
• 3D-Objekterkennung: Es gibt massive Einbrüche bei Entfernungen über 150 m. Modelle wie Far3D (kamera-basiert) zeigen bei langen Distanzen einen Rückgang von bis zu 99 % in der mAP. LiDAR-basierte und fusionierte Modelle performen besser, leiden aber immer noch unter der Komplexität der Daten.
• Tracking & Segmentierung: Das Tracking von Objekten über lange Zeiträume und bei hohen Relativgeschwindigkeiten ist extrem schwierig (durchschnittliche AMOTA von nur ~10–13 %). Die Segmentierung von bewegten Objekten zeigt Einbußen von bis zu 83 % bei großen Entfernungen.
• Tiefenschätzung: Monokulare und Stereo-Methoden verlieren bei Entfernungen über 200 m stark an Genauigkeit (MAE steigt drastisch an).
• End-to-End-Planung: Selbst fortschrittliche Modelle wie UniAD scheitern, da sie für die hohe Auflösung und den langen Horizont (250 m) stark heruntergesampelt werden müssen. Dies führt zu groben Raster (BEV), die kritische Details (wie kleine Trümmer) verlieren und zu hohen Planungsfehlern (L2-Fehler von 1,71 m bereits nach 3 Schritten) führen.

Qualitative Analyse: Die Ergebnisse zeigen, dass bestehende Architekturen (insbesondere dichte Bird's-Eye-View-Repräsentationen) nicht skalierbar sind. Eine Erhöhung der Reichweite führt entweder zu exponentiellem Speicherbedarf oder zu einer zu groben Auflösung, die für die Sicherheit kritische Details verwischt.

5. Bedeutung und Fazit

TruckDrive offenbart eine fundamentale Lücke zwischen dem aktuellen Stand der Technik und den Anforderungen des autonomen LKW-Fahrens auf Autobahnen. Die Studie beweist, dass Modelle, die auf städtischen, kurzen Datensätzen trainiert wurden, nicht einfach auf Hochgeschwindigkeits-Szenarien übertragen werden können.

Die Bedeutung des Datensatzes liegt darin, dass er eine neue Benchmark für die Entwicklung von:

• Reichweitenbewussten Repräsentationen,
• Temporär fundierten und effizienten Lernmethoden,
• Und Architekturen, die lange Planungshorizonte ohne Qualitätsverlust bewältigen können,

schafft. TruckDrive dient als Grundlage für zukünftige Forschung, um das autonome Fahren für schwere Nutzfahrzeuge sicher und zuverlässig zu machen, ein Bereich, der bisher im Vergleich zur städtischen Autonomie stark vernachlässigt wurde.