PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

Das Paper stellt PRIX vor, eine effiziente End-to-End-Architektur für autonomes Fahren, die ausschließlich auf Kameradaten basiert, ohne LiDAR oder explizite BEV-Repräsentationen auskommt und durch den neuartigen Context-aware Recalibration Transformer (CaRT) einen State-of-the-Art-Planungsprozess ermöglicht, der sowohl in der Leistung als auch in der Effizienz für den praktischen Einsatz optimiert ist.

Das Wesentliche

🚗 PRIX: Der Autofahrer, der nur mit den Augen sieht

Stellen Sie sich vor, Sie wollen ein autonomes Auto bauen. Die meisten High-End-Modelle heute sind wie riesige, schwerfällige Roboter. Sie brauchen nicht nur Kameras, sondern auch teure, laserbasierte 3D-Scanner (LiDAR), die wie ein teures Brillenglas auf dem Dach sitzen. Außerdem sind die Computer in diesen Autos so mächtig, dass sie oft so groß sind wie ein ganzer Server-Rack im Keller. Das macht sie teuer und schwer für den Massenmarkt.

Die Forscher hinter PRIX (Plan from Raw pIXels) haben sich gefragt: „Warum müssen wir so kompliziert sein? Kann ein Auto nicht einfach lernen, wie ein Mensch zu fahren – nur mit den Augen?"

Das Ergebnis ist PRIX: Ein schlauer, schneller und günstiger Fahrplaner, der nur mit Kameras auskommt und dabei trotzdem besser fährt als viele teure Konkurrenten.

1. Das Problem: Der „Übergewichtige" Computer

Bisherige Systeme funktionieren oft so:

1. Die Kameras sehen die Welt.
2. Ein riesiger Rechner wandelt das Bild in eine künstliche „Vogelperspektive" (BEV) um – als würde das Auto eine unsichtbare Landkarte über sich ausbreiten.
3. Ein weiterer riesiger Rechner plant die Route.

Das ist wie beim Kochen: Man nimmt frische Zutaten (Bilder), schneidet sie in winzige Stücke, wiegt sie auf einer Waage, malt eine Landkarte der Küche und plant dann erst, wie man den Salat schneidet. Es ist viel Arbeit für den Koch (den Computer). Zudem brauchen die besten Modelle oft noch einen Laser-Scanner als „zweites Paar Augen", was die Kosten in die Höhe treibt.

2. Die Lösung: PRIX – Der intuitive Koch

PRIX macht es anders. Es ist wie ein erfahrener Koch, der einfach schaut, riecht und sofort handelt.

• Keine Landkarten, keine Laser: PRIX ignoriert die komplizierte Umwandlung in eine Vogelperspektive und braucht keinen Laser. Es schaut direkt auf die rohen Bilder der Kameras (die „rohen Pixel").
• Der „Kontext-Verstärker" (CaRT): Das Herzstück von PRIX ist eine neue Erfindung namens CaRT. Stellen Sie sich CaRT wie einen Super-Manager vor, der in einem großen Büro sitzt.
  • Die Kameras liefern viele kleine Details (ein Blatt auf der Straße, ein Schild, eine Kurve).
  • Normalerweise würde der Computer jedes Detail einzeln prüfen.
  • CaRT aber schaut sich alles gleichzeitig an. Er sagt: „Aha, das ist ein rotes Licht, und da vorne ist eine Baustelle. Also muss ich nicht nur auf das Licht schauen, sondern auch auf die Baustelle achten."
  • Er „recalibriert" (justiert neu) die Informationen, damit das Auto den ganzen Kontext versteht, nicht nur einzelne Pixel. Das macht die Entscheidungen viel robuster.

3. Wie lernt PRIX zu fahren? (Der Diffusions-Trick)

Stellen Sie sich vor, Sie sollen eine Linie zeichnen, aber Sie fangen mit einem verwaschenen, unscharfen Kritzeln an.

• Andere Autos: Versuchen oft, die perfekte Linie sofort zu erraten. Das führt zu Fehlern.
• PRIX: Nutzt einen Diffusions-Prozess. Es startet mit einem zufälligen Kritzeln (Rauschen) und verfeinert es Schritt für Schritt, bis die perfekte Fahrspur herauskommt.
• Der Clou: PRIX nutzt „Anker". Es kennt bereits grobe Muster (z. B. „Links abbiegen" oder „Geradeaus"). Es muss nicht bei Null anfangen, sondern verfeinert nur diese groben Ideen. Das geht extrem schnell – wie wenn Sie einen Entwurf nur noch glätten, statt ihn neu zu malen.

4. Warum ist das so cool? (Die Ergebnisse)

Die Forscher haben PRIX in verschiedenen Tests (wie einem virtuellen Rennspiel) gegen die besten Systeme der Welt antreten lassen.

• Geschwindigkeit: PRIX ist ein Sprinter. Es berechnet Fahrtrouten so schnell, dass es in Echtzeit auf normalen Autocomputern läuft (57 Bilder pro Sekunde). Viele andere Modelle sind so langsam wie ein Schneckenrennen (manchmal nur 3 Bilder pro Sekunde).
• Größe: PRIX ist klein und leicht (nur 37 Millionen Parameter). Andere Modelle sind riesige Dinosaurier mit über 100 Millionen Parametern. PRIX passt also auch in ein normales Familienauto, nicht nur in teure Prototypen.
• Leistung: Und das Beste: Trotz seiner Einfachheit fährt PRIX sicherer und besser als viele teure Modelle, die LiDAR und Kameras mischen. Auf den Teststrecken hat es oft die Nase vorn, besonders bei schwierigen Bedingungen wie Regen oder Schnee.

5. Das Fazit

PRIX beweist, dass man für autonomes Fahren keine riesigen, teuren Computer und teure Laser-Scanner braucht. Wenn man die Kameras clever nutzt und dem Computer beibringt, den Kontext zu verstehen (durch den CaRT-Manager), kann ein einfaches, kamera-basiertes System genauso gut oder sogar besser fahren als die High-Tech-Riesen.

Es ist wie der Unterschied zwischen einem schweren, teuren Panzer und einem agilen, schnellen Sportwagen: Der Sportwagen (PRIX) kommt schneller ans Ziel, verbraucht weniger Treibstoff und kostet weniger, fährt aber trotzdem sicher durch den Verkehr.

Kurz gesagt: PRIX zeigt uns, dass die Zukunft des autonomen Fahrens nicht in teurer Hardware liegt, sondern in kluger Software, die so sieht wie wir Menschen. 🚗👁️✨

Technische Zusammenfassung

1. Problemstellung

End-to-End-Autonomes Fahren verspricht eine direkte Abbildung von Sensoreingaben auf Fahrtrajektorien, was die Fehlerfortpflanzung in modularen Pipelines reduziert. Dennoch stehen praktische Anwendungen vor erheblichen Herausforderungen:

• Ressourcenintensität: State-of-the-Art-Modelle (SOTA) sind oft extrem groß (über 100 Millionen Parameter) und rechenintensiv.
• Sensorabhängigkeit: Viele führende Ansätze erfordern teure LiDAR-Sensoren oder multimodale Fusionen, was sie für massentaugliche Fahrzeuge (die meist nur Kameras besitzen) unpraktisch macht.
• BEV-Abhängigkeit: Die meisten Methoden nutzen Bird's-Eye-View (BEV)-Darstellungen, die für kamerabasierte Systeme rechenaufwendig zu generieren sind (z. B. durch LSS-Modelle).
• Effizienz vs. Leistung: Bestehende kamerabasierte Lösungen erreichen oft nicht die Leistung multimodaler Systeme oder sind zu langsam für den Echtzeiteinsatz.

Das Ziel ist es, ein effizientes, rein kamerabasiertes System zu entwickeln, das ohne LiDAR und ohne explizite BEV-Repräsentation auskommt, aber dennoch SOTA-Leistung bietet.

2. Methodik: PRIX (Plan from Raw pIXels)

PRIX ist eine neuartige End-to-End-Architektur, die Rohpixel direkt in sichere Trajektorien umwandelt. Der Kernansatz besteht darin, reiche visuelle Repräsentationen direkt aus Kameradaten zu lernen, ohne auf geometrische 3D-Informationen oder BEV-Features zurückzugreifen.

A. Visuelle Merkmalsextraktion & CaRT-Modul

Das Fundament ist ein leichtgewichtiges, hierarchisches Feature-Extraktionsnetzwerk (basierend auf ResNet), das multi-skalige Merkmale erfasst.

• Context-aware Recalibration Transformer (CaRT): Dies ist der zentrale Innovationsteil. Um das Dilemma zwischen feinen räumlichen Details (frühe Schichten) und semantischem Kontext (tiefe Schichten) zu lösen, wird ein CaRT-Modul eingeführt.
  • Es wendet Self-Attention auf die Feature-Maps an, um langreichweitige Abhängigkeiten im räumlichen Bereich zu modellieren.
  • Ein weight-shared Self-Attention-Block recalibriert die lokalen Merkmale durch globalen semantischen Kontext.
  • Durch Skip-Connections werden die recalibrierten Merkmale mit den ursprünglichen Features kombiniert und in die nächste Schicht weitergeleitet.
  • Dies führt zu einer finalen „Global Feature"-Darstellung und einer „Local Feature"-Darstellung (ähnlich einem Feature Pyramid Network), die sowohl semantische Tiefe als auch räumliche Präzision bietet.

B. Planung ohne geometrisches BEV

Anstatt ein explizites BEV-Raster zu konstruieren, nutzt PRIX einen gelernten kanonischen Grid-Ansatz:

• Die globalen Features werden in einen „Token Memory" umgewandelt, der mit dem Fahrzeugstatus (Ego-Status) angereichert wird.
• Dieser Memory wird „gefolded" (in 2D zurückgefaltet) und mit lokalen Features kombiniert, um ein „Planner Grid" zu erzeugen.
• Dieses Grid ist nicht geometrisch definiert, sondern durch semantische und Trajektorien-Verluste an das Fahrzeugkoordinatensystem gebunden.

C. Diffusion-basierter Planer

Für die Trajektorienplanung wird ein Conditional Denoising Diffusion Head verwendet (inspiriert von DiffusionDrive):

• Die Planung wird als Denoising-Prozess behandelt: Das Modell verfeinert verrauschte Trajektorievorschläge (Anker/Anchors) schrittweise.
• Durch die Verwendung von K-Means-Clustering auf Ground-Truth-Trajektorien werden starke Anker (z. B. „Links abbiegen", „Spur halten") bereitgestellt, die als Vorwissen dienen.
• Dies ermöglicht eine schnelle Inferenz (nur 2 Diffusion-Schritte nötig), da das Modell nicht aus reinem Rauschen starten muss.

D. Trainingsziele und Auxiliary Tasks

Um robuste Repräsentationen zu lernen, wird ein Multi-Task-Learning-Ansatz verfolgt:

• Primärer Verlust ($L_{plan}$): Minimierung des $L_1$-Abstands zur Ground-Truth-Trajektorie.
• Objekterkennung ($L_{det}$): Auxiliary Task zur Lokalisierung von Verkehrsteilnehmern (Fahrzeuge, Fußgänger), um die Sensibilität für dynamische Agenten zu erhöhen.
• Semantische Konsistenz ($L_{sem}$): Pixelweise Kreuzentropie-Verlust für semantische Segmentierung (fahrbare Flächen, Fahrspuren), um das Verständnis der statischen Umgebung zu stärken.

3. Schlüsselbeiträge

1. PRIX-Architektur: Ein hoch effizienter, rein kamerabasierter End-to-End-Planer, der ohne LiDAR und ohne explizite BEV-Features auskommt.
2. CaRT-Modul: Ein neuer Transformer-basierter Modul zur effektiven Verbesserung multi-level visueller Merkmale durch kontextbewusste Neukalibrierung.
3. Umfassende Abstraktionsstudie: Validierung der Architekturentscheidungen (z. B. geteilte Attention-Gewichte, Anzahl der Diffusion-Schritte, Rolle der Auxiliary Tasks).
4. Leistung und Effizienz: Erzielung von SOTA-Ergebnissen bei gleichzeitig deutlich reduzierter Modellgröße und höherer Inferenzgeschwindigkeit im Vergleich zu bestehenden Ansätzen.

4. Ergebnisse

Die Methode wurde auf den Datensätzen NavSim-v1, NavSim-v2 und nuScenes evaluiert:

• NavSim-v1:

  • PRIX erreicht mit 87,8 PDMS (Performance Drive Metric Score) die beste Leistung unter allen kamerabasierten Methoden und schlägt die meisten multimodalen Ansätze (einschließlich DiffusionDrive und GoalFlow).
  • Effizienz: Mit 57 FPS ist PRIX deutlich schneller als viele Konkurrenten (z. B. UniAD mit 3 FPS, VAD mit 25 FPS) und benötigt nur 37 Millionen Parameter (im Vergleich zu >100M bei VAD/UniAD).
  • Es erzielt hervorragende Ergebnisse bei Sicherheitsmetriken (Kollisionsvermeidung, Fahrspurerhaltung) auch bei schlechten Wetterbedingungen.

• NavSim-v2:

  • PRIX führt mit einem EPDMS von 84,2 und zeigt robuste Leistung in reaktiven Simulationen.

• nuScenes:

  • PRIX erreicht den niedrigsten durchschnittlichen $L_2$-Fehler (0,57 m) über 1–3 Sekunden Horizonte und die niedrigste Kollisionsrate (0,07 %).
  • Es ist mit 11,2 FPS das schnellste Modell in diesem Benchmark.

5. Bedeutung und Fazit

PRIX demonstriert, dass hochleistungsfähiges autonomes Fahren auch ohne teure LiDAR-Sensoren und ohne rechenintensive BEV-Transformationen möglich ist.

• Praktische Relevanz: Die Kombination aus hoher Genauigkeit, geringer Modellgröße und Echtzeitfähigkeit macht PRIX zu einer praktikbaren Lösung für die Massenproduktion von Fahrzeugen, die primär mit Kameras ausgestattet sind.
• Paradigmenwechsel: Die Arbeit widerlegt die Annahme, dass multimodale Sensoren oder explizite 3D-Geometrie zwingend für SOTA-Planung notwendig sind. Stattdessen zeigt sie, dass eine sorgfältig gestaltete visuelle Feature-Extraktion (via CaRT) und ein gut konditionierter Diffusionsplaner ausreichen, um robuste Fahrstrategien zu lernen.
• Open Source: Der Code wird veröffentlicht, was die Reproduzierbarkeit und Weiterentwicklung im Bereich des visuellen autonomen Fahrens fördert.

Zusammenfassend stellt PRIX einen neuen Benchmark für effizientes, visuelles End-to-End-Fahren dar und ebnen den Weg für skalierbare autonome Systeme.