Foundation Models and Agentic AI for Autonomous Driving: A Systematic Review
Dieser systematische Review synthetisiert über 100 Arbeiten, um eine einheitliche Neun-Themen-Taxonomie zu präsentieren, die Foundation Models, Agentic AI und kooperative V2X-Systeme integriert und sich von bisherigen Übersichtsarbeiten dadurch abhebt, dass sie den Reasoning-Efficiency-Trade-off, Simulation-to-Reality-Gaps sowie Safety Governance innerhalb einer umfassenden kognitiven Architekturperspektive für das autonome Fahren gemeinsam adressiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der Weg zu einem wahrhaft selbstfahrenden Auto wurde lange Zeit mit einer spezifischen Art des Engineerings gepflastert: einer starren Montagestraße, in der ein Computerteil die Welt sieht, ein anderes Teil entscheidet, was zu tun ist, und ein drittes Teil das Lenkrad bewegt. Jahrelang funktionierte dieser modulare Ansatz gut genug, um Autos in Bewegung zu halten, aber er stieß an seine Grenzen, als er mit der chaotischen, unvorhersehbaren Natur des echten Lebens konfrontiert wurde. Ein menschlicher Fahrer sieht nicht nur eine rote Ampel; er versteht den Kontext einer Baustelle, die Absicht eines Fußgängers, der auf die Straße tritt, und die Dringlichkeit eines herannahenden Krankenwagens, während er gleichzeitig seine Handlungen einem Passagier erklärt. Um die Lücke zwischen starrem Code und menschlicher Intuition zu schließen, haben Forscher begonnen, sich einer neuen Klasse künstlicher Intelligenz zuzuwenden, die als Foundation Models bekannt ist. Dies sind massive Systeme, die auf riesigen Mengen an Text und Bildern trainiert wurden und in der Lage sind, Sprache und Vision gemeinsam zu verstehen. Wenn sie auf das Autofahren angewendet werden, versprechen sie, Fahrzeuge von einfachen automatisierten Maschinen in kognitive Partner zu verwandeln, die in der Lage sind, über komplexe Verkehrssituationen zu urteilen, ihre Entscheidungen in einfachem Englisch zu erklären und sich an Szenarien anzupassen, die sie noch nie zuvor gesehen haben.
Ein umfassender Review, der im September 2026 von einem Team aus Forschern verschiedener Institutionen aus Indien, Malaysia, den Vereinigten Arabischen Emiraten und Saudi-Arabien veröffentlicht wurde, skizziert diese sich schnell verändernde Landschaft. Die Autoren, unter der Leitung von A. Srinivaas und Jeswin K F, haben nicht einfach nur neue Gadgets aufgelistet; sie führten eine systematische Analyse von über einhundert aktuellen Studien durch, um zu verstehen, wie diese leistungsstarken Sprach- und Visionsmodelle in das Gefüge des autonomen Fahrens eingewoben werden. Ihre Arbeit zeigt, dass sich das Feld von isolierten Wahrnehmungssystemen hin zu einer einheitlichen „kognitiven Architektur“ bewegt. In dieser neuen Vision reagiert das Auto nicht nur auf Sensoren, sondern denkt aktiv über die Welt nach, nutzt Werkzeuge, um Informationen zu sammeln, und arbeitet mit anderen Fahrzeugen und der städtischen Infrastruktur zusammen, um sicher zu navigieren.
Der Review hebt eine bedeutende Entwicklung in der Art und Weise hervor, wie diese Systeme aufgebaut werden. Frühe Versuche stützten sich auf separate Module für das Sehen und das Denken, doch die neueste Forschung konzentriert sich auf Vision-Language-Action-Modelle. Diese Systeme kombinieren die Fähigkeit, eine Szene zu sehen, die Sprache zu verstehen, die sie beschreibt, und die Bewegungen des Fahrzeugs direkt in einem einzigen, kohärenten Prozess zu steuern. Beispielsweise kann ein System, das diese Modelle verwendet, anstatt nur einen Fußgänger zu erkennen, ein Schild mit der Aufschrift „Schulzone“ verstehen und schlussfolgern, dass es langsamer fahren sollte, selbst wenn der Fußgänger noch nicht sichtbar ist. Die Forscher fanden heraus, dass Frameworks wie DriveMLM und TeLL-Drive bereits die Fähigkeit demonstrieren, die Entscheidungsfindung zu verbessern und die Zeit zu verkürzen, die das Auto zum „Denken“ benötigt. In einem spezifischen Test unter Verwendung einer Simulationsumgebung namens CARLA verbesserte ein Modell namens DriveMLM die Fahrwerte um 4,7 Punkte, speziell beim CARLA Town05 Long Driving Score, indem es sein visuelles Verständnis besser mit seinen Planungsentscheidungen abstimmte.
Der Weg zu einer vollautonomen Zukunft ist jedoch nicht ohne erhebliche Hürden, und der Review unterscheidet sorgfältig zwischen dem, was in einer Computersimulation funktioniert, und dem, was auf einer echten Straße funktioniert. Die Autoren weisen auf eine hartnäckige „Simulations-zu-Realität-Lücke“ hin. Während viele dieser fortschrittlichen Modelle in virtuellen Welten wie CARLA oder nuScenes beeindruckende Leistungen erbringen, haben sie oft Schwierigkeiten, wenn sie auf reale Straßenbedingungen übertragen werden. Die Lücke ist substanziell; in einigen Fällen sinkt die Leistung von kooperativen Wahrnehmungssystemen um bis zu 40 Prozent, wenn sie von einer simulierten Umgebung auf die reale Welt übertragen werden. Dies liegt daran, dass die perfekten, vorhersehbaren Daten einer Simulation die chaotische Unvorhersehbarkeit von tatsächlichem Verkehr, Wetter und menschlichem Verhalten nicht vollständig erfassen können. Darüber hinaus machen die sehr Merkmale, die diese Modelle intelligent machen – ihre Fähigkeit, durch komplexe Gedankengänge zu urteilen – sie auch langsam. Die Zeit, die ein großes Sprachmodell zum „Denken“ benötigt, kann für die Sekundenbruchteile, die bei einer Notfallsituation erforderlich sind, zu lang sein, was einen schwierigen Kompromiss zwischen Intelligenz und Geschwindigkeit schafft.
Ein weiterer kritischer Befund des Reviews ist das Fehlen eines einheitlichen Sicherheitsrahmens. Derzeit werden Sicherheitsprüfungen, die Kommunikation zwischen Fahrzeugen und die künstliche Intelligenz selbst oft als separate Probleme behandelt. Die Forscher argumentieren, dass diese Systeme ein ganzheitliches Modell benötigen, das die Sicherheitsverifizierung direkt in den Denkprozess integriert, damit sie vertrauenswürdig sind. Sie stellen fest, dass zwar Fortschritte bei der Nutzung von Digital Twins – hochdetaillierten virtuellen Repliken von Städten – gemacht wurden, um diese Systeme zu testen, es jedoch keine standardisierte Methode gibt, um zu messen, wie eng diese digitalen Welten mit der Realität übereinstimmen. Ohne diesen Standard ist es schwierig zu zertifizieren, ob ein Auto wirklich sicher für öffentliche Straßen ist. Der Review berührt auch das aufkommende Konzept der „Agentic AI“, bei der das Auto als unabhängiger Agent mit Gedächtnis und der Fähigkeit, Werkzeuge zu nutzen, agiert. Während dies das Versprechen von Fahrzeugen bietet, die aus Erfahrungen lernen und miteinander kollaborieren können, warnen die Autoren, dass diese Systeme noch in den Kinderschuhen stecken und vor Herausforderungen in Bezug auf Interoperabilität und Zuverlässigkeit stehen.
Das Paper schließt mit der Darstellung einer klaren Roadmap für die Zukunft und betont, dass die nächste Generation des autonomen Fahrens nicht durch einen einzelnen Durchbruch, sondern durch die Integration mehrerer komplexer Technologien definiert wird. Die Forscher schlagen vor, dass die Zukunft in Hybridsystemen liegt, die die Geschwindigkeit traditioneller Steuerungssysteme mit der Denkfähigkeit großer Sprachmodelle kombinieren, unterstützt durch robuste Kommunikationsnetzwerke, die es Autos ermöglichen, mit einander und mit der städtischen Infrastruktur zu kommunizieren. Sie betonen, dass für diese Systeme zur Realität zu werden, die Industrie das Problem lösen muss, diese leistungsstarken Modelle schnell genug für den Echtzeitgebrauch, sicher genug für die Zertifizierung und transparent genug für das Vertrauen der Menschen zu machen. Die Reise von einem Auto, das einfach nur einer Spur folgt, zu einem, das die Welt versteht und über sie urteilt, ist im Gange, aber die letzte Meile erfordert die Lösung einiger der schwierigsten Herausforderungen in der künstlichen Intelligenz und im Engineering.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.