Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures
Dieses Paper präsentiert ein hybrides CPU-GPU-Inferenz-Framework, das Vision-Language-Action (VLA)-Modelle auf Block-Ebene partitioniert, um die Berechnung über eine asynchrone Pipeline an die CPU auszulagern, wodurch die Inferenzlatenz und den GPU-Speicherverbrauch signifikant reduziert werden, um einen erfolgreichen Einsatz auf ressourcenbeschränkten autonomen Fahrplattformen zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Autonomes Fahren stützt sich seit langem auf einen modularen Ansatz, bei dem separate Computerprogramme unterschiedliche Aufgaben übernehmen, wie etwa das Erkennen der Straße, das Vorhersagen, wohin andere Autos fahren werden, und das Entscheiden, wie gelenkt werden soll. Diese Systeme arbeiten zusammen, sind jedoch oft starr und haben Schwierigkeiten, sich an komplexe, wechselnde Situationen anzupassen. Kürzlich ist ein neuer Typ künstlicher Intelligenz namens Vision-Language-Action-Modell als vielversprechende Alternative entstanden. Diese Modelle agieren eher wie ein menschlicher Fahrer, der eine Szene betrachten, eine gesprochene Anweisung oder ein komplexes Verkehrsszenario verstehen und sofort eine physische Handlung entscheiden kann – und das alles innerhalb eines einzigen, vereinten Gehirns. Während diese Modelle großes Potenzial für die Schaffung eines geschmeidigeren und sichereren Fahrens bieten, bringen sie eine erhebliche Hürde mit sich: Sie sind unglaublich ressourcenintensiv für den Computer. Sie verlangen enorme Mengen an Rechenleistung und Speicher, was die spezialisierten Grafikchips, die in aktuellen selbstfahrenden Autos zu finden sind, oft überfordert. Dies schafft einen Flaschenhals, bei dem der Computer des Autos mit den Anforderungen des Modells nicht mithalten kann, was es schwierig macht, diese fortschrittlichen Systeme ohne Einbußen bei Geschwindigkeit oder Sicherheit auf echten Fahrzeugen zu installieren.
Forscher der City University of Hong Kong und der Mohamed bin Zayed University of Artificial Intelligence haben eine neue Methode entwickelt, um diese leistungsstarken Modelle laufen zu lassen, die dieses Ressourcenproblem löst, ohne die Modelle selbst zu verändern. Anstatt das gesamte Gehirn der künstlichen Intelligenz auf dem Grafikchip laufen zu lassen, teilen sie die Arbeit zwischen dem Grafikchip und dem Hauptprozessor des Autos auf. Sie fanden heraus, dass der Grafikchip zwar exzellent in der ersten Aufgabe des „Sehens“ der Straße ist, der Hauptprozessor, der während dieser schweren visuellen Aufgaben normalerweise im Leerlauf arbeitet, jedoch perfekt dazu in der Lage ist, die späteren Phasen des logischen Schlussfolgerns zu übernehmen. Durch die Aufteilung des Modells in Schichten und die Zuweisung der ersten Schichten an den Grafikchip sowie der letzten Schichten an den Hauptprozessor schufen sie ein ausgewogenes System. Da ein Auto zudem ständig in Bewegung ist und einen Strom neuer Bilder empfängt, entwarfen die Forscher eine Pipeline, bei der der Hauptprozessor die logische Schlussfolgerung für den gegenwärtigen Moment bearbeitet, während der Grafikchip bereits damit beginnt, den nächsten Moment zu verarbeiten. Dieses Überlappen von Aufgaben ermöglicht es dem System, beide Prozessoren auszulasten, was den Entscheidungsprozess signifikant beschleunigt.
Als das Team diesen Ansatz an zwei führenden autonomen Fahrmodellen testete, waren die Ergebnisse substanziell. Für ein Modell namens Orion sank die Zeit, die benötigt wurde, um eine Fahrentscheidung zu treffen, von 521 Millisekunden auf 408 Millisekunden, was einer Reduktion von fast 22 Prozent entspricht. Für ein anderes Modell namens MindDrive sank die Zeit von 443 Millisekunden auf 306 Millisekunden, eine Verringerung um über 30 Prozent. Vielleicht noch kritischer als die Geschwindigkeit war die Entlastung des Speichers des Autos. Das ursprüngliche Orion-Modell erforderte 45 Gigabyte Speicher auf dem Grafikchip – eine Forderung, die so hoch war, dass es nicht neben anderen essenziellen Systemen des Fahrzeugs auf dem Testfahrzeug laufen konnte. Der neue Hybridansatz reduzierte diesen Bedarf auf 29 Gigabyte, wodurch das Modell erfolgreich auf derselben Hardware laufen konnte, an der die Originalversion vollständig gescheitert wäre. Während dieser Tests blieb die Qualität der Fahrentscheidungen unverändert; das Auto fuhr nicht schlechter oder stürzte häufiger unfall, was bewies, dass die Geschwindigkeitsgewinne nicht zu Lasten der Sicherheit gingen.
Die Forscher entdeckten auch, dass die bloße Aufteilung der Arbeit nicht ausreichte; der Zeitpunkt dieser Aufteilung war entscheidend. Wenn sie zu viel Arbeit dem Hauptprozessor zuwiesen, wurde dieser zum neuen Flaschenhals und verlangsamte alles. Wenn sie zu wenig zuwiesen, blieb der Grafikchip überlastet. Sie fanden einen spezifischen Balancepunkt, an dem die Arbeitslast gleichmäßig verteilt war, was es dem System ermöglichte, seine schnellste Geschwindigkeit zu erreichen. Sie bestätigten auch, dass die überlappende Pipeline essenziell war. Ohne sie müsste das System immer warten, bis eine Aufgabe vollständig abgeschlossen war, bevor die nächste begann, was die Vorteile der Nutzung zweier Prozessoren zunichtemachen würde. Indem sie die Prozessoren gleichzeitig an verschiedenen Videoframes arbeiten ließen, erreichte das System einen stetigen, hochgeschwindigen Fluss von Entscheidungen.
Diese Arbeit zeigt, dass die Einschränkungen der aktuellen Hardware für autonomes Fahren kein Sackgasse sind, sondern vielmehr ein Signal, die Aufgabenverteilung neu zu überdenken. Die Studie legt nahe, dass es möglich ist, fortgeschrittene, groß angelegte Modelle der künstlichen Intelligenz auf bestehenden Fahrzeugen einzusetzen, indem man den Computer des Autos als ein Team von Spezialisten betrachtet statt als einen einzelnen Kraftprotzen. Die Forscher validierten dies, indem sie ihr System auf einem echten Fahrzeug zusammen mit einer Standard-Suite von Fahrsoftware ausführten, was zeigte, dass der Hybridansatz nicht nur eine theoretische Verbesserung ist, sondern eine praktische Lösung, die mit der komplexen Software, die bereits zum Fahren eines Autos erforderlich ist, koexistieren kann. Die Ergebnisse deuten darauf hin, dass effizientes Systemdesign, statt lediglich auf leistungsstärkere Hardware zu warten, der Schlüssel ist, um diese anspruchsvollen Fahrmodelle in die reale Welt zu bringen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.