Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures
Dit artikel presenteert een hybride CPU-GPU-inferentiekader dat Vision-Language-Action (VLA)-modellen op blokniveau partitioneert om de berekening via een asynchrone pijplijn naar de CPU te verplaatsen, wat de inferentielatentie en het GPU-geheugengebruik aanzienlijk vermindert om succesvolle implementatie op hulpbronnenbeperkte autonome rijdende platformen mogelijk te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Zelfrijdende auto's vertrouwen al lang op een modulaire aanpak, waarbij afzonderlijke computerprogramma's specifieke taken afhandelen, zoals het zien van de weg, het voorspellen waar andere auto's heen zullen gaan en het beslissen hoe te sturen. Deze systemen werken samen, maar ze zijn vaak rigide en hebben moeite met het aanpassen aan complexe, veranderende situaties. Onlangs is er een nieuw type kunstmatige intelligentie, een Vision-Language-Action-model, opgekomen als een veelbelovend alternatief. Deze modellen fungeren meer als een menselijke bestuurder die een scène kan bekijken, een gesproken instructie of een complex verkeersscenario kan begrijpen, en onmiddellijk een fysieke handeling kan beslissen, allemaal binnen één enkel, verenigd brein. Hoewel deze modellen groot potentieel tonen voor het creëren van soepeler en veiliger rijden, brengen ze een aanzienlijke hindernis met zich mee: ze zijn extreem zwaar qua computerbronnen. Ze eisen enorme hoeveelheden rekenkracht en geheugen, wat de gespecialiseerde grafische chips die in huidige zelfrijdende auto's worden gevonden, vaak overbelast. Dit creëert een bottleneck waarbij de computer van de auto de behoeften van het model niet kan bijbenen, wat het moeilijk maakt om deze geavanceerde systemen op echte voertuigen te installeren zonder snelheid of veiligheid op te offeren.
Onderzoekers van de City University of Hong Kong en de Mohamed bin Zayed University of Artificial Intelligence hebben een nieuwe manier ontwikkeld om deze krachtige modellen te draaien die dit bronprobleem oplost zonder de modellen zelf te veranderen. In plaats van te proberen het volledige kunstmatige intelligentiebrein op de grafische chip te laten draaien, verdelen zij het werk tussen de grafische chip en de centrale processor van de auto. Ze ontdekten dat hoewel de grafische chip uitstekend is in de eerste taak van het "zien" van de weg, de centrale processor, die normaal gesproken stilstaat tijdens deze zware visuele taken, perfect in staat is om de latere stadia van redeneren op te vangen. Door het model in lagen te verdelen en de eerste lagen aan de grafische chip toe te wijzen en de laatste lagen aan de centrale processor, creëerden ze een gebalanceerd systeem. Bovendien, omdat een auto constant beweegt en een stroom van nieuwe beelden ontvangt, ontwierpen de onderzoekers een pijplijn waarbij de centrale processor werkt aan de redenering voor het huidige moment, terwijl de grafische chip al begonnen is met het verwerken van het volgende moment. Deze overlapping van taken zorgt ervoor dat het systeem beide processors bezet houdt, wat het besluitvormingsproces aanzienlijk versnelt.
Toen het team deze aanpak testte op twee toonaangevende autonome rijmodellen, waren de resultaten aanzienlijk. Voor een model genaamd Orion daalde de tijd die nodig is om een rijbeslissing te nemen van 521 milliseconden naar 408 milliseconden, een vermindering van bijna 22 procent. Voor een ander model genaamd MindDrive daalde de tijd van 443 milliseconden naar 306 milliseconden, een afname van meer dan 30 procent. Misschien nog wel kritischer dan de snelheid was de verlichting van de druk op het geheugen van de auto. Het oorspronkelijke Orion-model vereiste 45 gigabyte aan geheugen op de grafische chip, een vraag die zo hoog was dat het niet naast andere essentiële autosystemen op het testvoertuig kon draaien. De nieuwe hybride aanpak verminderde deze vereiste tot 29 gigabyte, waardoor het model succesvol kon draaien op dezelfde hardware waar de originele versie volledig faalde. Tijdens al deze tests bleef de kwaliteit van de rijbeslissingen onveranderd; de auto reed niet slechter of crashte niet vaker, wat bewees dat de snelheidswinsten niet ten koste gingen van de veiligheid.
De onderzoekers ontdekten ook dat het simpelweg verdelen van het werk niet genoeg was; de timing van die verdeling deed er sterk toe. Als ze te veel werk aan de centrale processor toewezen, werd deze de nieuwe bottleneck die alles vertraagde. Als ze te weinig toewezen, bleef de grafische chip overbelast. Ze vonden een specifiek balanspunt waarbij de werklast gelijkmatig werd verdeeld, waardoor het systeem zijn hoogste snelheid kon bereiken. Ze bevestigden ook dat de overlappende pijplijn essentieel was. Zonder deze zou het systeem nog steeds moeten wachten tot een taak volledig is voltooid voordat de volgende kan beginnen, wat de voordelen van het gebruik van twee processors teniet zou doen. Door de processors te laten werken op verschillende videoframes tegelijkertijd, bereikte het systeem een gestage, hoge snelheid van besluitvorming.
Dit werk toont aan dat de beperkingen van de huidige zelfrijdende hardware geen doodlopende weg zijn, maar eerder een signaal om na te denken over hoe taken worden verdeeld. De studie suggereert dat door de computer van de auto te behandelen als een team van specialisten in plaats van een enkele krachtpatser, het mogelijk is om geavanceerde, grootschalige kunstmatige intelligentiemodellen op bestaande voertuigen te implementeren. De onderzoekers valideerden dit door hun systeem op een echt voertuig te draaien naast een standaard suite van rijsoftware, waarmee ze lieten zien dat de hybride aanpak niet alleen een theoretische verbetering is, maar een praktische oplossing die kan samenleven met de complexe software die al vereist is om een auto te besturen. De bevindingen geven aan dat efficiënt systeemontwerp, in plaats van alleen maar wachten op krachtigere hardware, de sleutel is om deze geavanceerde rijmodellen naar de echte wereld te brengen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.