When Do LLM Agents Help? Deadline-Aware Mixed-Criticality Task Scheduling at the Autonomous-Vehicle Edge

Zelfrijdende auto's rijden niet alleen; ze denken constant. Om door een drukke straat te navigeren, moet een voertuig een vloed aan gegevens van camera's en sensoren verwerken, waarbij voetgangers, andere auto's en verkeersborden in een fractie van een seconde worden geïdentificeerd. Omdat de eigen computer van de auto deze enorme werklast niet alleen kan aan kunnen, stuurt deze de dringende berekeningen naar nabijgelegen servers die zich aan de rand van het netwerk bevinden, een opstelling die bekend staat als mobile edge computing. De uitdaging voor ingenieurs is dat niet alle taken gelijk zijn. Sommige taken, zoals het detecteren van een obstakel dat een botsing kan veroorzagen, zijn van levensbelang en moeten worden voltooid vóór een strikte deadline. Andere taken, zoals het bijwerken van een kaart of het afspelen van muziek, zijn belangrijk maar kunnen wachten als het systeem druk is. Het doel is om een scheduler te bouwen, een digitale verkeersregelaar, die de levensbelangrijke taken beschermt zonder de energie van het systeem te verspillen, terwijl de auto beweegt en de netwerkcondities veranderen.

Jarenlang hebben onderzoekers geprobeerd kunstmatige intelligentie te gebruiken om dit planningspuzzel op te lossen. Onlangs is er een nieuw type AI, een groot taalmodel, opgekomen als een potentiële oplossing. Deze modellen staan bekend om hun vermogen om te redeneren en hun keuzes in gewone taal uit te leggen, wat velen de hoop gaf dat ze zouden kunnen fungeren als flexibele, intelligente beheerders voor complexe systemen. Deze modellen zijn echter ook traag en duur om uit te voeren. De vraag die de wetenschappelijke gemeenschap bezighoudt, is of het toevoegen van deze trage, intelligente laag aan een snel, kritiek systeem daadwerkelijk zou helpen, of dat het alles alleen maar zou vertragen zonder enig echt voordeel te bieden. Een onderzoeker zette zich uit om dit te beantwoorden door een rigoureuze test te bouwen om precies te zien wanneer, en of, deze AI-beheerders de prestaties van zelfrijdende auto-netwerken verbeteren.

De onderzoeker construeerde een gedetailleerde simulatie van een netwerk waar zelfrijdende auto's hun denktaken uitbesteden aan nabijgelegen servers. Er werden zestig verschillende scenario's gecreëerd, elk met tweehonderd taken die op willekeurige tijdstippen binnenkomen. In deze scenario's waren zestig procent van de taken levenskritisch, terwijl de rest uit standaard, taken met een lagere prioriteit bestond. De onderzoeker bouwde eerst een zeer sterk, traditioneel planningssysteem. Dit systeem werkte door binnenkomende taken in kleine batches te groeperen en ze vervolgens te sorteren zodat de meest urgente, levenskritische taken altijd als eerste werden overwogen. Vervolgens wijsde het elke taak toe aan de server die deze het snelst kon voltooien. Deze methode bleek ongelooflijk effectief; het voltooide meer dan negentig procent van de kritieke taken. Het presteerde beter dan vijftien andere standaardmethoden en kwam binnen dertien procent van de theoretisch optimale prestatie, een benchmark die werd berekend door een krachtige offline solver die de luxe had om de gehele toekomst te zien voordat er beslissingen werden genomen.

Met deze hoogpresterende baseline gevestigd, introduceerde de onderzoeker het grote taalmodel. Ze ontwierpen een systeem waarbij de AI niet elke individuele beslissing nam, wat te traag zou zijn geweest. In plaats daarvan fungeerde de AI als een supervisor die slechts af en toe incheckte om de regels van het spel aan te passen. In het eerste deel van hun studie was de verkeersstroom stabiel en voorspelbaar. Onder deze kalme omstandigheden voegde de AI-supervisor geen waarde toe. De traditionele, op regels gebaseerde scheduler was al zo goed dat de AI geen ruimte voor verbetering kon vinden. De redenering van de AI, het veilingachtige biedproces en het vermogen om in realtime aan te passen waren allemaal onnodig wanneer de werklast stabiel was. De eenvoudige, snelle regels waren voldoende om het verkeer efficiënt af te handelen.

Het verhaal veranderde toen de onderzoeker een plotseling, chaotisch evenement introduceerde. Ze simuleerden een scenario waarin een grote groep auto's tegelijkertijd bij een druk kruispunt aankwam, wat een plotselinge golf van levenskritische taken veroorzaakte die de standaard scheduler overbelastte. Op dit moment van niet-stationaire chaos begon het traditionele systeem te worstelen en miste het deadlines die het anders wel zou hebben gehaald. Hier toonde de controlelaag van het grote taalmodel eindelijk zijn waarde. Door de situatie te beoordelen en de planningsregels on the fly aan te passen, slaagde het AI-systeem erin om een deel van de verloren prestaties te herstellen, waarbij het aanzienlijk meer kritieke taken voltooide dan het statische systeem of zelfs een ander type adaptief algoritme. De AI loste het probleem niet perfect op, maar vond een manier om een kleine, statistisch significante verbetering uit te persen die de vaste regels niet konden bereiken.

De studie concludeert dat de waarde van het gebruik van deze geavanceerde AI-modellen volledig voorwaardelijk is. Ze zijn geen magische upgrade die alles de hele tijd beter maakt. In plaats daarvan verdienen ze hun kosten alleen wanneer de omgeving onvoorspelbaar wordt en een vaste set regels niet langer kan meekomen. In stabiele omstandigheden zijn de eenvoudige, snelle methoden superieur omdat ze efficiënt en betrouwbaar zijn. Maar wanneer er een plotselinge golf van kritieke gebeurtenissen optreedt, biedt het vermogen van de AI om door de chaos te redeneren en de strategie aan te passen een echt, meetbaar voordeel. De onderzoeker mat ook de tijd die de AI nodig had om haar beslissingen te nemen en stelde vast dat dit veel te traag was om voor elke enkele taak te worden gebruikt, wat bevestigde dat het een hoogwaardige supervisor moet blijven in plaats van een directe werker. De uiteindelijke boodschap voor ingenieurs is duidelijk: neem deze complexe AI-lagen niet standaard over. Het is een gespecialiseerd hulpmiddel, nuttig alleen wanneer de werklast volatiel genoeg is om kansen te creëren die een vast beleid niet kan zien.