Stel je voor dat je een supersnelle, real-time videogame probeert te bouwen waarin een personage direct met je kan praten, naar je kan luisteren en op je kan reageren. Om dit mogelijk te maken, moet je verschillende "hersenen" (AI-modellen) aan elkaar koppelen: één om naar je stem te luisteren, een andere om een antwoord te bedenken, een derde om dat antwoord om te zetten in spraak, en een vierde om een gezicht te animeren dat de woorden uitspreekt. In de wereld van de informatica wordt dit een "multimodale applicatie" genoemd. Het lastige deel is niet alleen het hebben van deze hersenen; het is het uitzoeken hoe je ze allemaal samen laat draaien zonder dat ze over elkaar struikelen. Als je ze allemaal op één kleine processor zet, bewegen ze te traag. Als je ze te ver uit elkaar plaatst, zijn ze te veel tijd kwijt aan het met elkaar communiceren. Jarenlang moesten experts voor elke nieuwe app handmatig een aangepast "verkeersregelsysteem" bouwen, een proces dat traag, duur en moeilijk te herhalen is.

Hier komt het idee van een "AI-agent" om de hoek kijken. Denk aan deze als een superintelligente, onvermoeibare digitale stagiair die code kan lezen en deze kan herschrijven om sneller te draaien. Maar hier is de crux: als je deze stagiair alleen vraagt om "het sneller te maken", raakt hij vaak in de war, probeert hij willekeurige dingen, of mist hij de beste trucs omdat het probleem ongelooflijk complex is. Het is also[t] vragen aan een mens om een enorme, bewegende puzzel in hun hoofd te herschikken zonder ooit de stukjes op te schrijven. Dit is waar een nieuw systeem genaamd FlashRT in beeld komt. Het vraagt de AI niet alleen om te gokken; het geeft de AI een gestructureerd actieplan, een set hulpmiddelen en een manier om zijn eigen ideeën te testen, waardoor een chaotische gokpartij verandert in een nauwkeurige technische prestatie.

Het Probleem: De File van de AI

De auteurs van dit artikel merkten op dat real-time applicaties (zoals stemassistenten of live video-generatoren) steeds populairder worden, maar dat ze een nachtmerrie zijn om efficiënt te draaien. Deze apps zijn als een lopende band waarbij verschillende machines (modellen) verschillende taken uitvoeren. Soms wil je dat de hele lijn zo snel mogelijk beweegt (hoge doorvoer/throughput), en soms wil je dat het eerste item zo snel mogelijk eruit komt (lage latentie).

Het probleem is dat de "beste" manier om deze machines op te stellen verandert, afhankelijk van wat je wilt. Als je snelheid wilt, wil je de machines misschien over verschillende computers verdelen zodat ze parallel werken. Als je lage vertraging wilt, wil je ze misschien dicht bij elkaar houden zodat ze geen tijd verspillen aan het heen en weer sturen van data. Bestaande systemen zijn te rigide; ze dwingen je om één vaste opstelling te kiezen. Andere tools proberen dit te automatiseren, maar werken alleen voor eenvoudige, enkelvoudige taken, niet voor deze complexe, meerstaps-pipelines. Het resultaat? Ontwikkelaars zitten vast aan het handmatig maken van op maat gemaakte oplossingen voor elke nieuwe app, wat niet schaalbaar is.

De Oplossing: FlashRT en de "Chain-of-Program"

De onderzoekers bouwden FlashRT, een systeem dat een AI-coderingsagent gebruikt om automatisch de perfecte implementatie voor elke multimodale app te ontwerpen. Maar ze zeiden niet alleen tegen de AI: "Ga het fixen." Ze realiseerden zich dat als je een AI vraagt om direct naar de oplossing te springen, het vaak misgaat. De AI kan één goede truc vinden, maar andere missen, of een oplossing verzinnen die er op papier goed uitziet, maar die breekt wanneer je het daadwerkelijk uitvoert.

Om dit op te lossen, gebruikt FlashRT een slimme strategie genaamd de "Chain-of-Program"-paradigma. Stel je voor dat je een detective bent die een mysterie probeert op te lossen. In plaats van direct tot de arrestatie over te gaan, teken je eerst een kaart van de plaats delict, waarbij je noteert wie waar was en wat ze aan het doen waren. Daarna analyseer je die kaart om aanwijzingen te vinden. Ten slotte test je je theorie.

FlashRT doet hetzelfde voor code:

1. De Kaart (Intermediate Representation): Eerst vertaalt de AI-agent de eenvoudige, trage code van de ontwikkelaar naar een gestructureerde "kaart" (een Intermediate Representation of IR genoemd). Deze kaart laat duidelijk zien hoe data tussen de verschillende modellen stroomt en waar ze geheugen delen. Dit dwingt de AI om te vertragen en de structuur te begrijpen voordat hij probeert iets te veranderen.
2. De Analyse: De AI bekijkt deze kaart om kansen te spotten. Bijvoorbeeld: de AI ziet dat Model A niet hoeft te wachten tot Model B volledig klaar is; het kan al beginnen met werken zodra Model B een klein stukje data produceert. Dit is als een chef die begint met het snijden van groenten terwijl het water nog aan het koken is, in plaats van te wachten tot het water kookt voordat hij de snijbeweging maakt.
3. De Proefrit (Validatie-loop): Dit is het meest cruciale deel. De AI gokt niet alleen; hij bouwt een "test harness". Hij simuleert een echte gebruiker die met de app interacteert, voert nep-inputs in en meet exact hoe snel de output terugkomt. Als het nieuwe ontwerp van de AI langzamer is of een foutief antwoord geeft, weet hij dat onmiddellijk. Hij probeert dan een andere strategie, test deze opnieuw en blijft itereren totdat hij de best mogelijke opstelling heeft gevonden.

De Resultaten: Het Versnellen van de Toekomst

Het team testte FlashRT op verschillende real-world applicaties, waaronder een gezichts-naar-gezicht conversatie-agent, een video-achtergrondeditor en een video world model. De resultaten waren indrukwekkend.

Op NVIDIA B200 GPU's was FlashRT in staat om een basisimplementatie die traag was, te veranderen in een high-speed deployment die de tijd tot de eerste reactie (latentie) met wel 70 keer verminderde. Het verbeterde ook de snelheid waarmee het systeem continue stromen kon verwerken (doorvoer) met een factor 2,8.

Nog interessanter is dat ze het testten op AMD MI355X GPU's, een ander type hardware dat door experts nog minder geoptimaliseerd is. FlashRT werkte niet alleen; het bloeide. Het evenaarde de verbeteringen in latentie en verhoogde de doorvoer zelfs met een factor 3,6. In één specifieke test met een model genaamd Qwen3-Omni verminderde FlashRT de reactietijd met 65% vergeleken met een systeem dat door menselijke experts is gebouwd.

Waarom dit ertoe doet

Dit paper laat zien dat we niet hoeven te wachten tot menselijke experts handmatig elke nieuwe AI-app afstemmen. Door AI-agenten een gestructureerde manier van denken (de kaart) en een manier te geven om hun ideeën te testen (de validatie-loop), kunnen we automatisch zeer efficiënte systemen genereren die zich aanpassen aan verschillende hardware en verschillende doelen.

De auteurs merken er voorzichtig bij op dat, hoewel dit een enorme stap voorwaarts is, het geen toverstaf is die alles oplost. Ze hebben nog niet de mogelijkheid geïntegreerd voor de AI om de kleine, laag-niveau wiskundige operaties binnen de modellen zelf te optimaliseren, en ze hebben slechts één specifiek type AI-agent getest. Echter, de kernbevinding is duidelijk: met de juiste begeleiding kunnen AI-agenten leren om complexe, real-time systemen te ontwerpen die sneller en flexibeler zijn dan alles wat we vandaag de dag met de hand zouden kunnen bouwen. Het is een verschuiving van het "handmatig vervaardigen" van de toekomst naar het "begeleiden" van de toekomst.