Simthesizer: An Agent-Driven Simulation Framework for LLM Serving Systems
Dit artikel introduceert Borg, een door agenten gedreven framework dat gebruikmaakt van een samengestelde dynamische graaf en een coding agent om automatisch een verenigde LLM-serving simulator te evolueren, waardoor de ontwikkeltijd aanzienlijk wordt verminderen en de doorvoersnelheid nauwkeurigheid wordt verbeterd in vergelijking met bestaande tools.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie zijn grote taalmodellen krachtige instrumenten geworden die in staat zijn om code te schrijven, complexe problemen op te lossen en gesprekken te voeren. Het draaien van deze modellen is echter niet zo eenvoudig als het indrukken van een knop; het vereist een geavanceerd systeem om de informatiestroom te beheren, te beslissen welke verzoeken het eerst worden verwerkt en de rekenkracht efficiënt toe te wijzen. Dit vakgebied, bekend als 'serving', is de machinekamer die deze intelligente systemen soepel laat draaien voor miljoenen gebruikers. Omdat de technologie met een razendsnel tempo evolueert, waarbij voortdurend nieuwe modellen en methoden verschijnen, kunnen ingenieurs niet altijd wachten tot ze fysieke machines bouwen om hun ideeën te testen. In plaats daarvan vertrouwen ze op computersimulaties—virtuele laboratoria waar ze kunnen voorspellen hoe een nieuw systeemontwerp zal presteren voordat ze miljoenen dollars aan hardware uitgeven.
Jarenlang zijn deze virtuele laboratoria gebouwd als rigide, prefab structuren. Onderzoekers codeerden handmatig elk mogelijk scenario in een enkele, vaste pijplijn. Dit werkte goed toen de technologie langzaam veranderde, maar het landschap van kunstmatige intelligentie is drastisch verschoven. Er zijn nieuwe manieren ontstaan om deze modellen te gebruiken, zoals "agentic" workflows waarbij één enkel verzoek een keten van meerdere beslissingen en tool-aanroepen triggert, of "gedisaggregeerde" systemen waarbij verschillende delen van de verwerking op aparte machines plaatsvinden. Deze moderne gedragingen passen niet in de oude, rigide pijplijnen. Elke keer dat er een nieuwe functie verscheen, moesten ingenieurs de simulator uit elkaar halen en hem vanaf de grond af aan herbouwen, een traag en foutgevoelig proces dat ervoor zorgde dat de virtuele modellen achterliepen op de echte systemen die ze bedoeld waren te representeren.
Een team van onderzoekers aan de KAIST in Zuid-Korea heeft een nieuwe aanpak geïntroduceerd om dit probleem op te lossen, genaamd Simthesizer. In plaats van voor elke nieuwe functie een nieuwe simulator te bouwen, hebben zij een flexibel framework gecreëerd waarmee een computerprogramma de simulator zelf kan schrijven. De kern van dit systeem is een dynamische kaart van de workflow, waarbij elke stap in het proces een knooppunt (node) is dat ter plekke kan worden toegevoegd, verwijderd of herschikt. Deze kaart is niet vast; het is een levende structuur die kan groeien om nieuwe methoden te accommoderen zonder het hele systeem te laten instorten. Om dit werkend te krijgen, hebben de onderzoekers een 'coding agent' ingezet, een gespecialiseerde assistent op het gebied van kunstmatige intelligentie, om als de bouwer te fungeren. Wanneer een onderzoeker om een nieuwe functie vraagt, leest de agent het verzoek, begrijpt de regels van de simulatie en schrijft de benodigde code om het in de kaart te integreren.
Het proces wordt geleid door strikte randvoorwaarden (guardrails) om te voorkomen dat de agent fouten maakt. Het systeem vereist dat de agent eerst een duidelijke specificatie schrijft van wat de nieuwe functie moet doen, vervolgens in kaart brengt waar deze precies in de bestaande structuur past, en tot slot de code schrijft. Voordat de nieuwe functie wordt geaccepteerd, controleert het systeem het werk tegenover realtime gegevens of gevestigd bewijs om te garanderen dat het correct functioneert. Deze methode stelt de simulator in staat om mee te evolueren met de technologie die hij modelleert. In hun tests vroegen de onderzoekers de agent om drie complexe functies aan de simulator toe te voegen: een methode om het geheugengebruik te comprimeren, een techniek om tekstgeneratie te versnellen door de volgende woorden te voorspellen, en ondersteuning voor een nieuw type modelarchitectuur. De agent bouwde deze uitbreidingen succesvol, en de resulterende simulaties waren opmerkelijk nauwkeurig.
Toen de onderzoekers de prestaties van deze nieuwe simulaties vergeleken met echte systemen die op daadwerkelijke hardware draaien, waren de resultaten opvallend. De uitbreidingen die met dit nieuwe framework zijn gebouwd, kwamen overeen met de real-world throughput met een gemiddelde fout van slechts 2,51 procent. In contrast hiermee sprong de foutmarge naar 6,03 procent wanneer dezelfde coding agent probeerde dezelfde functies toe te voegen aan bestaande simulators met hun oude, rigide methoden. Het nieuwe systeem was niet alleen nauwkeuriger, maar ook aanzienlijk sneller. Het draaide simulaties tot wel 284,96 keer sneller dan één leidende concurrent en 23,19 keer sneller dan een andere. Deze snelheid komt voort uit het feit dat het nieuwe systeem niet de volledige simulatie-engine opnieuw hoeft te draaien voor elke kleine wijziging; het werkt simpelweg de specifieke sectie van de kaart bij die moet veranderen.
De onderzoekers hebben aangetoond dat deze aanpak werkt met verschillende soorten coding agents, niet alleen met de agent die zij aanvankelijk gebruikten, wat suggereert dat de methode robuust en generaliseerbaar is. Door een flexibele, composabele infrastructuur te combineren met een geautomatiseerde bouwer, overbrugt Simthesizer de kloof tussen de snelle evolutie van kunstmatige intelligentie en de instrumenten die worden gebruikt om het te bestuderen. Het biedt een manier om het tempo bij te houden van een veld dat sneller verandert dan menselijke ingenieurs hun tools handmatig kunnen bijwerken, waardoor wordt gewaarborgd dat de virtuele modellen die worden gebruikt voor het ontwerp van de toekomst van computing accuraat, betrouwbaar en klaar blijven voor wat er ook komen gaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.