Technische Samenvatting: Vulcan: Instantie-gespecialiseerde, Verifieerbare Systemen

Probleemstelling

Systeemresourcebeheer heeft traditioneel vertrouwd op handmatig ontworpen heuristieken. De toenemende heterogeniteit van hardware, de diversiteit van workloads en de variabiliteit in deployment-omgevingen hebben echter de handmatige ontwerping van instantie-gespecialiseerde heuristieken (afgestemd op specifieke combinaties van hardware, workload en doelstellingen) duur en onschaalbaar gemaakt. Hoewel neurale modellen een pad naar specialisatie boden, lijden ze aan opaakheid, operationele complexiteit en integratieproblemen.

Recente ontwikkelingen in Large Language Models (LLM's) suggereren een nieuwe aanpak: het direct synthetiseren van uitvoerbare code. Echter, de naïeve toepassing van LLM's op systeemcode staat voor drie kritieke uitdagingen:

1. Prestaties: Gegenereerde heuristieken moeten menselijk ontworpen baselines evenaren of overtreffen.
2. Executieveiligheid: Gegenereerde code moet vrij zijn van crashes, geheugenfouten, lekken en niet-terminatie.
3. Systeemintegratie: Code moet correct interageren met bestaande systeem-API's en state management-mechanismen.

Onbeperkte LLM-synthese produceert vaak performante heuristieken, maar faalt op het gebied van veiligheid en integratie (bijv. geheugenlekken, API-schendingen). Omgekeerd behoudt te strikt geconstrangeerde synthese de veiligheid, maar beperkt dit de beleidsruimte, wat resulteert in verwaarloosbare prestatiewinst ten opzien van bestaande baselines.

Methodologie: Het Vulcan Framework

Vulcan pakt deze uitdagingen aan door systeemheuristieken te herstructureren rond een synthese-grens die de kern van de beslissingslogica isoleert van state management en systeeminteractie. Het framework rust op twee kernideeën:

1. Ontkoppeling van Beslissingslogica en State Management (libVulcan)

Vulcan beperkt de door LLM gegenereerde code tot stateloze beslissingsfuncties, terwijl state management wordt gedelegeerd aan vertrouwde, door ontwikkelaars onderhouden code. Dit wordt bereikt door:

• Rank en Value Interfaces: De kern van de beslissingslogica van de meeste resource-managementtaken wordt uitgedrukt via twee interfaces:
  • Value: Berekent een scalaire controle-variabele (bijv. congestievenstergrootte, frequentie) op basis van systeemtoestand-features.
  • Rank: Scoort een set kandidaat-objecten (bijv. cache-entries, threads) om een ordening of selectie te bepalen.
• Listener Abstracties (libVulcan): Om betekenisvolle beleidsexploratie mogelijk te maken zonder dat LLM's datastructuren hoeven te beheren, biedt Vulcan een bibliotheek van "listeners". Deze modulaire blokken koppelen zich aan ruwe signalen om on-the-fly afgeleide statistieken te berekenen (bijv. voortschrijdende gemiddelden, percentielen, populatiegemiddelden). De LLM bevraagt deze listeners, maar implementeert de onderliggende state management niet, wat een belangrijke bron van integratie- en veiligheidsfouten elimineert.

2. Veiligheid door Constructie via Anvil (DSL)

Om executieveiligheid te garanderen, synthetiseert Vulcan heuristieken in Anvil, een beperkte Domain-Specific Language (DSL).

• Restricties: Anvil sluit heap-allocatie, pointers, recursie en onbegrensde loops uit.
• Garanties: Door constructie garandeert elk welgevormd Anvil-programma:
  • Geheugiveiligheid: Geen out-of-bounds toegang, use-after-free of double-frees.
  • Lekvrijheid: Geen onbegrensde geheugengroei.
  • Terminatie: Geen oneindige loops.
• Compilatie: Anvil-code wordt geparsed tegen de grammatica en gecompileerd naar C, dat vervolgens door standaard toolchains wordt verwerkt. De DSL ondersteunt extern declaraties voor C/C++ functies (zoals listener-API's), waardoor veiligheidseigenschappen transitief worden uitgebreid naar de gesynthetiseerde code.

Workflow

1. Developer Input: Ontwikkelaars leveren een heuristiek-template (die ruwe features en triggers definieert), een evaluator en een natuurlijke taal-prompt die de taak beschrijft.
2. Synthese Loop: Een code-generatie framework (bijv. OpenEvolve, ShinkaEvolve) genereert iteratief kandidaat-heuristieken in Anvil.
3. Evaluatie: Kandidaten worden gescoord door de evaluator (vaak met behulp van trace-gedreven simulatie of korte workloads om kosten te reduceren).
4. Selectie: De best scorende heuristiek wordt geretourneerd als het uiteindelijke instantie-gespecialiseerde beleid.

Belangrijkste Bijdragen

1. Framework Design: Identificatie van een synthese-grens die de kern van de beslissingslogica isoleert, wat LLM-gestuurde zoektochten mogelijk maakt terwijl de systeemgerichte structuur behouden blijft.
2. libVulcan: Een runtime-bibliotheek die Rank en Value interfaces en een suite van listener-abstracties biedt voor het afleiden van rijke statistieken, dienend als een gemeenschappelijke substraat voor gespecialiseerde heuristieken.
3. Anvil: Een beperkte beleidstaal die executieve veiligheidseigenschappen (geheugiveiligheid, lekvrijheid, terminatie) garandeert door constructie, waardoor handmatige veiligheidscontrole van gesynthetiseerde code overbodig wordt.
4. Empirische Evaluatie: Demonstratie dat Vulcan in staat is om heuristieken te synthetiseren die competitief zijn met of superieur aan menselijk ontworpen baselines over drie verschillende domeinen, terwijl aan veiligheidsrestricties wordt voldaan.

Resultaten

Het paper evalueert Vulcan over drie breed bestudeerde domeinen voor resource management:

1. Spot VM Scheduling:

   • Taak: Beslissen wanneer er gewisseld wordt tussen on-demand en spot instances om kosten te minimaliseren terwijl deadlines worden gehaald.
   • Resultaat: Vulcan synthetiseerde een heuristiek die 4,9× hogere besparingen behaalde vergeleken met de state-of-the-art "Uniform Progress" baseline en 1,7× hogere besparingen vergeleken met een onbeperkte LLM-synthese aanpak (ADRS).
   • Veiligheid: Alle gesynthetiseerde code voldeed aan de executieve veiligheidseigenschappen door constructie.

2. Cache Eviction:

   • Taak: Objecten selecteren om te verwijderen om hit rates te maximaliseren over diverse traces en cache-groottes.
   • Resultaat: Voor specifieke instanties synthetiseerde Vulcan gespecialiseerde heuristieken die de miss ratios met wel 2× verbeterden ten opzien van baselines (bijv. FIFO, LRU, GDSF). Over 32 instanties presteerde Vulcan beter dan alle baselines op 6 en lag binnen 5% van de beste op 13 andere.
   • Veiligheid: Er werden geen executieve veiligheidsfouten waargenomen.

3. Tiered Memory Systems:

   • Taak: Beslissen welke pagina's gepromoot moeten worden van traag geheugen (bijv. CXL) naar snel DRAM.
   • Resultaat: Een heuristiek die op een emulator is gesynthetiseerd, generaliseerde naar echte CXL-hardware en leverde tot 10% hogere applicatieprestaties (goodput) op vergeleken met de ARMS baseline.
   • Generalisatie: Heuristieken getraind op specifieke workloads (bijv. GUPS) presteerden goed op ongeziene workloads (bijv. graph analytics, databases) zonder verdere afstemming.

Betekenis en Claims

Het paper claimt dat de primaire barrière voor geautomatiseerde heuristiek-synthese niet het vermogen van de LLM om performante policies te vinden is, maar het ontwerp van de synthese-grens. Door de zoekruimte te vernauwen tot expressieve maar beperkte interfaces (Rank/Value) en veiligheid af te dwingen via een beperkte DSL (Anvil), maakt Vulcan instantie-gespecialiseerde heuristiek-synthese praktisch en veilig.

De auteurs benadrukken dat Vulcan de menselijke expertise niet vervangt; in plaats daarvan benut het domeinkennis om de structuur (triggers, ruwe signalen, mechanismen) te definiëren, terwijl het LLM's gebruikt om de beleidslogica binnen die structuur te verkennen en te verfijnen. Deze aanpak maakt de inzet van geverifieerde, hoogwaardige heuristieken mogelijk die zich aanpassen aan specifieke instanties zonder de operationele overhead of veiligheidsrisico's die geassocieerd worden met neurale modellen of onbeperkte code-generatie.