🤖 machine learning

LASER: Language Model Regression for Semi-Structured Workflow Resource and Runtime Estimation

LASER is een nieuw raamwerk dat grote taalmodellen fijnstemt op geserialiseerde semi-gestructureerde workflowconfiguraties om nauwkeurig resourceverbruik en runtime te voorspellen, en dat traditionele machinelearning-baselines en menselijke experts overtreft door gebruik te maken van wetenschappelijke notatie-encoding, beperkte decoding en full-attention-mechanismen.

Oorspronkelijke auteurs: Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxuan Yin, Shengke Zhou, Yunjie Zhang, Ajay Mohindra, Boxun Xu, Peng Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorme, drukke keuken (een cloudcomputingsysteem). Elke dag dienen honderden chefs (taken) complexe recepten (workflowconfiguraties) in om bereid te worden. Sommige recepten zijn simpel, zoals water koken; andere zijn ingewikkeld, zoals een tien-gangenmaaltijd die specifieke ovens, exacte hoeveelheden ingrediënten en nauwkeurige timing vereist.

Om deze keuken efficiënt te runnen, moet je twee dingen weten voordat je begint met koken:

Hoe lang gaat dit duren? (Looptijd)
Hoeveel brandstof en ruimte heeft het nodig? (Resources zoals CPU, geheugen en schijfruimte)

Als je het verkeerd raadt, verspil je ofwel geld door te veel brandstof te bestellen (over-provisioning) of je brandt de keuken af omdat je niet genoeg vermogen had (under-provisioning).

De Oude Manier: Het "Controlelijst"-Probleem

Traditioneel probeerden managers dit te voorspellen door elk recept om te zetten in een lange, saaie controlelijst met cijfers. Ze moesten handmatig dingen vertalen zoals "gebruik de aarch64-compiler" of "stel Python-versie in op 3.11" naar specifieke cijfers op een spreadsheet.

Het probleem? Deze controlelijst is breekbaar.

Als er een nieuw gereedschap in de keuken verschijnt, breekt de controlelijst omdat niemand een cijfer voor het heeft opgeschreven.
Het verliest het verhaal van het recept. Het ziet "Python 3.11" als gewoon een cijfer en mist het feit dat het een specifieke versie is die zich anders gedraagt dan 3.9.
Het is alsof je probeert te voorspellen hoe lang een film duurt door alleen het aantal pagina's te tellen, en het plot, de acteurs of de speciale effecten negeert.

De Nieuwe Manier: LASER (De "Slimme Sous-Chef")

Het paper introduceert LASER, een systeem dat een Large Language Model (LLM) gebruikt – in feite een super-slimme AI die miljoenen recepten, code en handleidingen heeft gelezen – om te fungeren als een "Sous-Chef".

In plaats van recepten te dwingen in een controlelijst, leest LASER de ruwe tekst van de taakconfiguratie. Het begrijpt de taal van het recept op natuurlijke wijze.

Het ziet de opdracht python script.py en begrijpt de context.
Het ziet de afhankelijkheden en de hiërarchie zonder dat een mens ze eerst handmatig in cijfers moet vertalen.

Hoe LASER Drie Moeilijke Problemen Oplost

1. Het "Te Groot of Te Klein" Probleem (Wetenschappelijke Notatie)
Resources variëren enorm. Een taak heeft misschien 500 Megabytes geheugen nodig, terwijl een andere 50 Terabytes nodig heeft. Dat is een enorme kloof.

De Analogie: Stel je voor dat je probeert zowel een korrel zand als een berg te meten met dezelfde liniaal. Het is rommelig.
De LASER-oplossing: LASER gebruikt wetenschappelijke notatie (zoals $5.0 \times 10^2$ ). Het leert de AI om te spreken in " machten van tien". Hierdoor kan de AI even goed omgaan met kleine en enorme getallen zonder in de war te raken of complexe wiskundige aanpassingen te hoeven doen.

2. Het "Hallucinatie"-Probleem (Beperkte Decoding)
Wanneer je een slimme AI vraagt om je getallen te geven, wordt het soms creatief en verzonnen het dingen (hallucinaties). Het kan een nep-bestandsnaam bedenken of een getal schrijven dat geen zin heeft.

De Analogie: Stel je voor dat je een ober om de rekening vraagt, en die begint nieuwe menu-items uit te vinden die je niet hebt besteld.
De LASER-oplossing: LASER gebruikt beperkte decoding. Het is alsof je de ober een voorbedrukt formulier geeft met exacte vakken voor "Tijd", "CPU" en "Geheugen". De AI mag alleen de getallen in die vakken invullen. Het kan geen nieuwe vakken bedenken of onzin schrijven.
Bonus: Omdat de AI niet hoeft na te denken over de structuur van de zin (aangezien de structuur vaststaat), antwoordt het 30% sneller.

3. Het "Lang Verhaal" Probleem (Volledige Aandacht)
Sommige recepten zijn erg lang. Een detail dat helemaal aan het begin van het recept wordt genoemd, kan cruciaal zijn voor een stap helemaal aan het einde.

De Analogie: Stel je voor dat je een lang roman leest maar je alleen de laatste paar pagina's herinnert. Je mist misschien de plotwending die op pagina 1 plaatsvond.
De LASER-oplossing: De meeste moderne AI-modellen kijken slechts naar een "venster" tekst tegelijk (alsof je een paar pagina's tegelijk leest). LASER dwingt het model om volledige aandacht te gebruiken, wat betekent dat het het hele recept van begin tot eind tegelijk kan bekijken. Dit helpt het om de connecties te leggen tussen verre delen van de taakconfiguratie.

De Resultaten

De auteurs testten LASER op twee soorten "keukens":

Chipontwerp: Een zeer complexe, industriële keuken waar een kleine wijziging in een script een taak 10 keer langer kan laten duren.
GitHub Actions: Een openbare dataset van meer dan 580.000 software-taken uit 27.000 verschillende repositories.

De Uitkomst:

LASER was nauwkeuriger dan menselijke experts.
Het was beter dan traditionele "controlelijst" (tabulaire) machine learning-modellen.
Het werd nog beter naarmate het meer data kreeg en grotere modellen gebruikte (een "scaling law").
Het kon de behoeften voorspellen van taken die het nog nooit had gezien, wat aantoont dat het de logica van het werk leerde, niet alleen de antwoorden uit het hoofd leerde.

Kortom, LASER vervangt het breekbare, handmatige proces van het vertalen van recepten naar cijfers door een slimme, taalkundig onderlegde AI die het recept leest, de context begrijpt en een nauwkeurige, betrouwbare schatting geeft van tijd en resources.

Technische Samenvatting: LASER – Taalmodelregressie voor Semi-gestructureerde Workflow Resource- en Runtime-schatting

Probleemstelling

Nauwkeurige voorspelling van runtime en resourceverbruik (CPU, geheugen, schijf) voor cloud workflow-jobs is essentieel voor efficiënte planning, kostenbeheersing en infrastructuurplanning. Foutvoorspellingen leiden tot óf overprovisioning (verspilling van rekenkracht) óf onderprovisioning (wat jobfailures en kostbare heruitvoeringen veroorzaakt).

Huidige benaderingen behandelen dit als een tabulaire regressieprobleem, waarbij kwetsbare feature-engineering vereist is om complexe, semi-gestructureerde jobconfiguraties te platte naar vaste vectoren. Deze configuraties omvatten shell-opdrachten, tool-specifieke parameters, afhankelijkheidsgrafieken en hiërarchische metadata. Traditionele methoden hebben moeite met:

Semantisch verlies: Handmatig coderen van features faalt vaak bij het vastleggen van cruciale semantische context (bijvoorbeeld het verschil tussen aarch64- en x86_64-doelen).
Fragiliteit: Pipelines breken stilzwijgend wanneer nieuwe tools of opdrachten verschijnen, een veelvoorkomend fenomeen in evoluerende cloudservices.
Schending van aannames: Veel methoden vertrouwen op lineaire aannames over de relatie tussen inputgrootte en runtime die niet opgaan voor heterogene workloads zoals chipontwerp of CI/CD.
Datalimiet: Bestaande publieke datasets missen vaak de semantische diversiteit die nodig is om modellen te trainen op real-world, heterogene workflows.

Methodologie: Het LASER-kader

LASER (Language model-bAsed regreSsion for sEmi-structured workflow job Resource and runtime estimation) herformuleert resourcevoorspelling als een sequence-to-sequence generatietask. In plaats van feature-engineering, fine-tunt het Large Language Models (LLM's) direct op gesequencede, ruwe jobconfiguraties om gestructureerde JSON-outputs te genereren die resourcevoorspellingen bevatten.

Het kader rust op drie kerntechnische innovaties:

1. Wetenschappelijke Notatie Output-encoding

Resource-metrics (bijvoorbeeld geheugen van MB tot TB, runtime van seconden tot uren) beslaan meerdere ordes van grootte, wat instabiliteit veroorzaakt in standaard lineaire regressiehoofden.

Aanpak: Doelen worden gecodeerd als vaste lengte-sequenties van 8 tokens in wetenschappelijke notatie ( $m \times 10^e$ ), waarbij de mantisse $m \in [1.00, 9.99]$ en de exponent $e \in \mathbb{Z}$ .
Voordeel: Dit elimineert de noodzaak voor per-doel-normalisatie en stelt het model in staat om consistente numerieke representaties te leren over verschillende schalen.
Tokenizer-beperking: De auteurs beperken experimenten tot tokenizers (Qwen-3, Gemma-3) die cijfers 0–9 coderen als enkele tokens, zodat de aanname van vaste lengte-encoding geldt.

2. Beperkte Decoding met Deterministische Prefix-vulling

Standaard autoregressieve decoding kan misvormde JSON of ongeldige numerieke formaten produceren.

Aanpak: De outputstructuur (JSON-sleutels, scheidingstekens en het skelet van wetenschappelijke notatie) bestaat uit bekende constanten. Het systeem partitioneert de output in deterministische tokens (direct ingevuld zonder forward pass) en generatieve tokens (de numerieke cijfers gegenereerd door het model).
Voordeel: Dit dwingt structurele validiteit af door constructie (voorkomen van hallucinaties) en verlaagt de inferentielatentie met meer dan 30% door forward passes voor vaste structurele tokens over te slaan.

3. Full-Attention Fine-tuning

Moderne lange-context LLM's gebruiken vaak standaard schuifvenster-attention om rekenkracht te besparen.

Aanpak: LASER hanteert full-attention-mechanismen tijdens fine-tuning.
Redenering: Workflowconfiguraties bevatten vaak voorspellende signalen over verre velden heen (bijvoorbeeld een compilatiedoel dat vroeg wordt gespecificeerd en van invloed is op een tool die later wordt aangeroepen). Full attention zorgt voor globale contextzichtbaarheid, wat schuifvensters missen.

Experimentele Opzet en Datasets

Het kader is gevalideerd op twee verschillende datasets:

ChipDV (Propriëtair): Meer dan 160.000 cloudjobs uit een industriële chipontwerp-verificatieworkflow. Configuraties zijn zeer gevoelig; kleine scriptwijzigingen kunnen runtimeverhogingen van tien keer veroorzaken.
GHARuntime (Publieke Benchmark): Een nieuwe benchmark afgeleid van GHALogs, met 1,3 miljoen CI/CD workflow-uitvoeringsrecords verspreid over meer dan 27.000 GitHub-repositories en 20 programmeertalen.

Baselines omvatten menselijke experts, historische maximums en state-of-the-art tabulaire ML-modellen (XGBoost, LightGBM, TabPFN).

Belangrijkste Resultaten

In-distributie Prestaties

Superieure Nauwkeurigheid: LASER presteerde aanzienlijk beter dan menselijke experts en historische baselines op de ChipDV-dataset. Bijvoorbeeld, op de "ChipDV-Unseen"-set behaalde het Gemma-3-12B-model een Mean Absolute Error (MAE) van 23,76 minuten voor runtime, vergeleken met 53,60 minuten voor menselijke experts.
Model-schaling: Prestaties verbeterden consistent met modelgrootte (van 270M tot 12B parameters), waarbij de grootste modellen de beste resultaten behaalden voor alle doelen (runtime, CPU, RAM, schijf).

Out-of-distributie (OOD) Generalisatie

Temporele Drift: Bij testen op toekomstige jobs (tot 26 dagen vooruit) behield LASER een stabiele nauwkeurigheid voor resource-metrics (CPU, RAM, Schijf), wat aantoont dat het algemene verbruikspatronen heeft geleerd in plaats van over te fitten op de trainingsperiode.
Cross-repository Generalisatie: Op de GHARuntime-benchmark toonde LASER sterk data-schaling-gedrag. Terwijl kleine modellen onderpresteerden ten opzichte van tabulaire baselines met beperkte data (1k samples), kwam LASER overeen met of overtrof TabPFN-v2.6 met 10k–100k trainingsamples, terwijl tabulaire methoden vroeg een plateau bereikten.

Efficiëntie en Ablatie

Latentie: Beperkte decoding verlaagde de inferentietyd met 30–36% over verschillende modelgroottes.
Attention-mechanisme: Full-attention fine-tuning presteerde consistent beter dan schuifvenster-attention, met name voor kleinere modellen (1B parameters), wat het belang van globale context bevestigt.
Sequentielengte: De nauwkeurigheid verbeterde met langere sequentielengten tot 2048 tokens, met afnemende meerwaarde daarboven.

Betekenis en Claims

Het artikel claimt een nieuw paradigma te vestigen voor LLM-gebaseerde regressie op semi-gestructureerde workflow-data. De primaire bijdragen zijn:

Eliminatie van Kwetsbare Feature-engineering: Door ruwe configuraties als tekst te behandelen, vermijdt LASER het arbeidsintensieve en kwetsbare proces van handmatige feature-extractie, wat generalisatie naar nieuwe tools en opdrachten mogelijk maakt.
Technische Nieuwheid in Regressie: De combinatie van wetenschappelijke notatie-encoding en beperkte decoding lost de specifieke uitdagingen van numerieke regressie via generatie op (omgaan met schaal en validiteit).
Nieuwe Benchmark: De release van GHARuntime biedt de eerste grootschalige, semantisch rijke publieke benchmark voor workflow-runtimevoorspelling, waarmee het gebrek aan diverse datasets in het veld wordt aangepakt.

De auteurs concluderen dat LASER aantoont dat gefinetunteerde LLM's effectief kunnen dienen als regressors voor complexe, semi-gestructureerde industriële workloads, en dat ze zowel menselijke heuristieken als traditionele tabulaire machine learning-benaderingen overtreffen.