Technische Samenvatting: EvalStop

Probleemstelling

Cloudgebaseerde platforms voor het finetunen van Large Language Models (LLM's) hosten steeds vaker Reinforcement Learning from Human Feedback (RLHF) workloads. In RLHF wordt een beleid (policy) getraind om een geleerd beloningsmodel (reward model) te maximaliseren, dat dient als een proxy voor menselijke voorkeuren. Echter, zoals aangetoond door Gao et al. (2023), divergeert deze proxy onder aanhoudende optimalisatiedruk van de "wereldfeedback" (downstream evaluatiemetrieken). Dit fenomeen, bekend als beloningsoveroptimalisatie of beloningshacking (reward hacking), treedt op wanneer de score van het beloningsmodel en de trainingsverlies (training loss) monotoon blijven verbeteren, terwijl de werkelijke kwaliteit van het beleid (gemeten via held-out benchmarks) piekt en vervolgens degradeert.

Bestaande platformschedulers slagen er niet in dit uiteenlopende gedrag aan te pakken:

1. Niet-clairvoyante schedulers (bijv. Tiresias, Pollux) optimaliseren de Job Completion Time (JCT) zonder kwaliteitsignalen, waardoor ze niet in staat zijn om productieve training te onderscheiden van verspilde rekenkracht.
2. Kwaliteitsbewuste schedulers (bijv. SLAQ) vertrouwen op de trainingsverlies. Omdat verlies correleert met kwaliteit bij standaard supervised learning, maar ontkoppelt tijdens RLHF-overoptimalisatie, blijven deze schedulers middelen toewijzen aan "hackende" jobs.
3. Klassieke vroegtijdige stopzetting (early stopping) vereist menselijke monitoring per job en faciliteert geen platformbrede herallocatie van resources.

De kernuitdaging is om beloningshacking op scheduler-niveau te detecteren met behulp van uitsluitend observeerbare signalen (evaluatie scores bij checkpoints), zonder het trainingsalgoritme te wijzigen of niet-clairvoyante beperkingen te schenden, om zo GPU-resources terug te winnen van divergerende jobs.

Methodologie: EvalStop

De auteurs stellen EvalStop voor, een componibele scheduling-primitive die fungeert als een wrapper rond elke basisscheduler. EvalStop herkadert vroegtijdige stopzetting op scheduler-niveau als een detectieprobleem: het onderscheiden van structureel gezonde RLHF-runs van runs die lijden aan beloningshacking.

Architectuur en Mechanisme

EvalStop werkt via drie primaire modules:

1. World Feedback Input: Het systeem neemt downstream evaluatiescores (het "world feedback" signaal) in bij geplande checkpoints. Het respecteert een "Informatiegrens" (Information Boundary), waarbij het alleen jobtypes, evaluatiescores en opeenvolgende dalingen observeert, zonder toegang tot de werkelijke jobduur of verborgen hacking-labels.
2. Decline Detector: De kernlogica volgt het traject van de evaluatiescores voor elke job. Als een job $k$ opeenvolgende dalingen vertoont in zijn evaluatiescore, triggert het systeem een vroege stopzetting. Dit mechanisme functioneert als een vereenvoudigde change-point detector, gekozen vanwege de interpreteerbaarheid en operationele eenvoud.
3. Stop and Save: Bij activering beëindigt de wrapper de job, komt de GPU-resources onmiddellijk vrij en bewaart het beste checkpoint van het model (vastgelegd $k$ evaluatiestappen vóór de trigger). De bijgewerkte clusterstatus wordt vervolgens gedelegeerd aan de basisscheduler (bijv. FIFO, SRTF-Est, LossAware) voor herallocatie van resources.

In tegen tegenstelling tot eerdere benaderingen die simpelweg jobs na de piek deprioriteren (wat leidt tot uithongering en voortgezette bezetting van resources), beëindigt EvalStop de jobs actief en maakt het resources vrij.

Belangrijkste Bijdragen

Het artikel schetst drie specifieke bijdragen:

• C1 (Detectie-formulering): De auteurs stellen dat vroegtijdige stopzetting op scheduler-niveau voor RLHF fundamenteel een detectieprobleem is. Ze introduceren een experimenteel ontwerp waarbij ground-truth hacking-labels verborgen zijn achter een whitelist-proxy (de Informatiegrens), wat een eerlijke meting van de detector-kwaliteit (precisie/recall) mogelijk maakt in plaats van alleen systeemmetrieken.
• C2 (Componibele Detector): EvalStop bereikt een hoge detectienauwkeurigheid. Op RLHF-zware workloads bereikt het 98% precisie en 99% recall met een False Positive Rate (FPR) van 1,5%. Het presteert aanzienlijk beter dan triviale vaste progressie-regels (die ~65% FPR veroorzaken) en loss-plateau detectoren (die >60% van de hacking-gevallen missen).
• C3 (Componibele Systeemwinsten): EvalStop functioneert als een overlay die de prestaties van diverse basisschedulers verbetert. Het levert 9–25% verbeteringen in JCT op en vermindert verspilde rekenkracht met ongeveer 22% op RLHF-zware workloads. De detectiekwaliteit blijft stabiel onder variërende niveaus van eval-ruis ($\sigma \le 0.05$) en hacking base rates (20–80%).

Experimentele Resultaten

De auteurs evalueerden EvalStop met behulp van een discrete-event simulator die een multi-tenant platform modelleert met 64 GPU's en gemengde workloads (LoRA, DPO, RLHF). De RLHF-workload was een mix van 60% "hacking" runs (waar evaluatiescores pieken en dalen) en 40% "gezonde" runs.

• Hoofdresultaten (RLHF-zware workload): Vergeleken met de baseline SRTF-Est (Shortest Remaining Time First met schattingen), verminderde EvalStop+SRTF de JCT met 9,4% en de verspilde rekenkracht met 21,8%. Cruciaal is dat het een precisie van 98,3% en een FPR van 1,5% handhaafde. In contrast hiermee bereikte een "StopAt-0.65" baseline (het stoppen van alle RLHF jobs bij 65% progressie) vergelijkbare JCT-winsten, maar vernietigde het 64,5% van de gezonde jobs (hoge FPR). Een loss-plateau detector bereikte slechts 38,3% recall, waardoor het merendeel van de hacking-gevallen werd gemist.
• Componibiliteit: EvalStop verbeterde de JCT met 8,9% tot 25,2% over verschillende basisschedulers (FIFO, SJF-Est, SRTF-Est, LossAware).
• Robuustheid:
  • Gevoeligheid voor Ruis: Naarmate de eval-ruis toenam ($\sigma$ van 0,01 naar 0,12), degradeerde de precisie van EvalStop geleidelijk van 100% naar 81%, maar bleef het significant hoger dan die van concurrenten.
  • Gevoeligheid voor Base Rate: De precisie van EvalStop bleef boven de 89% over hacking-fracties variërend van 20% tot 80%, terwijl de precisie van de vaste progressie-baseline direct gekoppeld was aan de base rate (als een constante classifier).
• Drempelgevoeligheid: Een daling-drempel van $k=2$ bleek effectief om een balans te vinden tussen vroege detectie en false positives.

Betekenis en Claims

Het artikel claimt dat wereldfeedback (downstream evaluatiescores) een superieur scheduling-signaal is vergeleken met de trainingsverlies of beloningsmodel-scores voor RLHF-workloads. EvalStop operationaliseert dit inzicht door evaluatiescores te transformeren van passieve monitoringssignalen naar actieve controlesignalen voor resource-allocatie.

De auteurs benadrukken dat EvalStop complementair is aan training-niveau mitigaties (zoals constrained RL, reward ensembles). Terwijl methoden op trainingsniveau proberen hacking te voorkomen, biedt EvalStop een vangnet op scheduler-niveau voor gevallen waarin imperfecte mitigatie leidt tot divergentie. Het systeem stelt platforms in staat om GPU-resources terug te winnen van divergerende jobs zonder dat de trainingsalgoritmen gewijzigd hoeven te worden of niet-clairvoyante scheduling-beperkingen worden geschonden.

De auteurs merken beperkingen op, waaronder het gebruik van synthetische trainingscurves gekalibreerd volgens Gao et al. (2023) en de aanname van homogene hardware. Zij stellen dat validatie op echte trainings-traces (bijv. uit TRL of OpenRLHF) de noodzakelijke volgende stap is. Het werk suggereert dat naarmate RLHF-workloads groeien, het beheren van de kloof tussen proxy-signalen en wereldfeedback cruciaal zal worden voor efficiënt resourcebeheer in cloudplatforms.