Technische Samenvatting: Niet elke sync is veilig: Gekalibreerde DiLoCo-planning voor gedeelde AI-infrastructuur

Probleemstelling

In gefragmenteerde industriële AI-vloten waar training hardware deelt met latency-gevoelige serving (bijv. vLLM sidecars), staat de conventionele DiLoCo-stijl training voor een kritieke uitdaging in productie: wanneer is het veilig om te synchroniseren?

Hoewel DiLoCo de communicatie vermindert door 'learner islands' lokale optimalisatiestappen te laten uitvoeren vóór incidentele externe synchronisatie, falen bestaande planningsstudies vaak in het isoleren van de waarde van timing van de waarde van het budget. De meeste evaluaties vergelijken workload-bewuste beleidsregels met vaste-periode baselines (bijv. elke 256 of 512 stappen). Echter, een vaste-periode baseline kan simpelweg minder frequent of op andere momenten synchroniseren door toeval, in plaats van werkelijke workload-bewustzijn aan te tonen.

Het kernprobleid is dat een externe merge host-, netwerk- en checkpoint-resources consumeert voor een vaste duur (bijv. 8 seconden). Als dit venster samenvalt met latency-gevoelige verzoeken, veroorzaakt dit schendingen van de Service Level Objectives (SLO's). De vraag is niet alleen hoe vaak er gesynchroniseerd moet worden, maar welke specifieke vensters gekozen moeten worden om kostbare perioden te vermijden, en of een beleid betrouwbaar kan presteren ten opzichte van een willekeurige plaatsing van hetzelfde synchronisatiebudget.

Methodologie

1. Het Kalibratieprotocol

De auteurs stellen een rigoureus evaluatieprotocol voor om te bepalen of een synchronisatiebeleid de claim verdient het verbeteren van serving-SLO's te verbeteren. Het protocol introduceert een Matched Random Deferral controle:

• Concept: Een niet-inzetbare controle die exact hetzelfde synchronisatiebudget (aantal merges) overneemt van het geëvalueerde beleid, maar de plaatsing van die merges randomiseert binnen de haalbare tijdsperiode.
• Doel: Dit scheidt de synchroniefrequentie van de vensterplaatsing. Als een workload-bewust beleid niet kan winnen van een willekeurige plaatsing met hetzelfde budget, heeft het geen "plaatsingswinst" aangetoond.
• Poort: Een claim van SLO-verbetering is alleen geldig als het beleid de matched-random envelope verslaat in een gekalibreerd regime.

2. Workload-Aware DiLoCo (WA-DiLoCo)

Het papier implementeert dit protocol met WA-DiLoCo, een lichtgewicht, score-gebaseerde controller:

• Inputs: Learner-progressie (loss reductie, token bijdrage, staleness) en fleet-druk (netwerk, serving, checkpoint).
• Scoring: Een lineaire score $s_i$ wordt berekend voor elke learner, waarbij progressie positief en druk negatief wordt gewogen. Serving-druk draagt de hoogste weging in de doelsetting.
• Beslissingslogica: De coördinator synchroniseert als de kloof sinds de laatste merge $H_{min}$ (128 stappen) overschrijdt en de gemiddelde score boven een drempelwaarde ligt, of als de kloof $H_{max}$ (512 stappen) bereikt. Dit zorgt ervoor dat merges binnen een begrensde corridor blijven.

3. Gekalibreerde Overlap en Voorspelling

Voor bursty workloads identificeren de auteurs dat directe overlap met sidecar-verzoeken een nauwkeuriger kosten signaal is dan algemene drukmetrieken.

• Offline Calibrated-WA: Een oracle die de volledige burst-trace observeert en de vensters met de laagste overlap opnieuw selecteert. Dit stelt de theoretische bovengrens vast van wat mogelijk is.
• Online Forecasting: Om dit inzetbaar te maken, versterken de auteurs de controller met een één-stap Exponential Weighted Moving Average (EWMA) voorspelling van de request rates. Dit stelt de controller in staat om kandidaat-vensters te scoren op basis van de verwachte overlap voordat de merge wordt gelanceerd.

Belangrijkste Bijdragen

1. Gekalibreerd Evaluatieprotocol: Het papier identificeert een gat in de bestaande literatuur waar vaste-periode baselines budget en plaatsing vermengen. Het protocol vereist real-sidecar effect-size transfer, een no-sync load match, en een matched-random envelope voordat men claims legt op SLO-verbeteringen voor serving.
2. Matched Random Deferral Control: Introduceert een niet-inzetbare controle die het budget van de geëvalueerde scheduler overneemt maar de plaatsing randomiseert. Dit dient als een strikte baseline; een scheduler die deze willekeurige plaatsing niet verslaat, heeft enkel het budget beheerd, niet de workload.
3. Bounded Calibrated Scheduling Formulering: De auteurs formaliseren synchronisatie als haalbare plaatsing binnen een min/max-H corridor. Ze bewijzen dat onder een gekalibreerd overlapmodel, offline gekalibreerde scheduling bijna optimaal is binnen de matched-budget klasse, terwijl de online variant gracieus degradeert met voorspellingsfouten.
4. Uitgebreide Real-Sidecar Regime Studie: De studie evalueert beleidsregels over gewone, druk-zware, steady sync-zware, bursty en niet-periodieke serving regimes met behulp van echte vLLM sidecar replays.

Resultaten

De experimenten onthullen dat de effectiviteit van planning sterk afhangt van het workload-regime:

• Gewone/Druk-zware Regimes: In gewone sidecar traces vertaalden synthetische drukeffecten zich niet naar echte latency (p95 ratio's $\approx$ 1.0). In druk-zware regimes waren alle beleidsregels verzadigd en domineerde geen enkel beleid.
• Steady Sync-Heavy Regimes: WA-DiLoCo presteerde beter dan fixed-interval en pressure-gate baselines. Echter, het gleed gelijk aan de matched-random deferral controle statistisch gezien ($p=0.56$), wat aangeeft dat voor stabiele workloads een eenvoudige willekeurige plaatsing vaak voldoende is, en dat er geen sterke dominantieclaim kan worden gemaakt.
• Bursty Regimes: Hier levert kalibratie waarde op.
  • Offline Calibrated-WA: Verminderde de sync-excess SLO schendingen tot 4.45%, wat de matched-random envelope (6.26%) en WA-DiLoCo (6.92%) aanzienlijk versloeg.
  • Online Forecaster: De EWMA-versterkte online controller verminderde de SLO schendingen van 6.54% (matched random) naar 5.09% in echte vLLM sidecar replays ($p=0.021$). Dit vertegenwoordigt een 1.46 procentpunt plaatsingswinst, wat ongeveer 60 verzoeken per sidecar per tien minuten aan SLO-schendingen vermindert bij de geteste throughput.

Betekenis en Claims

De primaire betekenis van het paper is methodologisch in plaats van puur algoritmisch. Het betoogt dat niet elke sync veilig is, en dat het claimen van SLO-verbeteringen een hogere bewijslast vereist.

• Het Protocol Eerst: De auteurs claimen dat de "inzetbare les" het protocol zelf is: onderzoekers moeten real-sidecar effect-size transfer, een no-sync load match, en een matched-random envelope rapporteren voordat ze claimen de serving-SLO's te verbeteren.
• Bescheiden Claims over Inzetbaarheid: Het paper is bescheiden over de huidige staat van de online controller. Hoewel de offline oracle bewijst dat er een exploiteerbare structuur bestaat in bursty traces, versloeg de online controller (zonder forecasting) de matched random niet significant. De succesvolle inzetbaarheid-claim rust specifal op de forecast-versterkte variant in een specifieke niet-periodieke trace-familie.
• Beperkingen: De auteurs stellen expliciet dat dit stress-geteste replay-studies zijn, geen live productie-implementaties. De 8-seconden merge duur is configuratie-specifiek, en de online controller blijft een "onvolledige implementatie" van het gekalibreerde scheduling idee, wat verdere afstemming van gewichten en guardrails voor eerlijkheid en uithongering in toekomstige implementaties vereist.

Concluderend demonstreert het paper dat hoewel DiLoCo communicatie vermindert, de planning van de resterende synchronisatie-events een kritiek controleprobleem is in gedeelde vloten. Door een matched-random baseline en een kalibratieprotocol te introduceren, laten de auteurs zien dat workload-bewuste planning alleen meetbare SLO-winsten oplevert wanneer de workload een exploiteerbare structuur heeft (zoals bursts) en wanneer de controller die structuur nauwkeurig kan voorspellen of observeren.