Technische Samenvatting: Kernel-contracten voor Training en Inferentie

Probleemstelling

Moderne post-training pipelines voor Large Language Models (LLM's) behandelen de beleidssymbool $\pi_\theta$ als een enkel wiskundig object. Echter, in eindige precisie wordt $\pi_\theta$ geëvalueerd door twee afzonderlijke programma's: een training-kernel ($K_{train}$) die geoptimaliseerd is voor differentieerbaarheid (met precisie-accumulatoren met hoge precisie, vaste vormen en referentie-attention) en een inferentie-kernel ($K_{inf}$) die geoptimaliseerd is voor throughput (met operatoren met lage precisie, paged key-value caches en dynamische attention-tiles).

Het paper identificeert een kritieke "specificatiekloof": deze twee kernels berekenen meetbaar verschillende functies van dezelfde gewichten $\theta$. Deze divergentie is niet uniform; het concentreert zich op specifieke segmenten (bijv. contexten met lange tekst, veiligheidskritische prompts) die door algemene benchmarks ondervertegenwoordigd worden. De samensmelting van $K_{train}$ en $K_{inf}$ leidt tot verschillende faalmodi:

1. Off-policy bias in RL: Reinforcement learning-pipelines (bijv. PPO, GRPO) samplen rollouts uit $K_{inf}$, maar berekenen gradiënten met behulp van $K_{train}$. De standaard estimator gaat ervan uit dat de belangrijksheidsratio $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$ gelijk is aan 1, wat een bias introduceert die zich manifesteert als KL-collapse, reward hacking of plotselinge prestatievermindering.
2. Deployment Drift: Modellen die gefinetuned zijn in BF16 kunnen significant afwijken wanneer ze bij inferentie worden omgezet naar FP8 of INT4, met name bij zeldzame veiligheidsprompts of gestructureerde outputs.
3. Niet-reproduceerbaarheid: Heterogene serving-vloten (verschillende hardware/kernel-builds) produceren divergente outputs voor dezelfde aanvraag, wat A/B-testen en veiligheidsaudits niet-reproduceerbaar maakt.

Momenteel bestaat er geen machineleesbare specificatie die kan definiëren welk niveau van divergentie tussen $K_{train}$ en $K_{inf}$ toelaatbaar is, op welke datasegmenten, en welke acties ondernomen moeten worden wanneer limieten worden overschreden.

Methodologie: Het Kernel-contract

De auteurs stellen een formeel specificatie-object voor genaamd het Kernel-contract, aangeduid als $C = (N, S, R, \Pi)$. Dit contract begeleidt het model checkpoint en de kernel-build door de CI/CD-pipeline.

1. De Structuur van het Contract

Het contract bestaat uit vier families van clausules en een escalatiebeleid:

• Numeriek ($N$): Beperkingen op ruwe numerieke verschillen, zoals logit-drift ($\Delta_{logit}$), KL-divergentie, Total Variation (TV) afstand, en de belangrijksheidsratio $w$ voor RL.
• Statistisch ($S$): Beperkingen op gedragsmatige uitkomsten, inclusief top-$k$ token overeenkomst, kalibratie-drift ($\Delta_{ECE}$), reward-delta's en de parseerbaarheid van gestructureerde outputs.
• Runtime ($R$): Operationele beperkingen op latentie, throughput, geheugengebruik (inclusief KV-cache) en foutpercentages.
• Observabiliteit ($O$): Vereisten voor trace-velden, kernel-vingerafdrukken en replay-signaturen om te waarborgen dat schendingen herleidbaar zijn.
• Escalatiebeleid ($\Pi$): Een mapping van ernstniveaus van schending ($L1$: informatief, $L2$: impactvol voor kwaliteit, $L3$: veiligheidskritisch) naar routing-acties (loggen, bewaken, fallback/rollback).

Clausules worden gedefinieerd met drempelwaarden ($\tau$), toegestane overschrijdingspercentages ($\rho$), en specifieke datasegmenten ($\Sigma$) waarop zij van toepassing zijn.

2. Theoretische Grenzen (De Ketting)

Het paper leidt een ketting van Lipschitz-achtige grenzen af die lage-niveau numerieke fouten verbinden met hoge-niveau reward-fouten:

1. Logit naar Distributie: Een grens op logit-drift ($\|\varepsilon\|_\infty$) propageert naar een grens op de Total Variation afstand ($\Delta_{TV}$) en de KL-divergentie, geschaald door temperatuur $T$.
2. Distributie naar Reward: Voor een begrensde reward-functie $r$ wordt het verwachte verschil in reward begrensd door $2R \cdot \Delta_{TV}$.
3. Toepassing op RL: Onder aannames van overlap in de ondersteuning (support overlap) en begrensde advantage, bewijst het paper dat een per-token grens op de belangrijksheidsratio $w$ (of equivalentelijk de TV-afstand tussen de $K_{train}$ en $K_{inf}$ policies) de bias van de standaard policy-gradient estimator begrenst. Dit herinterpreteert de PPO clipping parameter $\epsilon$ niet alleen als een trust-region voor policy-updates, maar als een budget voor het train-infer kernel-paar.

3. Handhavingspipeline

Het framework stelt een vierfasen promotie-pipeline voor om het contract af te dwingen:

1. Offline CI: Evalueert harde numerieke clausules tegen vaste datasets.
2. Shadow: Spiegelt live verkeer naar de kandidaat-kernel om workload-afhankelijke regressies te detecteren.
   s. Canary: Routeert een klein deel van het live verkeer naar de kandidaat met het escalatiebeleid actief.
3. Full Promotion: Vindt pas plaats na aanhoudende naleving over een stabiliteitsvenster.
   Een online routing-loop monitort continu de gezondheid van het contract ($h_t$) en schakelt verkeer over naar bewaakte of veilige kernels op basis van real-time schendingsniveaus.

Belangrijkste Bijdragen

Het paper levert drie primaire bijdragen:

1. Conceptueel: Het identificeert de juiste eenheid van specificatie in moderne LLM-pipelines niet als het checkpoint of de engine alleen, maar als het paar $(K_{train}, K_{inf})$ samen met de specifieke datasegmenten waar zij overeen moeten stemmen.
2. Technisch: Het biedt een keten van grenzen waardoor ingenieurs beperkingen kunnen specificeren op het meetbare numerieke niveau (logits) en daarmee garanties erven op gedragsmatig niveau (rewards).
3. Toegepast: Het demonstreert dat standaard RL-stabiliteitsheuristieken (zoals PPO clipping) formeel geïnterpreteerd kunnen worden als contractclausules die de kernel-divergentie begrenzen, en het schetst een minimaal YAML DSL voor het implementeren van deze artefacten.

Resultaten en Validatie

Het paper vermeldt expliciet dat het geen empirische validatie op productieschaal rapporteert en niet beweert dat kernel-divergentie de enige oorzaak is van de besproken faalmodi. In plaats daarvan presenteert het een framework en vocabulaire paper.

De "resultaten" zijn theoretische afleidingen en een voorgesteld experimenteel protocol (Sectie 8) voor toekomstige validatie:

• Theoretisch: Bewijzen dat logit-drift grenzen impliceren dat reward-drift grenzen, en dat kernel-mismatch een berekenbare bias introduceert in policy gradients.
• Voorgestelde Experimenten: De auteurs schetsen vijf falsifieerbare experimenten (E1–E5) om het framework te testen, waaronder het in kaart brengen van numerieke drift-baselines, het testen van hardware-gevoeligheid, het valideren van de RL-bias grens, het verkennen van contract-bewuste distillatie, en het simuleren van zelfherstellende routing onder foutinjectie.

Betekenis en Omvang

Het paper positioneert zichzelf als een fundamentele specificatielaag die verschillende parallelle literatuur overbrugt: RL post-training, high-throughput serving, formele verificatie en software-contracten.

• Bescheidenheid: De auteurs zijn expliciet dat dit een "framework en vocabulaire" paper is. Zij beweren niet het probleem van kernel-divergentie empirisch te hebben opgelost, maar hebben in plaats daarvan de "ontbrekende index" op $\pi_\theta$ en de vocabulaire geleverd om het te bespreken.
• Toekomstige Richtingen: Het paper schetst vier onderzoeksrichtingen: dynamische contracten (context-bewuste drempels), contract-bewuste distillatie (modellen trainen om aan contracten te voldoen), formele verificatie van clausule-subsets, en zelfherstellende routing.
• Beperkingen: Het framework voegt engineering-overhead toe (berekening, opslag, observabiliteit) en brengt risico's met zich mee van Goodhart's wet (het optimaliseren van proxy-clausules). Het erkent dat huidige instrumenten voor formele verificatie nog niet kunnen schalen naar volledige productietransformers, en vertrouwt in plaats daarvan op losse grenzen en empirische testen.

Samenvattend betoogt het paper dat het behandelen van de training- en inferentie-kernels als afzonderlijke, contractgebonden entiteiten noodzakelijk is om van "volksgeloof" over de kwetsbaarheid van implementaties naar auditeerbare, reproduceerbare engineering-praktijken in LLM-deployment te gaan.