Technische Samenvatting: Een Contract-Grade Verifier voor door LLM gegenereerde GPU-kernels en een Native Blackwell Backward voor de Gated-Linear-Recurrence Familie

1. Probleemstelling

Het vakgebied van het genereren van GPU-kernels met behulp van Large Language Models (LLM's) rapporteert hoge correctheidspercentages, maar deze claims rusten op een fragiel validatiesignaal. Huidige benchmarks (bijv. KernelBench, TritonBench) accepteren doorgaans een kernel als de output "dichtbij" een referentie-implementatie ligt op enkele willekeurige inputs bij een enkele vaste vorm (shape), met een ruime tolerantie (bijv. torch.allclose met atol=rtol=10⁻²).

Dit paper betoogt dat deze "enkele losse test" een correctie-illusie creëert. Een kernel kan deze test passeren terwijl hij fundamenteel defect is op manieren die de test nooit onderzoekt:

• Stille Datacorruptie: Het retourneren van een eindig getal waar de referentie NaN of Infinity teruggeeft.
• Niet-determinisme: Het produceren van verschillende resultaten bij elke run.
• Vorm-fragiliteit (Shape Fragility): Direct falen wanneer de sequentielengte of batchgrootte verandert.
• Precisie-drift: Het accumuleren van reducties in fp16, terwijl de referentie een fp32 totaal behoudt.

De auteurs stellen dat een aanzienlijk deel van de gerapporteerde "overwinningen" in kernelgeneratie illusoir is omdat de acceptatiecriteria te zwak zijn om deze stille fouten te detecteren.

2. Methodologie

De Contract-Grade Verifier

Om de zwakke validatiesignalen aan te pakken, hebben de auteurs een contract-grade verifier gebouwd die de "Kernel Contracts" taxonomie operationaliseert. Dit systeem onderwerpt kernels aan twaalf adversariële gates, beoordeeld tegen een trage, hoog-precieze referentie (ground truth).

De gates zijn verdeeld in twee categorieën:

1. Tolerance-Free Gates: Deze vereisen exacte overeenkomsten (byte-gelijkheid of exacte maskers) en laten geen tolerantie-argumenten toe. Ze controleren op:
   • EXC-01/02: Correcte propagatie van NaN/Infinity en subnormaal afhandeling.
   • ORD-02: Bit-voor-bit determinisme over runs en de afwezigheid van buffer aliasing.
   • RES-02: Naleving van hardware-resourcelimieten (bijv. Tensor Memory budget).
2. Thresholded Gates: Deze gebruiken afgeleide toleranties gebaseerd op floating-point foutmodellen (bijv. atol ≈ 4ε√N) in plaats van arbitraire, handmatig afgestelde waarden. Ze controleren op:
   • CMP-01/03: Correctheid over diverse inputs en variërende vormen.
   • ORD-01: Sommatie-orde grenzen.
   • PRC-01/02: Precisie-regimes en interne accumulator-precisie.

Fairness Mechanismen:

• Red Team: De verifier wordt gevalideerd tegen 19 doelbewust defecte kernels (bijv. antwoorden cachen, inputs retourneren, stille NaN swallowing). Het moet alle 19 afwijzen terwijl het eerlijke referenties passeert.
• Positive Control: De verifier wordt getest op de eigen handgeschreven kernels van de auteurs om te garanderen dat het niet is afgesteld om vreemde code te laten falen.
• Kalibratie: Drempelwaarden zijn ingesteld op het meest verdedigbare losse punt, om het "eerlijke ruisniveau" van correcte kernels te scheiden van de "echte fout" van defecte kernels.

De Audit

De verifier werd toegepast op 2.638 machine-gegenereerde kernels uit de Dr. Kernel / KernelGYM corpus. Cruciaal is dat deze kernels al als "correct" waren geaccepteerd door de eigen harness van het bronbestandssysteem. De audit mat hoeveel van deze "gecertificeerde" kernels daadwerkelijk het contract schonden.

De Native Backward Kernel

Om een onafhankelijke positive control te bieden, hebben de auteurs een native Blackwell tcgen05 training backward ontwikkeld voor de Gated-Linear-Recurrence (GDN) familie. Deze kernel:

• Implementeert de reverse-state scan en de WY/triangular-inverse Vector-Jacobian Product (VJP) stadia inheems op Blackwell-hardware.
• Lost de Tensor Memory (TMEM) beperking op (Issue #904), waarbij officiële kernels niet compileren omdat ze het 512-kolom TMEM-budget overschrijden.
• Wordt geverifieerd tegen een double-precision (fp64) oracle en bit-voor-bit determinisme.

3. Belangrijkste Bijdragen

1. Een Twaalf-Gate Contract-Grade Verifier: Een schaalbare operationalisering van correctheidcontracten met tolerantievrije gates en afgeleide drempels, gevalideerd door een red team van defecte kernels en een positive control.
2. De Rigor-Gap Audit: Een grootschalige audit van 2.638 geaccepteerde kernels die een enorme correctheidskloof onthulde:
   • 39,5% (1.043 kernels) faalt een tolerance-free gate, wat betekent dat ze defect zijn op manieren die geen tolerantie-argument kan rechtvaardigen.
   • 62,1% bevatten ten minste één contractschending.
   • De standaard benchmark accepteert 1.487 van deze defecte kernels, terwijl de verifier ze afwijst; omgekeeld wijst de verifier slechts 14 kernels af die de benchmark accepteert.
3. Eerste Native Blackwell tcgen05 Backward voor GDN: Een handgeschreven training backward voor de GDN-familie (dekking van Mamba-3, GLA, KDA, etc.) die de TMEM-lifecycle correct beheert en de #904 compilatie-blocker doorbreekt.
4. Ondersteunende Resultaten:
   • Zes contract-geverifieerde Mamba-3 Triton kernels die #904 omzeilen.
   • Training van een 1,1 miljard parameters groot model end-to-end op deze kernels.
   • Een reinforcement learning (GRPO) autotuner die succesvol launch-knoppen afstemt, maar faalt in het ontdekken van bron-edits die de snelheid verbeteren zonder de correctheid te breken.

4. Resultaten

De Rigor Gap

De audit toont aan dat de standaard "allclose" check een systematische blinde vlek is.

• Modale Defect: De meest voorkomende fout (34,2%) is EXC-01: een kernel die een NaN of Infinity stilletjes vervangt door een eindig getal. Dit zet een detecteerbare trainingsfout om in stille datacorruptie.
• Shape Rigidity: 18,1% van de kernels faalt wanneer de vorm verandert (CMP-03), ondanks het passeren op de vaste vorm die in benchmarks wordt gebruikt.
• Differentieel: De onenigheid tussen de standaard check en de verifier is bijna volledig eenrichtingsverkeer (1.487 vs. 14), wat aangeeft dat de standaard check specifieke klassen van fouten mist in plaats van simpelweg "strenger" te zijn.

Verificatie van de Native Kernel

De native backward kernel van de auteurs dient als een positive control:

• Het passeert alle 12 gates van de verifier.
• Het bereikt een worst-case relatieve fout van 3,3 × 10⁻³ tegen een fp64 oracle.
• Het is bit-voor-bit deterministisch.
• Het traint succesvol vijf leden van de GDN-familie.
• Snelheid opmerking: De native kernel is momenteel trager (structurele latentie) dan de bestaande Triton fallback library (fla), voornamelijk door de sequentiële aard van de reverse-state scan en fp32 glue code. De auteurs vermelden dit snelheidsdeficit expliciet in plaats van het te verhullen.

Alignement van Foutmodi

Het paper benadrukt een kritieke alignement: de zelfde gates die de fouten in de eigen kernel van de auteurs tijdens ontwikkeling detecteerden (bijv. NaN propagatieproblemen, shape inference fouten, TMEM lifecycle fouten), zijn exact de gates die de fouten in de vreemde corpus detecteerden. Dit bevestigt dat de verifier niet bevooroordeeld is tegen vreemde code, maar een algemeen diagnostisch instrument is.

5. Betekenis en Claims

Het paper claimt dat de correctheidssignalen achter de gerapporteerde vooruitgang in kernelgeneratie veel zwakker zijn dan de cijfers doen vermoeden.

• Kwalitatieve Kloof: De kloof is niet louter een kwestie van "hoe dicht is dichtbij genoeg" (een drempeldiscussie), maar een kwalitatief falen om stille fouten zoals NaN swallowing en niet-determinisme te detecteren.
• Actieerbare Standaard: Een kleine set van tolerance-free contracten (niet-finitische propagatie, determinisme, vorm-polymorfisme) zou de meeste van de kloof sluiten tegen bescheiden kosten. De auteurs stellen deze voor als een nieuwe benchmarkstandaard.
• Methodologische Integriteit: Door hetzelfde instrument te gebruiken om zowel vreemde code te auditeren als hun eigen werk te valideren (inclusclusief het toegeven van hun eigen snelheidsdeficits), demonstreren de auteurs een methodologie waarbij de afwijzingen van de verifier diagnostisch zijn in plaats van arbitrair.
• Systemische Impact: Het werk legt bloot dat een aanzienlijk deel van de "correcte" LLM-gegenereerde kernels eigenlijk defect zijn, en dat de afhankelijkheid van het veld van losse, single-shape tests onvoldoende is voor productie-waardige betrouwbaarheid.

Het paper concludeert dat de twaalf geïdentificeerde contracten voldoende zijn om te beginnen met het dichten van deze kloof, waarbij de focus verschuift van "het passeren van een losse test" naar "het voldoen aan een contract".