🤖 machine learning

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

Dit artikel introduceert HEAL, een hybride raamwerk voor foutvermindering dat reproduceerbaarheid van missiekritische LLM-inferentie over heterogene GPU's realiseert door INT16-kwantisatie voor KV-tensoren te combineren met algebraïsche foutcompensatie op 16-bit Tensor Cores, waardoor catastrofale outputdivergentie wordt geëlimineerd zonder de prohibitieve prestatie- en geheugenkosten van een globale FP32-pipeline.

Oorspronkelijke auteurs: Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Trillende Hand" van AI

Stel je voor dat je een rechter bent in een rechtszaak met hoge inzet (zoals een medische diagnose of een juridische uitspraak). Je hebt een getuige nodig (de AI) die elke keer exact hetzelfde getuigenis aflegt als je dezelfde vraag stelt, ongeacht welke microfoon of opnamestudio je gebruikt.

In de wereld van Large Language Models (LLMs) is dit momenteel een nachtmerrie. Zelfs als je de AI exact dezelfde vraag twee keer stelt, met exact dezelfde instellingen, kan het antwoord licht veranderen.

Scenario: Je vraagt: "Wat is de code voor deze ziekte?"
Run 1: De AI zegt "Code A."
Run 2: De AI zegt "Code B."

In een informeel gesprek maakt dit niet uit. Maar in de financiële sector, de medische wereld of de juridische sector kan één verkeerde letter een ramp zijn. Het paper noemt dit niet-reproduceerbaarheid.

Het Onderzoek: Waarom trilt de AI?

De onderzoekers (van UCLA, Berkeley, etc.) wilden weten: Waarom verandert de AI van gedachten?

Ze vermoedden dat de AI de wiskunde op een "vage" manier uitvoert. Om de schuldige te vinden, keken ze onder de motorkap van de computerchips (GPU's) die deze modellen draaien.

Het Misverstand:
De meeste mensen dachten dat de AI al zijn wiskunde met een lage precisie uitvoert (zoals een liniaal met alleen maar grote, grove streepjes) omdat dat sneller is. Ze dachten dat de "vaagheid" voortkwam uit de wiskunde zelf.

De Werkelijke Schandvlek (De "Kernel Boundary"):
De onderzoekers ontdekten dat de wiskunde binnen de chip eigenlijk heel precies is (zoals een liniaal die met een laser is gemeten). Het probleem vindt plaats bij de grenzen—de deuropeningen tussen verschillende delen van de berekening.

De Analogie: De Emmerbrigade
Stel je een team van arbeiders voor die emmers water (data) doorgeven in een lijn om een brand te blussen.

In de handen: De arbeiders houden de emmers perfect stil (de wiskunde binnen de chip is precies).
De overdracht: Wanneer een arbeider de emmer aan de volgende persoon doorgeeft, moet hij het water in een iets ander vat gieten.
Het lek: Elke keer dat ze gieten, valt er een klein druppeltje water uit.
Het resultaat: Als de lijn kort is, maakt één druppel niet uit. Maar in een LLM is de lijn mijlenlang (duizenden lagen). Die kleine druppels tellen op. Tegen de tijd dat het water het einde bereikt, is de emmer leeg of zit er de verkeerde hoeveelheid in, waardoor de AI het verkeerde antwoord kiest.

Dit "lekken" gebeurt omdat de computer het water in een kleiner vat bewaart (lagere precisie) om ruimte te besparen, waardoor er telkens een klein beetje detail verloren gaat.

De Oude Oplossingen: De "Brute Force" Aanpak

Vóór dit paper waren er twee manieren om dit op te lossen, en beide waren vreselijk:

De "Strikte Volgorde" Methode: Dwing de arbeiders om de emmers in een specifieke, rigide volgorde door te geven zodat niemand in de war raakt.
- Nadeel: Het is ongelooflijk traag en werkt alleen op specifieke soorten hardware. Als je overstapt naar een ander merk GPU, gaat het kapot.
De "Grote Emmer" Methode: Gebruik helemaal geen kleine vaten meer. Gebruik enorme, zware, ultra-precieze emmers (FP32) voor de hele lijn.
- Nadeel: Het is zo zwaar dat de arbeiders in slow motion bewegen. De AI wordt 13 keer trager, waardoor hij onbruikbaar wordt voor real-time toepassingen.

De Nieuwe Oplossing: HEAL (Hybrid Error ALleviation)

De auteurs stellen een slim middenpad voor genaamd HEAL. In plaats van de hele lijn zwaar te maken of rigide, repareren ze de specifieke plekken waar het water lekt.

1. De "Slimme Verpakking" Truc (Voor Attention)

Het Probleem: De "Key" en "Value" emmers (data gebruikt voor attention) zijn vaak grotendeels leeg of bevatten eenvoudige getallen. Een gigantische emmer gebruiken voor hen is verspilling.
De Oplossing: HEAL gebruikt een speciale "verpakkingstape" (INT16 quantisatie). Het comprimeert de data in een kleiner, strakker pakketje dat perfect past.
De Magie: Hoewel het pakketje klein is, pakken de arbeiders het uit in twee kleinere emmers (Dual-FP16) om de wiskunde uit te voeren. Dit houdt het waterniveau hoog (precies) zonder dat er de gigantische, zware emmers nodig zijn die alles vertragen.

2. De "Foutcompensatie" Truc (Voor Wiskunde)

Het Probleen: Bij het doen van zware wiskunde (GEMM), verliezen de standaard emmers een beetje precisie.
De Oplossing: HEAL splitst de wiskunde in twee stappen.
- Stap A: Doe de hoofd-wiskunde met de standaard emmer.
- Stap B: Doe een snelle "opruim"-wiskunde met een piepkleine emmer om de kleine druppels op te vangen die in Stap A zijn gelekt.
- Resultaat: Je krijgt de precisie van de gigantische emmer, maar je gebruikt alleen de snelle, lichte emmers voor het zware werk.

De Resultaten: Snel, Nauwkeurig en Betrouwbaar

De onderzoekers hebben deze nieuwe methode getest op een nieuwe benchmark die zij zelf hebben gemaakt, genaamd MCR-Bench (Mission-Critical Reproducibility Benchmark), die uitdagende vragen bevat uit de medische wereld, de juridische wereld en de financiële sector.

Reproduceerbaarheid: HEAL bereikte hetzelfde niveau van "perfecte consistentie" als de superlangzame, zware "Grote Emmer"-methode.
Snelheid: Het was 7,1 keer sneller dan de zware methode.
Geheugen: Het vereiste geen extra geheugen, in tegen tegenstelling tot de zware methode die de geheugenbehoeften verdubbelde.

De Kernboodschap

Het paper bewijst dat we de hele AI niet traag hoeven te maken om hem betrouwbaar te maken. We hoeven alleen de specifieke "lekken" te dichten waar data verloren gaat tijdens de overdracht.

In een notendop:
In plaats van de hele motor van een racewagen te vervangen door een trage, zware tractor-motor om te voorkomen dat hij afslaat, hebben de auteurs een manier gevonden om de bouten van de bestaande motor aan te draaien. De auto (de AI) rijdt nu net zo betrouwbaar als de tractor, maar is nog steeds snel genoeg om de race te winnen.

Technische Samenvatting: Het ontrafelen van numerieke instabiliteit in LLM-inferentie met HEAL

Probleemstelling

Nu Large Language Models (LLM's) worden ingezet in missiekritieke domeinen zoals de financiële sector, de geneeskunde en de juridische wereld, is de reproduceerbaarheid van de output een strikte systeemvereiste geworden. Hoewel beoefenaars doorgaans greedy decoding gebruiken om algoritmische stochasticiteit te elimineren, vertonen empirische implementaties met 16-bits precisie (bijv. BF16) nog steeds catastrofale output-divergentie over heterogene hardware (bijv. verschillende generaties NVIDIA GPU's of AMD-accelerators).

Bestaande mitigatiestrategieën staan voor een onaanvaardbaar dilemma:

Strikte bit-voor-bit determinisme: Het afdwingen van deterministische floating-point reductievolgordes of het gebruik van gespecialiseerde kernels beperkt de implementatie tot smalle executiepaden, schakelt moderne hardwarefuncties uit en offert doorvoer op.
Globale High-Precision Pipelines: Het uitvoeren van alle berekeningen in FP32 elimineert ruis door downcasting, maar brengt prohibitieve systeempenaliteiten met zich mee. Het volledig serveren in FP32 kan de Time Per Output Token (TPOT) met wel 13,1× verhogen en verdubbelt de geheugenvoetafdruk van de Key-Value (KV) cache, wat economisch onpraktisch is voor grootschalige serving.

De kernuitdaging is het bereiken van robuuste, inzetbare reproduceerbaarheid zonder het rendement van 16-bit hardware-accelerators op te offeren.

Methodologie: HEAL (Hybrid Error ALleviation)

De auteurs stellen HEAL voor, een gerichte interventie die FP32-niveau reproduceerbaarheid benadert terwijl het zich houdt aan hardwarebeperkingen. De methodologie is gebaseerd op een systematische investigatie naar de grondoorzaken van niet-reproduceerbaarheid, bewegend van macroscopisch falen naar microscopische oorsprong.

1. Grondoorzaakanalyse

Door middel van SASS-level profiling en foutdecompositie identificeert het artikel dat niet-reproduceerbaarheid niet wordt gedreven door interne kernel-arithmetiek (die voornamelijk opereert in FP32 via Tensor Cores), maar door truncatie-fouten (afkortingsfouten) geïntroduceerd tijdens downcasting bij de grenzen van kernels.

Microscopische oorsprong: De instabiliteit vloeit voort uit de verplichte truncatie van high-precision registers naar lagere precisie opslagformaten bij de grenzen van kernels (bijv. het terugschrijven van resultaten van FP32 accumulatoren naar BF16-geheugen).
Accumulatie: Deze microscopische verliezen van fractionele precisie accumuleren exponentieel over de netwerklagen. Zodra de geaccumuleerde fout een specifieke drempel overschrijdt, verschuift het de uiteindelijke log-waarschijnlijkheden genoeg om de top-1 token selectie te wijzigen, wat leidt tot "result flipping".
Kerninzicht: Robuuste reproduceerbaarheid vereist geen strikte wiskundige pariteit met een FP32 grondwaarheid; het vereist enkel het begrenzen van numerieke ruis onder de drempel die result flipping triggert.

2. De HEAL-oplossing

HEAL pakt de twee primaire knelpunten van een globale FP32-pipeline aan (geheugen voor Attention, compute voor GEMM) via twee gerichte mechanismen:

A. Mitigeren van Attention Truncatie via INT16 Kwantisatie

Probleem: Het upcasten van Key-Value (KV) caches naar FP32 verdubbelt het geheugengebruik, wat een geheugenknelpunt creëert.
Oplossing: HEAL erkent dat standaard floating-point formaten hun bitbreedte onderbenutten voor Q, K, en V tensoren. Het past INT16 kwantisatie toe om deze tensoren op te slaan.
Mechanisme: Tijdens de uitvoering wordt de INT16-tensor algebraïsch uitgepakt in twee FP16-tensoren ( $X_{hi}$ en $X_{lo}$ ). De lagere tensor wordt verschoven met een factor $2^{10}$ , waardoor het paar $(X_{hi} + X_{lo}/2^{10})$ 20 bits aan continue fractionele precisie kan emuleren.
Voordeel: Dit behoudt de strikte 16-bit geheugenvoetafdruk van de KV-cache terwijl de truncatie-fout aanzienlijk wordt verminderd, wat divergentie effectief voorkomt zonder het geheugengebruik uit te breiden.

B. Mitigeren van GEMM Truncatie via Algebraïsche Foutcompensatie

Probleem: Het upcasten van GEMM-inputs naar FP32 dwingt hardware om high-throughput 16-bit Tensor Cores te omzeilen, wat ernstige prestatie-regressie veroorzaakt.
Oplossing: HEAL synthetiseert high-precision matrixvermenigvuldigingen met behulp van een algebraïsche foutcompensatiestrategie die volledig wordt uitgevoerd op 16-bit Tensor Cores.
Mechanisme: Input-activaties worden gedecomposeerd in een primaire 16-bit waarde en een residuele foutterm. Het systeem voert twee parallelle matrixvermenigvuldigingen uit met standaard 16-bit inputs en telt de resultaten bij elkaar op. Dit vangt de truncatie-fout op terwijl de doorvoer van native 16-bit hardware behouden blijft.
Overflow-afhandeling: Om de smalle dynamische reikwijdte van FP16 aan te pakken, past HEAL gerichte herschaling toe op zeldzame outlier-kanalen (die minder dan 1% van de vaste kanalen vormen) om catastrofale overflow te voorkomen zonder significante overhead toe te voegen.

Belangrijkste Bijdragen

Diagnose van Instabiliteit: Het artikel demonstreert dat intrinsieke niet-reproduceerbaarheid fundamenteel wordt gedreven door boundary truncation-fouten in plaats van interne niet-associativiteit van de rekenkunde. Het stelt vast dat robuuste reproduceerbaarheid vereist dat deze ruis onder een specifieke result-flipping drempel wordt begrensd.
HEAL Framework: Introduceert een tweeledige oplossing die hardware-penaliteiten omzeilt door Attention te beschermen via INT16 kwantisatie en GEMM te synthetiseren via algebraïsche foutcompensatie.
MCR-Bench: Introduceert de Mission-Critical Reproducibility Benchmark, een nieuwe evaluatiesuite gericht op reproduceerbaarheid in hoog-risico domeinen (medisch, juridisch, financieel) waar consistentie van de uitkomst essentieel is.
Efficiëntie-Reproduceerbaarheid Afweging: Demonstreert dat HEAL een FP32-niveau van reproduceerbaarheid bereikt voor downstream taken over diverse hardwaretypen heen, terwijl het de prestatie-overhead met tot wel 7,1× vermindert vergeleken met volledige FP32-pipelines.

Resultaten

Geëvalueerd over vijf modellen (Qwen3-8B/14B/32B, Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B) en drie hardwaretypes (NVIDIA A100, H100, AMD MI300X):

Reproduceerbaarheid: HEAL-Full (de volledige hybride pipeline) bereikt een answer flip rate en Final Hidden MSE die bijna identiek zijn aan de FP32-baseline (bijv. een 0,0% flip rate voor Llama-8B en DeepSeek-14B, vergeleken met 11,7% en 12,8% voor native BF16).
Prestatie-overhead:
- FP32 Baseline: Verhoogt de TPOT met 4,2× tot 13,1×.
- HEAL-Full: Veroorzaakt slechts een 40%–109% TPOT-overhead ten opzichte van de native BF16-baseline.
- Geheugen: HEAL behoudt de 16-bit geheugenvoetafdruk voor de KV-cache, waardoor de 2× geheugenexpansie die nodig is voor volledige FP32 upcasting wordt vermeden.
Hardware-agnosticisme: De geaccumuleerde numerieke fout blijft consistent over verschillende hardwaretypes onder vaste precisieconfiguraties, wat bevestigt dat HEAL hardware-specifieke divergentie effectief neutraliseert.

Betekenis

Het artikel stelt dat de aanname dat een "alles-of-niets" kost van volledige high-precision pipelines vereist is voor robuuste reproduceerbaarheid, onjuist is. Door te identificeren dat niet-reproduceerbaarheid een gelokaliseerde gevoeligheid is voor specifieke outlier-features (boundary truncation) in plaats van een alomtegenwoordig ruisprobleem, herstelt HEAL deterministisch gedrag over heterogene hardware. Cruciaal is dat de methode deze stabiliteit bereikt door minder dan 1% van de totale compute te upgraden (via algebraïsche compensatie) en opslagformaten te optimaliseren, wat een praktisch pad biedt voor de inzet van LLM's in missiekritieke omgevingen waar exacte numerieke outputs vereist zijn zonder de economische last van volledige FP32-inferentie.