Technische Samenvatting: Analyse van de Kwetsbaarheid van LLM's voor GPU Soft Errors

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in veiligheidskritische domeinen zoals autonoom rijden en de gezondheidszorg, waarbij ze zwaar leunen op high-performance GPU's voor inferentie. Echter, naarmate de transistorafmetingen van GPU's krimpen en de werkspanningen afnemen, worden deze apparaten steeds gevoeliger voor transiënte soft errors (bijv. single-bit flips veroorzaakt door omgevingsfactoren). Hoewel eerder onderzoek uitgebreid de GPU-betrouwbaarheid heeft geanalyseerd voor algemene toepassingen en Convolutionele Neurale Netwerken (CNN's) die worden gebruikt voor visietaken, is er een aanzienlijke kloof in het begrip van de veerkracht van moderne, grootschalige LLM's. LLM's verschillen fundamenteel van CNN's wat betreft architectuur (Transformer-gebaseerd versus convolutioneel), computationele patronen (waarbij gebruik wordt gemaakt van KV-cache optimalisaties en operator fusion) en evaluatiemetrieken (bijv. Perplexity, Exact Match versus eenvoudige nauwkeurigheid). Bestaande foutinjectiemethoden vertrouwen vaak op algoritme-niveau perturbaties (gewichtscorruptie) of micro-architectuur-niveau simulatie (wat te traag is voor LLM's), waardoor ze niet in staat zijn om de fijnmazige, instructie-niveau gedragingen te vangen die specifiek zijn voor LLM-inferentie op moderne GPU's.

Methodologie

Om deze kloof te overbruggen, hebben de auteurs de eerste instructie-niveau foutinjectiestudie uitgevoerd die specifiek gericht is op LLM-inferentie.

• Framework: De studie maakt gebruik van NVBitFI, een instructie-niveau foutinjectieframework dat de GPU-kerneloperaties onderschept om bit-flip fouten in specifieke GPU-instructies te injecteren. Deze aanpak balanceert tussen simulatiesnelheid en nauwkeurigheid, waarbij het zich bevindt tussen trage micro-architectuur simulatie en snelle maar abstracte algoritme-niveau injectie.
• Experimentele Opstelling: Experimenten werden uitgevoerd op een NVIDIA A100 GPU (80 GB) met behulp van CUDA 12.2. De studie evalueerde drie representatieve LLM-architecturen: GPT-2, Llama3.2 en Qwen3, over twee parameterschalen voor elk.
• Datasets en Taken: Een diverse set benchmark-datasets werd gebruikt om verschillende taakcomplexiteiten te dekken, inclus\u00adbij tekstgeneratie (Lambada, WikiText-2), commonsense reasoning (PIQA, HellaSwag), wiskundig redeneren (GSM8K) en samenvatting (XSum).
• Foutinjectie Schaal: De studie omvatte ongeveer 300 GPU-uren voor initiële karakterisering en 1.750 GPU-uren voor multidimensionale analyse, wat neerkomt op meer dan 24.000 foutinjectie-pogingen per model in specifieke scenario's.
• Metrieken: De auteurs analyseerden drie primaire uitkomsten:
  1. Detected Unrecoverable Errors (DUE): Systeemcrashes of hangs.
  2. Silent Data Corruption (SDC): Incorrecte outputs zonder systeemfalen.
  3. Masked Errors: Fouten die de uiteindelijke output niet beïnvloeden.
     Ze introduceerden ook de Model Vulnerability Factor (MVF) om de waarschijnlijkheid te kwantificeren dat een fout leidt tot een door de gebruiker zichtbare fout.

Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

1. Eerste Instructie-Niveau Beoordeling: Het is het eerste werk dat de betrouwbaarheid van LLM's op GPU's systematisch beoordeelt met behulp van instructie-niveau foutinjectie, waarbij abnormale gedragingen worden geanalyseerd en hun grondoorzaken worden geïdentificeerd.
2. Kwantificering van Instructie Kwetsbaarheid: De auteurs kwantificeren de kwetsbaarheidsfactoren van belangrijke GPU-instructietypes en leiden een efficiënte methode af om de algehele MVF van een LLM te benaderen op basis van deze factoren.
3. Multiperspectivische Kwetsbaarheidsanalyse: Een uitgebreide analyse werd uitgevoerd over vijf dimensies:
   • Instructietypes
   • Taakcomplexiteit
   • Bitposities
   • Operatortypes (bijv. Attention, MLP, LayerNorm)
   • Netwerklagen

Belangrijkste Resultaten en Bevindingen

1. Abnormaal Gedrag en Oorzaken

• DUE Dominantie: In tegen tegenstelling tot conventionele applicaties waar fouten vaak gemaskeerd worden, vertonen LLM's een hoog percentage DUE's. Meer dan 90% van de DUE-gebeurtenissen wordt toegeschreven aan illegale geheugentoegang (bijv. adres buiten de grenzen, register buiten de grenzen) veroorzaakt door bit-flips in adresvelden.
• SDC Oorzaken: SDC's worden primair veroorzaakt door numerieke fouten (grote afwijkingen in floating-point waarden) in plaats van adresfouten. Een specifiek voorbeeld liet zien hoe een bit-flip in een register een waarde deed springen van ~0,2 naar ~3,4 × 10³⁸, wat leidde tot incorrecte outputs.
• Architectuurgevoeligheid: GPT-2 (gebruikmakend van LayerNorm) vertoonde een iets betere veerkracht dan Qwen3 (gebruikmakend van RMSNorm), wat suggereert dat normalisatiestrategieën de fouttolerantie beïnvloeden.

2. Instructie-Niveau Kwetsbaarheid

• Instructietypes: Integer- en adresgerelateerde instructies (bijv. SHF, LOP3, LEA) zijn zeer kwetsbaar en leiden primair tot DUE's. Daarentegen zijn veelvoorkomende floating-point rekeninstructies (bijv. FADD, HMMA) relatief robuust, maar ze zijn verantwoordelijk voor de meerderheid van de SDC's vanwege hun enorme volume.
• Benaderingsmethode: De auteurs stelden een groepswijze imputatie- en gewogen aggregatiemethode voor om de algehele MVF te benaderen. Deze methode bereikte resultaten binnen 24% van de grondwaarheid-metingen (en <7% voor de GPT-familie), wat een praktische tool biedt voor snelle kwetsbaarheidsinschatting.

3. Taak- en Architectuurafhankelijkheden

• Taakgevoeligheid: Robuustheid varieert aanzienlijk per taak. Redeneertaken (GSM8K) en cloze-stijl taken (Lambada) vertoonden hogere robuustheid, terwijl taalmodellering (WikiText-2) en lange-tekst samenvattingen (XSum) een steile afname in nauwkeurigheid lieten zien.
• Parameter Schaling: Het vergroten van de modelgrootte verbetert de robuustheid niet universeel. Hoewel grotere modellen soms een betere foutvrije prestatie laten zien, kunnen ze onder foutinjectie sneller degraderen door complexere computationele paden die foutpropagatie versterken. Dit effect is taak- en architectuurafhankelijk.

4. Bitpositie Gevoeligheid

• Bit 30 Piek: De meest significante bit van de exponent (bit 30 in IEEE single-precision) is de meest kritieke voor SDC's. Flips hier veroorzaken numerieke afwijkingen van verschillende grootteordes. De SDC-rate van bit 30 bleek tot 95,8× hoger te zijn dan die van laag-orde bits.
• DUE Uniformiteit: In tegenstelling hiertoe zijn de DUE-rates relatief uniform over bitposities, aangezien ze vaak worden getriggerd door adrescorruptie, ongeacht de specifieke geflipte bit.

5. Operator en Laag Analyse

• Operator Kwetsbaarheid: De lm head (outputlaag) is consistent de meest kwetsbare component in alle modellen. LayerNorm is de meest robuuste.
• Laagverdeling: Kwetsbaarheid is niet uniform over de lagen. Hoewel de algehele distributievorm vergelijkbaar blijft naarmate modellen schalen, vertonen specifieke "piek"-lagen (bijv. vroege lagen of specifieke tussenliggende lagen) aanzienlijk hogere foutpercentages in grotere modellen.

Betekenis en Claims

Het artikel claimt de eerste directe verbinding te bieden tussen transiënte hardwarefouten en de hoog-niveau LLM-betrouwbaarheid via instructie-niveau foutinjectie. De betekenis van dit werk ligt in:

• Nieuwe Inzichten: Het onthult dat de veerkracht van LLM's substantieel verschilt van eerdere CNN-modellen, gedreven door unieke architecturale kenmerken zoals normalisatiestrategieën en operator fusion.
• Ontwerprichtlijnen: De bevindingen informeren het ontwerp van effectievere fouttolerantiemechanismen. Specifiek suggereren de auteurs dat beschermingsstrategieën selectief moeten zijn: prioriteit geven aan de lm head en hoog-orde bits (vooral bit 30), terwijl de bescherming voor LayerNorm en laag-orde bits potentieel kan worden versoepeld om overhead te verminderen.
• Schaalbaarheidswaarschuwing: De studie benadrukt dat het simpelweg opschalen van parameters geen panacee is voor betrouwbaarheid; het kan in feite de kwetsbaarheid in specifieke lagen en taken verergeren, wat een gezamenlijke overweging van taalkarakteristieken en fouttolerantiemechanismen noodzakelijk maakt.

De auteurs concluderen dat hun framework en empirische observaties het kwantitatieve, instructie-niveau bewijs leveren dat essentieel is voor het beoordelen en vergelijken van de betrouwbaarheid van LLM-inferentiesystemen in real-world GPU-omgevingen.