Hidden Reliability Risks in Large Language Models: Systematic Identification of Precision-Induced Output Disagreements

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker uitgevoerd met verschillende numerieke precisieconfiguraties om aan efficiëntie- en resourcebeperkingen te voldoen. Dit varieert van standaard zwevendekommavormaten (zoals bfloat16 en float16) tot gekwantiseerde gehele getallen (zoals int16 en int8).

Het huidige probleem is dat bestaande evaluatiemethoden vaak aannemen dat precisiewijzigingen functioneel onschuldig zijn. In werkelijkheid kunnen kleine numerieke inconsistenties tussen modellen met verschillende precisies leiden tot onopgemerkte gedragsverschillen. Een model dat veilig gedraagt onder één precisie (bijvoorbeeld tijdens de ontwikkeling of veiligheidscontrole), kan onder een andere precisie (bijvoorbeeld tijdens de productie-inferentie) schadelijke antwoorden genereren. Deze "jailbreak-divergentie" wordt niet opgepikt door traditionele tests die slechts één precisieconfiguratie testen.

Methodologie: PrecisionDiff

De auteurs introduceren PrecisionDiff, het eerste geautomatiseerde differentiële testframework om door precisie veroorzaakte gedragsinconsistenties in LLMs op te sporen. Het framework behandelt hetzelfde model, uitgevoerd onder twee verschillende precisieconfiguraties ($p_1$ en $p_2$), als aparte implementaties en zoekt systematisch naar invoer die tot afwijkende uitkomsten leidt.

Het proces bestaat uit twee hoofdfasen:

1. Differentieel Testen (Dual-Precision Joint Optimization):

   • Doel: Het vinden van een adversarische suffix ($x_{adv}$) die aan een schadelijke prompt ($x_{user}$) wordt toegevoegd, zodanig dat het model onder precisie $p_1$ een veilig antwoord geeft (weigering), maar onder precisie $p_2$ een schadelijk antwoord genereert (jailbreak).
   • Techniek: Het framework gebruikt een dual-precision gezamenlijke optimalisatiestrategie. In plaats van alleen te optimaliseren voor een jailbreak onder één precisie, minimaliseert het een gezamenlijke verliesfunctie:
     $$\min_{x_{adv}} [ \mathcal{L}(f^{(p_2)}_\theta(x), y_{harm}) + \lambda \mathcal{L}(f^{(p_1)}_\theta(x), y_{safe}) ]$$
     Hierbij wordt gestreefd naar een schadelijke uitkomst in het doelmodel ($p_2$) terwijl tegelijkertijd een veiligheidsdoel ($y_{safe}$) wordt gehandhaafd in het referentiemodel ($p_1$).
   • Zoekstrategie: Omdat tokens discreet zijn, worden geen directe gradient-updates gebruikt. In plaats daarvan wordt een momentum-geleide zoektocht (gebaseerd op GCG - Greedy Coordinate Gradient) toegepast. De gradienten van beide precisies worden geaggregeerd om tokens te selecteren die zich op de rand van de numerieke stabiliteit bevinden.

2. Root-Cause Analyse (Layer-wise Divergence Localization):

   • Om te begrijpen waar in het netwerk de fouten ontstaan, voeren de auteurs een laag-voor-laag analyse uit.
   • Ze berekenen de Mean Absolute Difference (MAD) en de Relative Divergence Lift (RL) tussen de activaties van de twee precisie-versies.
   • Dit identificeert specifieke "kritieke lagen" waar numerieke fouten het sterkst worden versterkt.

Belangrijkste Bijdragen

1. Nieuw Framework: Presentatie van PrecisionDiff, een generiek framework voor het detecteren van precisie-gevoelige inconsistenties in LLMs.
2. Onthulling van een Nieuw Risico: Het aantonen dat numerieke precisie een kritieke, maar tot nu toe over het hoofd geziene bron van veiligheidsfalen is. Zelfs kleine numerieke afwijkingen kunnen de veiligheidsgrenzen van het model verschuiven.
3. Superieure Detectie: Het bewijzen dat PrecisionDiff aanzienlijk beter presteert dan bestaande methoden (zoals standaard GCG, fuzzing of genetische algoritmen) bij het vinden van deze specifieke kwetsbaarheden.
4. Inzicht in Mechanismen: Identificatie van de architecturale locaties (zoals input-lagen, attention-mechanismen en output-modules) waar precisie-gevoeligheid het grootst is.

Resultaten

De auteurs hebben PrecisionDiff getest op vijf open-source, uitgelijnde LLMs (o.a. Llama-2, Llama-3, Mistral, Vicuna, Guanaco) met verschillende precisie-overgangen (BF16 vs FP16, INT16 vs INT8).

• Algemene Prevalentie: Precisie-geïnduceerde divergentie is wijdverspreid. De detectiesuccespercentages variëren van 68,0% (Llama-2 bij BF16 vs FP16) tot 100,0% (bij INT16 vs INT8 overgangen).
• Vergelijking met Baselines:
  • PrecisionDiff overtreft de standaard GCG-methode significant. Op Vicuna-7B is de succesrate 1,4x hoger (72% vs 50%) en op Llama-2-7B zelfs 8,5x hoger (68% vs 8%).
  • Traditionele methoden zoals fuzzing en genetische algoritmen hadden succespercentages rond de 8% of lager, omdat ze de nauwe "precisie-gevoelige" randen in de hoge-dimensionale invoerruimte niet kunnen vinden.
• Categorie Analyse: De kwetsbaarheid varieert per type schadelijke inhoud. Cybercrime en malware zijn het meest vatbaar (succesrate >90%), terwijl misinformatie en illegale stoffen iets robuuster lijken, hoewel ze nog steeds kwetsbaar zijn.
• Efficiëntie: Hoewel PrecisionDiff ongeveer 1,88x meer rekentijd per iteratie kost (door het laden van twee modelkopieën), is het in totaal sneller of even snel omdat het veel minder iteraties nodig heeft om een jailbreak te vinden.

Significantie en Implicaties

• Veiligheid in Productie: Veel modellen worden getraind en getest op hoge precisie (BF16), maar gedeployed op lagere precisie (INT8/FP16) voor kostenbesparing. Dit onderzoek toont aan dat deze overgang veiligheidsbarrières kan omzeilen zonder dat er een nieuwe "prompt" nodig is; de verandering in numerieke precisie is voldoende.
• Embodied AI en Autonome Agenten: Voor systemen die fysieke acties uitvoeren of autonome beslissingen nemen, kunnen deze precisie-gebaseerde jailbreaks leiden tot gevaarlijke fysieke acties of het verspreiden van schadelijke instructies in geautomatiseerde pipelines.
• Aanbevelingen voor Ontwikkeling:
  • Selectieve Precisie-verhoging: De analyse toont aan dat divergentie voornamelijk wordt versterkt in de input-lagen, de attention-projecties ($W_Q, W_K$) en de output-lagen. Het is raadzaam om deze specifieke lagen in hogere precisie te houden, terwijl tussenliggende lagen gekwantiseerd kunnen blijven.
  • Pre-deployment Evaluatie: PrecisionDiff biedt een tool voor ontwikkelaars om modellen te auditen op precisie-gevoeligheid voordat ze in productie gaan.

Kortom, dit artikel waarschuwt dat numerieke precisie niet slechts een performance-optimalisatie is, maar een fundamentele factor in de betrouwbaarheid en veiligheid van LLMs die systematisch moet worden getest.