💻 informatica

Auditable Release Assurance for Quantized LLM Deployment Configurations: Anytime-Valid Non-Inferiority and Executable Certificates

Dit artikel introduceert een controleerbaar, op elk moment geldig statistisch kader met uitvoerbare certificaten om rigoureus te beslissen of gekwantiseerde grote taalmodellen niet-inferieur zijn aan referentieconfiguraties over specifieke implementatieomgevingen, waardoor het risico op valse certificering wordt beheerst terwijl flexibele, configuratiespecifieke releaseverzekering wordt ondersteund.

Oorspronkelijke auteurs: Myunglae Jo, Donghyun Kim, Changhan Son, Minseong Park, Il-Hyuk Yu, Hyungkwang Lim

Gepubliceerd 2026-11-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Myunglae Jo, Donghyun Kim, Changhan Son, Minseong Park, Il-Hyuk Yu, Hyungkwang Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van moderne kunstmatige intelligentie wordt een groot taalmodel vaak behandeld als één enkel, monolithisch brein. Om deze krachtige systemen echter op alledaagse apparaten zoals laptops of smartphones te laten draaien, moeten ingenieurs ze verkleinen. Dit proces, bekend als kwantisatie, comprimeert de enorme interne gegevens van het model om ruimte te besparen en berekeningen te versnellen. Maar compressie is een risicovolle afweging. Net zoals een foto detail verliest wanneer deze wordt gecomprimeerd naar een kleiner bestand, kan een gecomprimeerd AI-model het vermogen verliezen om vragen correct te beantwoorden of instructies nauwkeurig op te volgen. De kernuitdaging voor ontwikkelaars is precies weten wanneer een gecomprimeerde versie goed genoeg is om het origineel te vervangen. Als zij een model uitbrengen dat slechts een klein beetje slechter is, kunnen de gevolgen variëren van frustrerende gebruikersfouten tot kritieke fouten in veiligheidgevoelige toepassingen. De industrie vertrouwt al lang op eenvoudige gemiddelden om deze beslissingen te nemen, maar gemiddelden kunnen gevaarlijke gebreken verbergen, waardoor het onzichtbaar blijft dat een model zelfs bij een acceptabele algemene score spectaculair kan falen op specifieke, belangrijke taken.

Een team van onderzoekers heeft een nieuwe, rigoureuze methode ontwikkeld om dit probleem op te lossen, waarbij ze een digitale "kwaliteitspoort" creëren die fungeert als een gecertificeerd keurmerk voor gecomprimeerde AI-modellen. In plaats van te vertrouwen op één enkele testscore, behandelt hun aanpak de release van een model als een formele softwarekwaliteitsbeslissing die controleerbaar en wiskundig bewezen moet zijn. Ze hebben een systeem ontworpen dat een gecomprimeerd model item voor item vergelijkt met de originele, ongecomprimeerde versie. In plaats van alleen te vragen: "Is de gemiddelde score lager?", stelt het systeem een preciezere vraag: "Is het aantal fouten op specifieke taken hoger dan een vooraf overeengekomen limiet?" Deze limiet, of foutmarge, wordt door de ontwikkelaars ingesteld voordat het testen begint. Het systeem voert vervolgens een statistische controle uit die hen in staat stelt om vroegtijdig te stoppen met testen als het model duidelijk veilig is, of door te gaan met testen totdat ze er absoluut zeker van zijn, zonder ooit het risico op een vals goedkeurende beslissing te vergroten.

De onderzoekers testten deze methode op twaalf verschillende scenario's met echte modellen die draaien op daadwerkelijke hardware, waaronder NVIDIA Jetson-apparaten en Apple Mac-computers. Ze ontdekten dat de oude manier van testen vaak subtiele maar significante problemen miste. Zo kan een gecomprimerd model bijvoorbeeld dezelfde gemiddelde nauwkeurigheid hebben als het origineel, terwijl het in werkelijkheid op bijna twintig procent van de vragen volkomen andere antwoorden geeft. De nieuwe methode vangt deze "flips" in juistheid op, waardoor wordt gewaarborgd dat het gecomprimeerde model consistent handelt met het origineel. In hun simulaties slaagde het nieuwe systeem erin om het percentage valse goedkeuringen onder controle te houden, waarbij het risico op het certificeren van een slecht model onder de vijf procent hield, zelfs wanneer het testen voortijdig werd gestopt of meerdere keren werd herhaald. Dit niveau van controle is cruciaal omdat het teams voorkomt dat ze het systeem "bespelen" door tests steeds opnieuw uit te voeren totdat ze een gelukkig resultaat krijgen dat er goed uitziet.

Een cruciale ontdekking in dit werk is dat de prestaties van een gecomprimeerd model niet alleen afhangen van het modelbestand zelf; het is diep verbonden met de specifieke omgeving waarin het draait. De onderzoekers ontdekten dat exact hetzelfde gecomprimeerde modelbestand heel anders kan presteren afhankelijk van of het op een Mac of een NVIDIA-apparaat draait, of zelfs op verschillende versies van de software engine die het aandrijft. In één opvallend geval produceerde hetzelfde modelbestand op slechts achttachtig-acht procent van de vragen dezelfde juiste antwoorden wanneer het van de ene machine naar de andere werd verplaatst. Dit betekent dat een kwaliteitscertificaat dat voor een model op de ene computer is afgegeven, niet vertrouwd kan worden op een andere computer. De oplossing van de onderzoekers bindt het kwaliteitscertificaat aan de gehele "deployment configuratie"—de specifieke combinatie van het modelbestand, de hardware, de software engine en de gebruikte instellingen. Dit zorgt ervoor dat de garantie specifiek is voor de exacte opstelling die wordt gebruikt, in plaats van een vage belofte over het model in het algemeen.

Het systeem introduceert ook een "lifetime ledger" (levensloopboekhouding) om het risico in de loop van de tijd te beheren. In een typische ontwikkelingscyclus testen ingenieurs mogelijk veel verschillende versies van een model, waarbij ze de versies die er slecht uitzien weggooien en de versies die er goed uitzien houden. Dit proces van selectie kan onbedoeld het risico op het vrijgeven van een gebrekkig model vergroten, omdat het team wellicht gewoon het gelukkigste testresultaat heeft gekozen. Het nieuwe protocol houdt hier rekening mee door het totale toegestane risicobudget te verdelen over alle geteste kandidaten en alle releases gedurende de levensduur van het project. Als een team acht verschillende versies test, zorgt het systeem ervoor dat de kans op het vals goedkeuren van een slecht model laag blijft, ongeacht hoe vaak ze het proberen. Dit creëert een transparant verslag waarbij elke beslissing om een model vrij te geven wordt ondersteund door een ondertekend, reproduceerbaar certificaat dat een onafhankelijke derde partij kan verifiëren.

Uiteindelijk biedt dit werk een praktische, end-to-end workflow voor de veilige implementatie van gecomprimeerde AI. Het beweegt de industrie weg van giswerk en eenvoudige gemiddelden naar een systeem van geverifieerd, controleerbaar bewijs. Door te bewijzen dat een gecomprimeerd model niet significant slechter is dan het origineel binnen een gedefinieerde marge, en door dat bewijs te binden aan de specifieke hardware en software waarop het draait, hebben de onderzoekers een betrouwbare standaard voor softwarekwaliteit gecreëerd. De methode beweert niet dat het gecomprimeerde model perfect is of dat het voor elke mogelijke taak zal werken; het biedt eerder een duidelijke, begrensde garantie dat het model veilig is voor gebruik voor de specifieke doeleinden waarvoor het is getest. Deze aanpak stelt ontwikkelaars in staat om hun AI-modellen met vertrouwen te verkleinen voor edge-apparaten, wetende dat de afwegingen zijn gemeten, vastgelegd en gecertificeerd met wiskundige precisie.

Technische Samenvatting: Controleerbare Release-assurance voor de Implementatie van Gekwantiseerde LLM-configuraties

1. Probleemstelling

Het implementeren van een gekwantiseerd Large Language Model (LLM) is niet louter een update van modelgewichten, maar een complexe beslissing met betrekking tot de softwarekwaliteit van een release, waarbij de volledige implementatieconfiguratie betrokken is (gewichten, kwantiseringsformaat, inference engine, runtime libraries, hardware, tokenizer en generatieparameters). Huidige releasepraktijken vertrouwen vaak op single-point benchmarkvergelijkingen (bijv. gemiddelde nauwkeurigheidsverschillen), die er niet in slagen om het percentage foutieve certificeringen te beheersen onder adaptieve evaluatie, optioneel stoppen of herhaald testen.

Het kernprobleem is het gebrek aan een begrensde, controleerbare poort om te beslissen of een kandidaat-gekwantiseerde configuratie ( $q$ ) een referentieconfiguratie ( $b$ ) kan vervangen zonder de verklaarde non-inferioriteitsmarge ( $\epsilon$ ) en een budget voor foutieve certificering ( $\delta$ ) te overschrijden. Bestaande heuristieken houden geen rekening met:

Optioneel Stoppen: Teams die itereren op benchmarks totdat de resultaten acceptabel lijken, wat de percentages fout-positieven opblaast.
Configuratiespecificiteit: Dezelfde modelartefact kan verschillend presteren over verschillende hardware, engine-builds of kwantiseringsbackends.
Item-niveau Discordantie: Geaggregeerde veranderingen in nauwkeurigheid kunnen significante veranderingen op item-niveau maskeren (bijv. een netto verandering van 0% die verbergt dat 10% van de items is omgeslagen van correct naar incorrect en vice versa).

2. Methodologie en Protocol

Het paper stelt Protocol 3.1 voor, een end-to-end workflow voor softwarekwaliteit die statistische strengheid combineert met uitvoerbare bewijslastbinding.

2.1 Probleemformalisering

Deployment Configuration (DCP): Gedefinieerd als een tupel $C = (M, Q, E, S, H, I, G, V)$ dat model, kwantisering, engine, runtime, hardware, tokenizer, generatieparameters en evaluator omvat.
Non-Inferiority Certificering: De nulhypothese is $H_0: \Delta \ge \epsilon$ (het gekwantiseerde model is inferieur buiten de tolerantie). Certificering vereist het verwerpen van $H_0$ op niveau $\delta$ .
Gepaarde Uitkomsten: De methode gebruikt gepaarde item-niveau uitkomsten $d(x) = m(b(x)) - m(q(x)) \in \{-1, 0, 1\}$ , waarbij $-1$ een gunstige verandering is, $0$ geen verandering is, en $1$ een schadelijke verandering is. Dit gepaarde ontwerp vermindert de variantie in vergelijking met ongepaarde tests.

2.2 Twee Steekproefregimes

Het protocol ondersteunt twee verschillende estimanden, elk met specifieke validiteitsgaranties:

R1 (Superpopulatie): Items worden i.i.d. getrokken uit een taakdistributie $D$ $D$ . Het doel is om de verwachte degradatie $\Delta = E_D[d(x)]$ $Δ = E_{D} [d (x)]$ te certificeren voor toekomstige verzoeken.
- Methode: Gebruikt een e-proces (welvaartsproces) gebaseerd op wedden tegen de nulhypothese. Het ondersteunt anytime-valid inferentie, waardoor de auditor op elk datariënt-afhankelijk tijdstip kan stoppen terwijl de $\delta$ -garantie behouden blijft via de ongelijkheid van Ville.
R2 (Vaste Audit Frame): Het doel is de gemiddelde degradatie $\bar{\Delta}_N$ $\overset{ˉ}{Δ}_{N}$ over een vastgestelde, eindige set van $N$ $N$ items die in een vooraf vastgestelde, uniform willekeurige volgorde zonder teruglegging zijn geïnspecteerd.
- Methode: Gebruikt een conditioneel e-proces dat wedt tegen het conditionele nulgemiddelde van de resterende items. Het bevat een terminale censusregel: als het welvaartsproces de drempelwaarde niet kruist bij $t=N$ , wordt de gehele frame geëvalueerd, en is de beslissing deterministisch op basis van het exacte framegemiddelde. Dit garandeert certificering voor alle werkelijk non-inferiere eindige populaties tegen $t=N$ .

2.3 Uitvoerbare Assurance en Binding

Om controleerbaarheid te waarborgen en "marge-shoppen" of verborgen kandidaatselectie te voorkomen:

Getekende Certificaten: De output is een ondertekend JSON-document dat de deploymentprofielen, taak/evaluator-manifesten, audit frame, selectieregels en de geordende per-item records bindt.
Pre-commitment: De inspectievolgorde moet vaststaan voordat de uitkomsten worden waargenomen. Voor adaptieve selectie (bijv. het kiezen van de beste van $K$ kandidaten), moet de selectieregel en het bewijs worden vastgesteld voordat de audit-permutatie wordt gegenereerd (met behulp van publieke randomiteit of een deterministische seed).
Reproduceerbaarheid: Een onafhankelijke derde partij kan een verifieerder draaien om het welvaartsproces, betrouwbaarheidssequenties en de uiteindelijke beslissing te herberekenen vanuit de verstrekte bestanden.
Risicoallocatie: Het protocol implementeert een levensduur risicoregister ( $\sum \delta_r \le \delta_{lifetime}$ ) en handelt kandidaatselectie af via Bonferroni-correctie ( $\delta/K$ ) of holdout-strategieën om risico-inflatie te voorkomen.

3. Belangrijkste Bijdragen

Software-kwaliteit Release Criterium: Een formele definitie voor het certificeren van een volledige deploymentconfiguratie (niet alleen gewichten) tegen een referentie onder een specifieke tolerantie ( $\epsilon$ ) en risico ( $\delta$ ) beperking.
Anytime-Valid Statistisch Protocol: Een gepaard non-inferioriteitsprotocol gebruikmakend van e-processen die foutieve certificering controleert onder optioneel stoppen (R1) en inspectie zonder teruglegging (R2), inclusief een terminale censusregel voor eindige frames.
Uitvoerbare Assurance Evidence: Een ondertekend, reproduceerbaar certificaatformaat dat de beslissing bindt aan specifieke configuratievingerafdrukken, taakbestanden en randomisatie-seeds, wat onafhankelijke verificatie van de gehele release-logica mogelijk maakt.
Empirische Validatie: Evaluatie op twaalf gemeten model-taak-kwantiseringspopulaties op NVIDIA Jetson Orin Nano en Mac-configuraties, waarbij wordt aangetoond dat de geobserveerde foutieve certificeringspercentages overeenkomen met de gestelde budgetten.
Configuratiespecifieke Evidence: Empirische demonstratie dat identieke modelartefacten materieel verschillende resultaten kunnen produceren over verschillende machine/build-configuraties (tot 11,8% verschil in voorspelling), wat certificaten noodzakelijk maakt die gebonden zijn aan configuraties in plaats van enkel aan modelbestanden.

4. Resultaten en Observaties

Foutpercentage Controle: In simulaties binnen de nulregio ( $\Delta \ge \epsilon$ ), was het maximaal geobserveerde foutieve certificeringspercentage 3,8% voor een budget van 5%, consistent met de theoretische garanties.
Efficiëntie: Het gepaarde ontwerp vermindert de variantie aanzienlijk. Op gemeten populaties was de variantie van het gepaarde verschil 2,4 tot 78 keer kleiner dan de ongepaarde twee-steekproef variantie.
Vroegtijdig Stoppen: Voor duidelijk non-inferiere configuraties stopte het R2-protocol vaak vroegtijdig (bijv. mediaan van 167 items voor een frame van 500 items). Echter, voor configuraties nabij de grens (bijv. degradatie van 2,8% versus $\epsilon=3\%$ ), was het vaak nodig om de gehele frame uit te putten om een beslissing te bereiken.
Discordantie versus Netto Degradatie: De studie vond dat netto nauwkeurigheidsveranderingen klein kunnen zijn terwijl de item-niveau discordantie hoog is (bijv. 21% van de items die van status wisselen met een netto verandering van slechts 2,7%). Het protocol houdt hier rekening mee via de gepaarde structuur.
Configuratiesensitiviteit:
- Backend Interactie: Binnen een enkele machine had het wijzigen van de inference backend (CUDA versus CPU) een verwaarloosbaar effect op de precisie (interactie-effect -0,2pp).
- Machine/Build Sensitiviteit: Het wijzigen van de machine of engine-build veroorzaakte significante verschuivingen (bijv. 11,8% verschil in voorspelling tussen Jetson en Mac builds van hetzelfde artefact). Dit valideert de vereiste voor certificaten die gebonden zijn aan specifieke hardware en build-configuraties.
Resource Trade-offs: Kwantisering (bijv. Q8, Q4) leverde significante doorvoersnelheidswinsten (1,6x–3,4x) en bestandsgrootte-reducties (1,9x–3,1x) op edge-apparaten, met meetbare, certificeerbare kwaliteitskosten.

5. Betekenis en Claims

De auteurs stellen expliciet dat zij geen claim leggen op de nieuwheid van de individuele statistische componenten (gepaarde tests, non-inferioriteitstesten, e-processen of kwantiseringsevaluatie) op zichzelf.

De primaire bijdrage van het paper is de end-to-end compositie van deze elementen in een workflow voor de release van softwarekwaliteit. Dit omvat:

Een eenzijdige release-criterium die de bewijslast legt bij het gecomprimeerde model.
Expliciete controle van optioneel stoppen en kandidaatselectie.
Configuratie- en bewijslastbinding om "marge-shoppen" te voorkomen en reproduceerbaarheid te garanderen.
Een re-certificeringscyclus die drift en configuratiewijzigingen afhandelt.

Het werk biedt een mechanisme voor relatieve release-evidence. Het certificeert dat een specifieke configuratie non-inferieur is aan een specifieke referentie onder een specifieke marge en budget. Het claimt expliciet niet een absolute taakgeschiktheids-certificering, een productie-gereedheid garantie, of een bewijs van veiligheid tegen adversariële inputs. De geldigheid van het certificaat is strikt beperkt tot de geregistreerde deploymentconfiguratie en de vastgestelde taakdistributie of audit frame.