🤖 AI

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

IMMACULATE is een praktisch auditingkader dat economisch gemotiveerde afwijkingen bij black-box grote taalmodellen detecteert via verifieerbare berekening, zonder dat er toegang is tot de modelinterne logica of vertrouwde hardware nodig is.

Oorspronkelijke auteurs: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Gepubliceerd 2026-02-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een dure taxi neemt. Je betaalt per kilometer, en de chauffeur zegt: "Ik heb de snelste, meest comfortabele auto gebruikt en ik heb precies 10 kilometer gereden." Maar wat als de chauffeur in feite een oude, langzamere auto heeft gebruikt, of 15 kilometer heeft gereden en je daarvoor betaalt? In de wereld van kunstmatige intelligentie (AI) gebeurt dit nu. Bedrijven bieden AI-modellen aan via een "zwarte doos": je ziet niet hoe het werkt, je ziet alleen het antwoord. Je moet blindelings vertrouwen dat ze eerlijk zijn.

Het artikel "IMMACULATE" introduceert een slimme manier om deze chauffeurs (de AI-bedrijven) te controleren, zonder dat je de motor van hun auto hoeft te openen of speciale dure apparatuur nodig hebt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Zwarte Doos"

Vandaag de dag draaien de slimste AI's op servers van grote bedrijven. Je stuurt een vraag, en ze sturen een antwoord terug. Ze zeggen: "We hebben dit met ons duurste, snelste model gedaan."

Het risico: Het bedrijf zou kunnen liegen. Ze zouden een goedkoper, slomer model kunnen gebruiken (om geld te besparen) of ze kunnen zeggen dat je meer "woorden" (tokens) hebt gebruikt dan je eigenlijk hebt (om meer geld te vragen). Omdat je de binnenkant niet ziet, kun je dit normaal gesproken niet zien.

2. De Oplossing: De "Willekeurige Controle"

Stel je voor dat er een inspecteur rondloopt die willekeurige taxi's stopt. Als de inspecteur elke taxi zou controleren, zou het verkeer vastlopen en zou het te duur zijn.
IMMACULATE gebruikt een slimme truc: Willekeurige steekproeven.

De inspecteur (de auditor) doet net als een normale klant.
Hij vraagt soms een vraag.
Als de AI-bedrijf een antwoord geeft, zegt de inspecteur: "Wacht even, ik ben een inspecteur. Bewijs dat je eerlijk hebt gewerkt."
Omdat het bedrijf niet weet welke vragen gecontroleerd worden, durft het niet om te liegen. Als ze op 10% van de vragen liegen, is de kans groot dat ze op een van de gecontroleerde vragen betrapt worden.

3. De Uitdaging: Computers zijn niet altijd 100% identiek

Je zou denken: "Laat ze gewoon de berekening opnieuw doen en kijken of het antwoord hetzelfde is."
Maar computers zijn niet perfect. Net als twee mensen die dezelfde taak doen, kunnen kleine verschillen in de berekening (door de snelheid van de processor) leiden tot een heel ander antwoord. Dit maakt het moeilijk om te zeggen: "Jij hebt liegen, want dit antwoord is net iets anders."

4. De Geniale Truc: De "Logit Afstands-kaart" (LDD)

Hier komt de creatieve kern van IMMACULATE. In plaats van te kijken of het exacte antwoord hetzelfde is, kijken ze naar de voorbereiding van het antwoord.

Stel je voor dat de AI een schilderij maakt.

De eerlijke methode: De schilder (het AI-model) maakt eerst een schets (de "logits" of de basisideeën) en kijkt dan welke verf hij kiest.
De leugen: Als het bedrijf een goedkoper model gebruikt, is de schets heel anders. Als ze de verf te dun maken (kwantisatie), is de schets wazig.

IMMACULATE vraagt het bedrijf om de schets te tonen die ze hebben gebruikt, maar dan op een manier die bewijst dat ze het niet hebben vervalst. Ze vergelijken de schets van de AI met een "ideale, perfecte schets" (een referentie).

Als de AI eerlijk is, is het verschil tussen de echte schets en de perfecte schets heel klein en willekeurig (zoals een kleine trilling in je hand).
Als de AI liegt (goedkoper model gebruikt), is het verschil groot en gestructureerd (zoals iemand die een heel ander schilderij probeert na te bootsen).

Ze noemen dit de Logit Distance Distribution (LDD). Het is als het meten van hoe ver de "trilling" van de hand afwijkt van de perfecte lijn. Als de trilling te groot is, weten ze dat er iets mis is.

5. Waarom is dit zo goed?

Geen dure apparatuur nodig: Je hebt geen speciale beveiligde chips nodig (zoals bij andere methoden).
Snel en goedkoop: Omdat ze maar een heel klein beetje vragen controleren (bijvoorbeeld 1 op de 10.000), kost het de AI-bedrijven bijna geen tijd of geld. Het is alsof je 1 op de 10.000 taxi's stopt; dat vertraagt het verkeer niet.
Betrouwbaar: Zelfs als een bedrijf probeert te liegen, zullen ze op een gegeven moment betrapt worden omdat ze niet kunnen voorspellen welke vragen gecontroleerd worden.

Samenvatting in één zin

IMMACULATE is een slimme "politieagent" voor AI-bedrijven die willekeurig vraagt: "Bewijs dat je eerlijk hebt gewerkt door je berekenings-stappen te tonen," zodat je weet dat je niet wordt opgelicht met goedkopere modellen of valse facturen, zonder dat het de AI-bedrijven veel tijd of geld kost.

Het zorgt ervoor dat de "zwarte doos" van AI eindelijk een beetje transparant wordt, zodat consumenten kunnen vertrouwen op wat ze betalen.

Probleemstelling

Grote Taalmodellen (LLMs) worden tegenwoordig voornamelijk als "black-box" API-services aangeboden. Dit creëert een fundamenteel vertrouwingsprobleem: gebruikers moeten er blindelings op vertrouwen dat de provider de inferentie correct uitvoert en het tokenverbruik eerlijk rapporteert. Er zijn drie hoofdbedreigingen voor de integriteit van deze diensten:

Modelsubstitutie: Providers vervangen het beloofde model door een goedkopere, minder krachtige variant.
Aggressieve kwantisatie: Providers gebruiken een lagere precisie (bijv. FP8 in plaats van BF16) dan beloofd om rekentijd te besparen, wat de outputkwaliteit kan beïnvloeden.
Token-overbilling: Providers rapporteren meer tokens dan daadwerkelijk zijn gebruikt (bijvoorbeeld door tussenliggende "chain-of-thought" tokens te verbergen maar wel te factureren).

Bestaande oplossingen hebben grote tekortkomingen:

Trusted Execution Environments (TEE's): Vereisen specifieke hardware (zoals NVIDIA GPU's met TEE-ondersteuning) en zijn niet compatibel met andere infrastructuur (zoals TPUs of AWS Inferentia).
Cryptografische bewijzen (ZK-proofs): Vereisen vaak dat inferentie beperkt blijft tot gehele getallen (integer-only), wat inefficiënt is op moderne GPU's en onpraktisch maakt voor echte LLM-diensten.
Empirische methoden: Gebrek aan formele garanties en kwetsbaar voor adaptieve aanvallen.

Methodologie: IMMACULATE

IMMACULATE is een auditframework dat de integriteit van black-box LLM-services controleert zonder toegang tot het modelinterieur of vertrouwde hardware. Het combineert geprobeerde verifieerbare berekening met een nieuw statistisch maatstaf.

1. Geautomatiseerde, willekeurige auditing

In plaats van elke aanvraag te verifiëren (wat te duur zou zijn), auditeert het systeem een klein, willekeurig subset van verzoeken.

Principe: Een rationele provider kan alleen profiteren van fraude als deze op een aanzienlijk deel van de verzoeken afwijkt. Als de provider op een willekeurige steekproef eerlijk kan bewijzen dat hij correct werkt, wordt hij als betrouwbaar beschouwd.
Kosten: De cryptografische overhead wordt hierdoor verwaarloosbaar (geamortiseerd over miljarden dagelijkse inferenties).

2. Logit Distance Distribution (LDD)

Een grote uitdaging bij het verifiëren van LLM's is de niet-deterministische aard van zwevendekommaberekeningen op GPU's. Zelfs een eerlijke server kan niet exact dezelfde bits opleveren als een referentie.

Oplossing: In plaats van exacte bit-overeenkomst te eisen, definieert IMMACULATE een Logit Distance Distribution (LDD).
Werkingsprincipe:
- De server commit (vastlegt) de logits (de ruwe uitkomsten voor tokenselectie) bij elke discrete beslissingstap.
- De auditor vergelijkt deze logits met die van een ideale, full-precision referentie.
- Het systeem meet de afstand (bijv. KL-divergentie of Total Variation distance) tussen de logits van de uitgevoerde server en de referentie.
Discriminatie:
- Eerlijke uitvoering: De afstanden zijn klein en volgen een stabiele verdeling door willekeurige numerieke ruis.
- Fraude (Modelsubstitutie/Kwantisatie): Leidt tot gestructureerde, systematische afwijkingen. Dit resulteert in een verhoogde "staart" (tail) in de verdeling van de afstanden (d.w.z. veel grotere afstanden dan normaal).

3. Verifieerbare Berekening (VC) en Commitments

Bij het opstarten commit de provider cryptografisch aan het beloofde full-precision model.
Tijdens inferentie commit de server aan de logits bij elke stap.
Voor een geauditeerd verzoek bewijst de server via VC dat de berekende LDD consistent is met de gecommitteerde logits en het referentiemodel, zonder de modelparameters te onthullen.

Belangrijkste Bijdragen

IMMACULATE Framework: Een praktisch systeem voor black-box auditing dat geen GPU-TEE's vereist en compatibel is met bestaande inferentie-infrastructuur.
Logit Distance Distribution (LDD): Een nieuwe metriek die de benaderingsnauwkeurigheid kwantificeert onder numerieke niet-determinisme, waardoor verificatie mogelijk is zonder bit-voor-bit reproduceerbaarheid.
Efficiëntie en Schaalbaarheid: Bewijs dat het systeem slechts ~1% throughput-overhead introduceert voor eerlijke providers, terwijl het toch sterke detectiegaranties biedt.
Open Source: De implementatie is gepubliceerd en gebaseerd op vLLM.

Resultaten

De auteurs hebben IMMACULATE getest op diverse modellen (LLaMA3-70B, Qwen3, DeepSeek-V2) en datasets (GSM8K, TriviaQA, WebQuestions).

Detectiekracht:
- Modelsubstitutie: Wordt zeer betrouwbaar gedetecteerd (detectieprobabiliteit > 40% per verzoek, vaak >90% voor specifieke modellen).
- Aggressieve kwantisatie (FP8): Wordt gedetecteerd door de toename van de "staart" in de LDD-verdeling (detectieprobabiliteit varieert van ~1% tot 10% per verzoek, afhankelijk van het model).
Foutpositieven: De kans dat een eerlijke server ten onrechte wordt afgewezen is extreem laag (< $10^{-5}$ ), dankzij Extreme Value Theory (EVT) voor het modelleren van de zeldzame uitschieters.
Overhead:
- De throughput-overhead voor een eerlijke server is < 1%.
- Hoewel Verifieerbare Berekening (VC) op CPU-TEE's honderden keren trager is dan GPU-inferentie, is de totale kostenimpact verwaarloosbaar omdat slechts een zeer klein deel van de verzoeken (minder dan 0,01%) wordt geverifieerd.
Statistische garanties: Met een dagelijkse audit van ~3.000 verzoeken kan een server die op 10% van de verzoeken fraudeert met een hoge waarschijnlijkheid worden ontdekt binnen een maand.

Betekenis en Conclusie

IMMACULATE biedt een praktische oplossing voor het "trust asymmetry"-probleem in de LLM-industrie. Het stelt gebruikers in staat om providers te controleren op economisch gemotiveerde fraude zonder in te breken op de intellectuele eigendom van het model of afhankelijk te zijn van dure, specifieke hardware.

De paper toont aan dat het mogelijk is om een evenwicht te vinden tussen economische efficiëntie, privacy (geen blootlegging van modelparameters) en robustheid (wiskundige garanties). Dit vormt een belangrijke stap naar meer transparantie, verantwoording en vertrouwen in commerciële AI-diensten, en opent de deur voor een nieuwe klasse van auditframeworks die gebaseerd zijn op verifieerbare berekening en statistische detectie.