🤖 machine learning

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

Dit artikel onthult dat huidige protocollen voor de certificering van cryptografische modellen kwetsbaar zijn voor aanvallen waarbij modellen zich goed gedragen op vaste audit-datasets maar in de praktijk falen door ongeverifieerde generalisatie, en het stelt rigoureuze beveiligingsdefinities en een nieuw protocoltemplate voor om ervoor te zorgen dat gecertificeerde garanties standhouden voor nieuwe data uit dezelfde distributie.

Oorspronkelijke auteurs: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin we een computer kunnen vragen om belangrijke beslissingen te nemen—zoals het goedkeuren van een lening, het diagnosticeren van een ziekte of het beslissen wie een baan krijgt—zonder ooit de "hersenen" van de computer te zien. Dit is de belofte van Privacy-Preserving Machine Learning (Privacy-bewarende Machine Learning). Het is alsof je een chef-kok inhuurt om een geheim familie recept voor je te koken; je wilt het gerecht proeven om te controleren of het heerlijk (nauwkeurig) en eerlijk (niet discriminerend) is, maar je wilt het recept of de ingrediënten niet zien omdat dit de bedrijfsgeheimen van de chef zijn.

Om dit op te lossen, gebruiken wetenschappers Zero-Knowledge Proofs (ZKP's). Denk hierbij aan een goocheltruc waarbij de chef bewijst dat hij het recept perfect heeft gevolgd zonder de ingrediënten aan je te laten zien. Ze gebruiken complexe wiskunde om een "certificaat" te maken dat zegt: "Ik beloof dat dit gerecht voor 99% heerlijk is," en de wiskunde garandeert dat ze niet liegen. Lange tijd nam iedereen aan dat als de wiskunde zei dat het certificaat geldig was, het gerecht overal goed zou smaken, ongeacht wie het at. Maar wat als de chef de goocheltruc kan bedriegen? Wat als de chef een speciale versie van het gerecht bereidt die precies past bij de smaaktester, wetende wat de tester precies zal vragen, terwijl hij aan de rest een volkomen ander (en verschrikkelijk) maaltijd serveert? Dat is de vraag die dit artikel stelt.

De Grote Audit-overval: Gecertificeerd in Theorie, Gebroken in Praktijk

Dit artikel, getiteld "Certified in Theory, Broken in Practice", onthult een sluipend lek in de manier waarop we deze geheime AI-modellen momenteel controleren. De auteurs, een team van onderzoekers van universiteiten en J.P. Morgan, ontdekten dat de "magische certificaten" die worden gebruikt om AI-modellen te verifiëren, gemakkelijk vervalst kunnen worden als de maker van het model van tevoren weet hoe de test eruit zal zien.

De Opzet: De Blinde Proeverij

In de echte wereld, wanneer een bedrijf wil bewijzen dat hun AI eerlijk of nauwkeurig is, huren ze meestal een auditor in. De auditor kiest een lijst met testvragen (een dataset) en vraagt de AI om deze te beantwoorden. De eigenaar van de AI gebruikt vervolgens een Zero-Knowledge Proof om te zeggen: "Kijk, ik heb 99% van deze vragen correct beantwoord, en ik heb niet valsgespeeld!"

Het probleem is dat in veel huidige systemen de eigenaar van de AI de testvragen te zien krijgt voordat ze hun definitieve model vastleggen. Het is alsof een student de exacte examenvragen een week voor het examen krijgt, de antwoorden uit het hoofd leert, en vervolgens een blanco vel papier inlevert dat magisch bewijst dat hij de antwoorden kende.

De Aanval: Koken voor de Rechter

De auteurs laten zien dat een kwaadwillende model-eigenaar hun trainingsdata kan "vervalsen" om de audit te doorstaan, terwijl het model in de echte wereld faalt. Ze noemen dit een Data Forging Attack (Data-vervalsingsaanval).

Zo werkt de truc, gebruikmakend van de analogie van een Decision Tree (beslisboom - een stroomdiagram dat beslissingen neemt):

De Opzet: De auditor geeft de model-eigenaar een specifieke lijst van 1.000 testvragen (de audit-dataset).
De Truc: De model-eigenaar neemt die 1.000 vragen en creëert duizenden "buurpunten" rondom deze punten. Ze voegen deze nieuwe punten toe aan hun trainingsdata, maar ze draaien de antwoorden om (labels) op deze buren. Ze voegen ook een regel toe aan hun model: "Als de vraag exact lijkt op een van de 1.000 testvragen, geef dan het juiste antwoord. Als de vraag er zelfs maar een klein beetje anders uitziet (zoals onze nieuwe buurpunten), geef dan het foute antwoord."
Het Resultaat: Wanneer de auditor de test uitvoert, krijgt het model 99% of zelfs 100% correct omdat het de test heeft uit het hoofd geleerd. De Zero-Knowledge Proof klopt, en het model wordt gecertificeerd als "Hoge Nauwkeurigheid".
Het Verraad: Maar zodra het model wordt ingezet in de echte wereld en nieuwe data ziet (zelfs data die erg lijkt op de testdata), faalt het jammerlijk. In de experimenten uit het artikel daalde de nauwkeurigheid van modellen die met 99% nauwkeurigheid de test doorstonden naar minder dan 30% nauwkeurigheid op nieuwe, verse data.

De auteurs hebben dit ook getest op fairness-audits (eerlijkheidscontroles). Ze lieten zien dat een model perfect eerlijk kan lijken op de testlijst (gelijke goedkeuringspercentages voor verschillende groepen), maar in de echte wereld volkomen oneerlijk kan zijn, waarbij leningen voor specifieke groepen bijna 100% van de tijd wordt geweigerd.

Waarom Simpele Controles Niet Werken

Je zou kunnen denken: "Wacht, zou de auditor niet gewoon kunnen controleren of de trainingsdata op de testdata lijkt?" Het artikel laat zien dat de aanvallers slim genoeg zijn om zelfs standaard statistische tests te misleiden. Door extra kopieën van de testdata toe te voegen aan de trainingsset, zorgt de aanvaller ervoor dat de twee datasets statistisch identiek lijken. Tests zoals de Welch's t-test (een veelgebruikte manier om te zien of twee groepen getallen uit dezelfde bron komen) zouden naar de data kijken en zeggen: "Ja, deze zien er hetzelfde uit!" terwijl het model in wererekelijkheid gemanipuleerd is.

De auteurs voerden simulaties uit op zes verschillende real-world datasets (zoals wanbetalingen bij creditcards en werkgelegenheidsgegevens) en vonden dat deze aanval betrouwbaar werkt. Ze toonden zelfs aan dat de aanval werkt op complexere modellen zoals XGBoost en Neurale Netwerken, en niet alleen op simpele beslisbomen.

De Oplossing: De Verrassingstest

Dus, hoe lossen we dit op? Het artikel stelt een nieuwe manier voor om deze audits uit te voeren, die ze Secure Cryptographic Model Certification (CMC) noemen.

Het kernidee is simpel maar krachtig: de model-eigenaar moet hun model vastleggen voordat ze de testvragen te zien krijgen.

Stel je een spel voor waarbij:

De student (model-eigenaar) schrijft hun antwoorden op een stuk papier en sluit dit in een vergrendelde doos (een cryptografische commitment).
Pas nadat de doos is verzegeld, overhandigt de leraar (auditor) de examenvragen.
De student gebruikt vervolgens het magische bewijs om aan te tonen dat hij de vragen correct heeft beantwoord op basis van wat er in de doos zit.

Omdat de student de vragen niet kon zien toen hij de doos verzegelde, kon hij de antwoorden niet manipuleren. Het artikel bewijst wiskundig dat als je deze "Commit-Sample-Prove" volgorde aanhoudt, het model daadwerkelijk goed moet zijn in de taak, en niet alleen goed in het doorstaan van de test.

Wat Dit Betekent

De auteurs benadrukken dat ze niet beweren dat de oude wiskunde "kapot" is of dat de Zero-Knowledge Proofs zelf fout zijn. De wiskunde werkt perfect; het is alleen de spelregels die gebrekkig waren. De oude regels lieten de model-eigenaar valsspelen door de test van tevoren te kennen.

Dit artikel dient als een waarschuwing. Het laat zien dat voor privacy-bewarende AI die echt betrouwbaar is, we niet alleen kunnen vertrouwen op een eenmalige test met een bekende dataset. We moeten ervoor zorgen dat de test een verrassing is, of we moeten het model continu blijven controleren met verse data. Zonder deze veranderingen riskeren we het inzetten van AI-systemen die gecertificeerd zijn als "perfect", maar in de echte wereld eigenlijk defect zijn.

Technische Samenvatting: Gecertificeerd in Theorie, Gebroken in de Praktijk

Probleemstelling

Het artikel behandelt een kritieke kwetsbaarheid in protocollen voor Cryptographic Model Certification (CMC) die worden gebruikt voor privacy-bewuste machine learning-audits. Hoewel bestaande CMC-frameworks gebruikmaken van zero-knowledge proofs (ZKP's) en cryptografische commitments om modeleigenschappen (bijv. nauwkeurigheid, eerlijkheid, differential privacy) te verifiëren zonder de interne details van het model of de trainingsdata te onthullen, lijden ze aan een fundamentele aannamekloof (assumption gap).

Huidige beveiligingsdefinities certificeren doorgaans dat een model een eigenschap $f$ voldoet op een vaste audit-dataset $S_{audit}$ . Ze falen echter in het garanderen dat deze eigenschap generaliseert naar de onderliggende datadistributie $D$ waaruit $S_{audit}$ is getrokken. De auteurs stellen dat als de modelprovider (prover) de audit-dataset kent vóór het vastleggen (committing) van hun model, zij kunnen overgaan tot data-vervalsingsaanvallen (data forging attacks). Door de trainingsdata zorgvuldig te manipuleren, kan een kwaadwillende provider een model produceren dat de cryptografische audit doorstaat (het vertoont "welwillend" gedrag op $S_{audit}$ ), terwijl het "pathologisch" gedrag vertoont op verse samples uit dezelfde distributie $D$ . Dit creëert een vals gevoel van veiligheid, waardoor modellen kunnen worden ingezet die niet voldoen aan de beoogde garanties in reële scenario's.

Methodologie

1. Dreigingsmodel en Aanvalsspel

De auteurs formaliseren een dreigingsmodel bestaande uit een kwaadwillende modelprovider (prover) en een eerlijke-maar-nieuwsgierige auditor (verifier). Ze introduceren een Adaptive Training with Known Auditing Data-spel (Definitie 3) om de kwetsbaarheid aan te tonen:

Setup: De tegenstander ontvangt een audit-dataset $S_{audit} \sim D^\ell$ .
Doel: De tegenstander geeft een hypothese $h$ $h$ en trainingsdata $S_{train}$ $S_{t r ain}$ uit zodanig dat:
1. Het model de audit doorstaat: $f(h, S_{train}, S_{audit}) = 1$ .
2. Het model faalt op de werkelijke beveiligingseigenschap op de distributie: $F(h, S_{train}) = 0$ .
3. Het model voldoet aan een nutspredicaat $L$ (bijv. het maximaliseren van afwijzingen van claims voor een verzekeraar).

2. Data-vervalsingsaanvallen

Het artikel presenteert drie concrete strategieën voor data-vervalsing die standaard cryptografische verdedigingen (ZKP's en commitments) omzeilen zonder het trainingsproces zelf te wijzigen, maar door de inputdata te manipuleren:

Aanval op Nauwkeurigheid: Met behulp van Algoritme 1 construeert de aanvaller een trainingsset $S'_{train}$ die de auditpunten met correcte labels bevat, aangevuld met $\epsilon$ -geperturbde buren met het tegenovergestelde label. Wanneer getraind op deze data (bijv. Decision Trees tot blad-homogeniteit), bereikt het model perfecte nauwkeurigheid op $S_{audit}$ , maar voorspelt het het tegenovergestelde label voor elk punt buiten de $\epsilon$ -nabijheid van de audit-data, wat resulteert in een bijna nul-nauwkeurigheid op de rest van de distributie.
Aanval op Eerlijkheid: Met behulp van Algoritme 2 manipuleert de aanvaller gevoelige attributen en labels. Op de audit-set worden labels gerandomiseerd om demografische pariteit te garanderen (eerlijk lijken). Op de rest van de distributie leert het model te voorspellen op basis van gevoelige attributen, wat resulteert in maximale oneerlijkheid.
Aanval op Differential Privacy (DP): Met behulp van Algoritme 3 dupliceert de aanvaller specifieke datapunten in de trainingsset. Omdat de DP-gevoeligheid afhangt van de verandering in output wanneer één record wordt gewijzigd, breekt het dupliceren van records de aannames over gevoeligheid, waardoor de aanvaller een model kan trainen met aanzienlijk slechtere privacygaranties dan geclaimd, terwijl het nog steeds een ZKP van een "correcte DP-trainingsprocedure" doorstaat.

3. Statistische Evasie

De auteurs demonstreren dat deze vervalste datasets ononderscheidbaar zijn van eerlijke datasets onder standaard statistische tests. Door voldoende kopieën van de audit-data toe te voegen aan de trainingsset, zorgt de aanvaller ervoor dat de trainingsdata en de audit-data met hoge waarschijnlijkheid voldoen aan de Welch's t-test en de Levene's test (die gelijkheid van gemiddelde en variantie controleren), waardoor statistische detectie ineffectief wordt.

4. Veilige CMC Template

Om deze aanvallen te mitigeren, stelt het artikel een Commit-Sample-Prove protocoltemplate ( $\Pi_{csp}$ ) voor:

Commit: De modelprovider legt eerst hun model $h$ (en optioneel de trainingsdata) vast met behulp van een cryptografisch commitment-schema.
Sample: Pas nadat de commitment is ontvangen, samplet de auditor de audit-dataset $S_{audit}$ uit de distributie $D$ .
Prove: De provider en de auditor voeren een ZKP uit om te verifiëren dat het gecommitteerde model het empirische predicaat $f$ op de nieuw gesamplede $S_{audit}$ voldoet.

Deze volgorde zorgt ervoor dat $S_{audit}$ onafhankelijk is van het model $h$ en de trainingsdata, wat voorkomt dat de provider de data afstemt op de audit-set. De auteurs bieden formele definities voor $\tilde{F}$ -relaxed knowledge soundness, wat garandeert dat als een model de audit doorstaat, het de gewenste eigenschap $F$ op de distributie voldoet (tot een kleine, kwantificeerbare foutmarge afgeleid van concentratie-ongelijkheden).

Belangrijkste Bijdragen

Identificatie van Data-afhankelijke Kwetsbaarheden: Het artikel identificeert dat bestaande CMC-schema's kwetsbaar zijn voor data-vervalsing wanneer de audit-dataset bekend is bij de provider vóór de model-commitment. Deze kloof maakt het mogelijk om modellen te certificeren die "in de praktijk gebroken" zijn, ondanks het doorstaan van theoretische audits.
Empirische Demonstratie van Aanvallen: Door experimenten op zes benchmark-datasets (bijv. Adult, COMPAS, German Credit) met behulp van Decision Trees, XGBoost en Neural Networks, laten de auteurs zien dat:
- Modellen >99% nauwkeurigheid op audit-data kunnen bereiken terwijl ze dalen naar <30% op verse samples.
- Modellen perfect eerlijk kunnen lijken op audit-data terwijl ze maximaal oneerlijk zijn bij implementatie.
- Deze aanvallen de detectie door standaard statistische tests (Welch's t-test) omzeilen.
Systematische Casestudy: De auteurs hebben negen recente werken op het gebied van security en machine learning geanalyseerd (waaronder zkCNN, Confidential-DPproof en OATH). Ze vonden dat zes van deze werken ten minste gedeeltelijk kwetsbaar zijn omdat ze ofwel publieke datasets gebruiken voor auditing, ofwel verzuimen de commitment af te dwingen vóór de onthulling van de dataset.
Formeel Beveiligingsframework: Het artikel introduceert rigoureuze beveiligingsdefinities die op maat zijn gemaakt voor CMC, waarbij onderscheid wordt gemaakt tussen dataset-specifieke garanties en distributionele garanties. Het biedt een generieke protocoltemplate ( $\Pi_{csp}$ ) en bewijst de veiligheid ervan onder standaard cryptografische aannames, wat garandeert dat gecertificeerde eigenschappen generaliseren naar de onderliggende distributie.

Resultaten

Kwetsbaarheid: In het aanvalsspel slaagden tegenstanders erin om audits te doorstaan die 99% nauwkeurigheid vereisten, terwijl ze slechts ~30% nauwkeurigheid behaalden op testdata. Op dezelfde manier doorstonden modellen fairness-audits met bijna nul-dispariteit, terwijl ze bijna maximale dispariteit vertoonden op testdata.
Ondetecteerbaarheid: De vervalste trainingsdatasets slaagden voor de Welch's t-tests en Levene's tests tegen de audit-dataset met significantieniveaus van $\alpha=0.05$ , wat aantoont dat statistische controles de kwaadwillende trainingsdata niet betrouwbaar van eerlijke data kunnen onderscheiden.
Herstel van Veiligheid: De voorgestelde $\Pi_{csp}$ template bleek compatibel met bestaande ZKP-constructies (bijv. voor decision trees en CNN's). Door de volgorde "commit-then-sample" toe te passen, wordt de veiligheid van deze protocollen hersteld, waardoor data-vervalsingsaanvallen worden voorkomen.

Betekenis en Claims

Het artikel claimt dat de bevindingen dienen als waarschuwend bewijs in plaats van een verklaring dat eerdere cryptografische werken technisch gebroken zijn. De kernstelling is dat de beveiligingsgaranties van bestaande CMC-frameworks niet overeenkomen met de praktische vereisten van auditing, die eisen dat gecertificeerde eigenschappen gelden voor verse data uit dezelfde distributie, en niet alleen voor een specifieke audit-set.

De auteurs benadrukken dat:

Beveiligde audit-oplossingen die gebruikmaken van bekende publieke datasets of testdatasets hergebruiken (waar de provider de data leert kennen) onwaarschijnlijk robuuste garanties zullen bieden.
Het belang van continue sampling van verse data of cryptografische mechanismen die de audit-data verbergen totdat het model is gecommitteerd, essentieel is voor een succesvolle audit-infrastructuur.
Toekomstige ontwerpen voor cryptografisch veilige ML-auditing expliciet de kloof tussen dataset-specifieke certificering en distributionele generalisatie moeten adresseren, wat nauwe communicatie vereist tussen de cryptografie-, security- en machine learning-gemeenschappen.

Het werk claimt niet alle privacy-bewuste auditing-uitdagingen op te lossen (bijv. efficiënte DP-certificering blijft moeilijk vanwege de noodzaak van vertrouwde trainingsdata-generatie), maar biedt een fundamenteel framework en een specifieke protocoltemplate om de geïdentificeerde data-vervalsingskwetsbaarheden te mitigeren.