🤖 machine learning

ZKBoost: Zero-Knowledge Verifiable Training for XGBoost

Dit artikel introduceert ZKBoost, het eerste protocol voor zero-knowledge-bewijzen van training voor XGBoost dat modelhouders in staat stelt cryptografisch correcte training op vastgelegde datasets te verifiëren zonder data of parameters te onthullen, terwijl het eerdere beveiligingskwetsbaarheden overwint en efficiëntie bereikt door middel van een gespecialiseerde fixed-point-implementatie en een VOLE-gebaseerde instantiatie.

Oorspronkelijke auteurs: Nikolas Melissaris, Antigoni Polychroniadou, Akira Takahashi, Chenkai Weng, Jiayi Xu

Gepubliceerd 2026-05-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikolas Melissaris, Antigoni Polychroniadou, Akira Takahashi, Chenkai Weng, Jiayi Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef huurt om een complex, geheim recept voor een zeer belangrijk banket te bereiden. Je wilt 100% zeker zijn dat ze het recept stap voor stap hebben gevolgd met de specifieke ingrediënten die je hebt verstrekt, maar je hebt twee grote problemen:

Je kunt de keuken niet zien: De chef weigert je te laten meekijken tijdens het koken omdat het recept hun "bedrijfsgeheim" is (Intellectueel Eigendom).
Je kunt de ingrediënten niet zien: De chef weigert je de specifieke partij groenten te tonen die ze hebben gebruikt, omdat die gegevens toebehoren aan een privé-boerderij (Privacy).

Meestal moet je gewoon op de chef vertrouwen. Maar wat als ze een oplichter is? Wat als ze een kant-en-klaar maaltje heeft gekocht, het heeft gelabeld als "vers bereid" en het aan je heeft geserveerd?

ZKBoost is een nieuw digitaal hulpmiddel dat dit probleem oplost. Het stelt de chef (de model-eigenaar) in staat om jou (de verificateur) te bewijzen dat ze de maaltijd precies volgens de regels hebben bereid, met jouw specifieke ingrediënten, zonder je ooit het recept of de ingrediënten te tonen.

Hieronder wordt uitgelegd hoe het artikel deze magie uitlegt, opgesplitst in eenvoudige concepten:

1. Het "Zwarte Doos"-probleem

In de wereld van machine learning is XGBoost als een sterrenchef. Het is ongelooflijk goed in het voorspellen van dingen (zoals of een creditcardtransactie fraude is of of een patiënt een ziekte heeft) op basis van datatabellen.

Echter, wanneer een bedrijf een XGBoost-model traint, houden ze de gegevens en het uiteindelijke "recept" (het model) geheim. Als een klant wil verifiëren dat het model niet is vervalst of is getraind op slechte gegevens, kunnen ze dat meestal niet. Ze kunnen niet gluren zonder privacywetten te schenden of bedrijfsgeheimen te verliezen.

2. De "Zero-Knowledge"-magietrick

Het artikel introduceert ZKBoost, dat een cryptografische techniek gebruikt genaamd Zero-Knowledge Proofs (ZKP).

Stel je een Zero-Knowledge Proof voor als een magische spiegel.

De chef staat voor de spiegel.
De spiegel toont de klant een gloeiend groen vinkje met de tekst: "Ja, het koken is correct verlopen!"
Maar de spiegel toont niet het gezicht van de chef, de ingrediënten of het recept. Het bewijst alleen dat de actie correct is uitgevoerd.

3. Waarom was dit daarvoor zo moeilijk?

De auteurs leggen uit dat dit doen voor XGBoost was als proberen te bewijzen dat je een huis hebt gebouwd door te laten zien dat je elke enkele baksteen hebt gelegd, maar je moest dit doen met een blinddoek op en in een taal die niemand verstond.

De "Blinddoek" (Oblivious Partitioning): XGBoost werkt door gegevens constant te sorteren in verschillende bakken (zoals appels sorteren op grootte). Dit doen op een "blinde" cryptografische manier is ongelooflijk traag en duur.
De "Geheime Saus" (Tree Splits): Het model maakt beslissingen op basis van verbonden drempels. Eerdere pogingen om dit te bewijzen waren "lek"—ze onthulden per ongeluk de vorm van de beslisbomen (de topologie), wat een bedrijfsgeheim is.
De "Rekenfout" (Security Gaps): Sommige oude methoden stonden een oneerlijke bewijzer toe om te valsspelen door "reken-overflow" te veroorzaken (zoals een rekenmachine die van 999 naar 000 tikt) om een correct resultaat te faken.

4. De ZKBoost-oplossing: Twee Grote Trucs

Het artikel stelt twee belangrijke innovaties voor om deze problemen op te lossen:

Trick A: De "Bottom-Up" inspectie (Het generieke sjabloon)

Normaal gesproken moet je, om te verifiëren dat een boom correct is gebouwd, het hele kookproces opnieuw uitvoeren vanaf het begin, wat traag is.

De Oude Manier: Kijk hoe de chef de boom van boven naar beneden bouwt, stap voor stap.
De ZKBoost-manier: De auteurs hebben een nieuwe methode bedacht genaamd CertXGB. In plaats van te kijken hoe de chef de boom bouwt, kijken ze naar de voltooide boom en werken ze achteruit (van onder naar boven).
- Ze controleren eerst de bladeren, dan de takken en dan de stam.
- Dit stelt hen in staat om veel bomen tegelijkertijd te verifiëren (parallelle verwerking), waardoor het bewijs 3 tot 6 keer sneller is dan eerdere methoden.
- Cruciaal is dat deze methode de wiskunde controleert zonder te onthullen welke takken zijn afgekapt (pruning), waardoor de vorm van de boom geheim blijft.

Trick B: De "Fixed-Point"-schakelaar (De beveiligingsfix)

XGBoost gebruikt meestal "floating-point"-wiskunde (zoals 3,14159...), wat rommelig is voor cryptografie omdat computers decimalen verschillend verwerken op verschillende machines.

Het Probleem: Als de wiskunde niet exact is, faalt het bewijs. Bovendien is floating-point-wiskunde enorm en traag om te bewijzen.
De Oplossing: De auteurs hebben XGBoost omgezet naar Fixed-Point-arithmetic.
- Analogie: In plaats van ingrediënten te meten in "bekers en breuken" (floating point), meten ze alles in "eetlepels" (hele getallen).
- Ze bewezen dat, zelfs al gebruiken ze "eetlepels" in plaats van "bekers", het uiteindelijke gerecht exact hetzelfde smaakt (binnen 1% nauwkeurigheid) als de originele floating-point-versie.
- Dit maakt de wiskunde "bewijsvriendelijk", veilig tegen valsspelen door overflow, en veel sneller.

5. De Resultaten: Snel en Veilig

De auteurs hebben hun systeem getest op real-world datasets (zoals creditcardfraude en kankerdetectie).

Snelheid: Hun systeem is aanzienlijk sneller dan de dichtstbijzijnde concurrent (Sparrow), vooral bij het verwerken van grote hoeveelheden gegevens.
Nauwkeurigheid: De "eetlepel"-versie (Fixed-Point) is even nauwkeurig als de "bekers"-versie (Floating-Point).
Veiligheid: Ze hebben de "reken-overflow"-gaten gefixt die oplichters in eerdere systemen in staat stelden om resultaten te vervalsen.

Samenvatting

ZKBoost is het eerste systeem dat een model-eigenaar in staat stelt om te zeggen: "Ik beloof dat ik deze AI heb getraind op uw privé-gegevens met onze specifieke regels," en dit te bewijzen met een cryptografisch kwitantie. Dit doet het door:

Het werk achteruit te controleren om tijd te besparen.
Over te schakelen naar eenvoudigere wiskunde (hele getallen) om veiligheid en snelheid te garanderen.
Het recept en de ingrediënten volledig te verbergen terwijl toch wordt bewezen dat het koken eerlijk was.

Dit betekent dat klanten eindelijk kunnen vertrouwen dat de AI-modellen die ze gebruiken echt zijn, zonder bedrijven te dwingen hun bedrijfsgeheimen of privé-klantgegevens te onthullen.

Technische Samenvatting: ZKBoost - Zero-Knowledge Verifieerbare Training voor XGBoost

1. Probleemstelling

Naarmate machine learning-modellen, met name Gradient Boosted Decision Trees (GBDT's) zoals XGBoost, steeds vaker worden ingezet in gevoelige domeinen (bijvoorbeeld financiën, gezondheidszorg), ontbreekt het aan kritieke cryptografische garanties met betrekking tot modelintegriteit. Klanten kunnen niet verifiëren dat een ingezet model $M$ daadwerkelijk is getraind op een specifieke dataset $D$ met voorgeschreven hyperparameters, zonder dat de modelhouder proprietaire gegevens of modelparameters prijsgeeft.

Bestaande Zero-Knowledge Proof of Training (zkPoT)-oplossingen lopen tegen aanzienlijke hindernissen aan bij toepassing op XGBoost:

Rekenkundige inefficiëntie: Het naïef opnieuw uitvoeren van het XGBoost-trainingproces binnen een Zero-Knowledge Proof (ZKP)-circuit is verbiedend duur. Dit komt door de noodzaak van oblivious data-partitionering op elke knoop en het sequentiële karakter van boomconstructie (waarbij elke boom afhankelijk is van de voorspellingen van voorgaande bomen).
Beveiligingskwetsbaarheden: Eerdere werken over ZK-training en -inference voor beslisbomen lijden onder subtiele beveiligingsfouten. Deze omvatten potentiële lekken van boomtopologie en "soundness-gaten" waarbij een kwaadaardige bewijsvoerder modulair rekenkundig overloop kan exploiteren om af te wijken van het correcte training-algoritme en toch de verificatie te doorstaan.
Numerieke incompatibiliteit: Standaard XGBoost vertrouwt op drijvende-kommarekenkunde, wat niet-deterministisch is over verschillende hardware en incompatibel met de eindige-ring-rekenkunde die door de meeste ZKP-systemen wordt vereist.

2. Methodologie

De auteurs stellen ZKBoost voor, het eerste zkPoT-protocol dat specifiek is ontworpen voor XGBoost. De aanpak bestaat uit drie hoofdpijlers:

A. Fixed-Point XGBoost (TrainXGB)

Om de kloof te overbruggen tussen standaard XGBoost en ZKP-eisen, implementeren de auteurs een fixed-point-versie van XGBoost.

Rekenkunde: Alle bewerkingen (optellen, vermenigvuldigen, delen) worden uitgevoerd op gehele getallen met een impliciete globale schalingsfactor, waardoor drijvende-kommanon-determinisme wordt geëlimineerd.
Benaderingen: Niet-lineaire functies die essentieel zijn voor XGBoost, zoals de sigmoid-functie ( $\sigma$ ) en log-odds ( $\sigma^{-1}$ ), worden vervangen door bewijsvriendelijke benaderingen (stuksgewijs lineair en afgekapt Taylor-reeksen) die de nauwkeurigheid binnen 1% van de standaard drijvende-kommaimplementatie behouden.
Determinisme: Deze herformulering zorgt ervoor dat de trainingstrace uniek en reproduceerbaar is, waardoor een goed gedefinieerde NP-relatie ontstaat die geschikt is voor ZK-verificatie.

B. Generiek zkPoT-sjabloon (CertXGB)

In plaats van het trainingproces van boven naar beneden (van wortel naar bladeren) opnieuw uit te voeren, ontwerpen de auteurs een certificeringsalgoritme, CertXGB, dat het trainingsresultaat van onder naar boven en parallel verifieert.

Verificatielogica: Gegeven een beweerde model $M$ $M$ (boomensemble) en dataset $D$ $D$ , doet CertXGB het volgende:
1. Evalueert de bomen op de data om bladindices te bepalen.
2. Reconstructeert gradiënt- en Hessian-histogrammen van de bladeren tot aan de wortel.
3. Verifieert dat de splitsen gekozen door de bewijsvoerder de winst maximaliseren die is afgeleid uit deze gereconstrueerde histogrammen.
4. Controleert of de bladgewichten consistent zijn met de histogrammen.
Parallelisme: Deze herstructurering ontkoppelt de validatie van individuele bomen van inter-boom-afhankelijkheden, waardoor meerdere bomen parallel kunnen worden geverifieerd, wat de kosten voor de bewijsvoerder aanzienlijk verlaagt.
Topologie-verberging: Om te voorkomen dat de boomstructuur wordt gelekt (bijvoorbeeld welke knopen zijn gesnoeid), vervangt het protocol gesnoeide knopen door "dummy"-waarden. De ZKP verifieert oblivious dat deze dummies exact worden gebruikt wanneer aan de snoeiconditie (winst $\le 0$ ) is voldaan.

C. Veilige instantiatie met VOLE-ZKP

Het protocol wordt geïnstancierd met behulp van een Vector Oblivious Linear Evaluation (VOLE)-gebaseerd ZKP-framework.

Subprotocollen: De auteurs ontwerpen specifieke ZK-gadgets voor kritieke niet-lineaire bewerkingen:
- Vergelijking: Verbeterde bit-decompositie-bewijzen om "wrap-around"-aanvallen te voorkomen waarbij een kwaadaardige bewijsvoerder het Meest Significant Bit (MSB) zou kunnen omdraaien om vergelijkingresultaten te veranderen.
- Delen en Truncatie: Bewijzen die grote reeksen waarden verwerken zonder duizenden constraints te vereisen, waardoor soundness tegen modulair overloop wordt gewaarborgd.
- Histogramconstructie: Een gewogen LogUp-bewijs vervangt de duurdere ZK-RAM-aanpak uit eerdere werken, wat de overhead met ongeveer 3-4 keer verlaagt.
Globale reekscontroles: Het protocol dwingt globale reekscontroles af op tussentijdse waarden om rekenkundige overloopaanvallen te voorkomen die soundness zouden kunnen breken.

3. Belangrijkste Bijdragen

Eerste zkPoT voor XGBoost: Het artikel presenteert het eerste protocol dat een modelhouder in staat stelt correcte training van een XGBoost-model op een vastgelegde dataset te bewijzen zonder data of parameters prijs te geven.
CertXGB-algoritme: Een generiek certificeringssjabloon dat trainingsvalidatie herstructureert tot een van onder naar boven en paralleliseerbare werkwijze, wat een aanzienlijke verbetering biedt ten opzichte van naïeve heruitvoering.
Veilige en efficiënte instantiatie: Een VOLE-gebaseerde implementatie die soundness-gaten adresseert die zijn gevonden in eerdere ZK-trainingwerken (specifiek met betrekking tot overloop en topologielekken) terwijl hoge efficiëntie wordt behouden.
Fixed-Point XGBoost: Een praktische, fixed-point-implementatie van XGBoost die de standaard drijvende-kommabewerking binnen 1% nauwkeurigheid benadert op real-world datasets, waardoor deze compatibel wordt met ZKP-rekenkunde.

4. Experimentele Resultaten

De auteurs hebben ZKBoost geïmplementeerd in C++ en het geëvalueerd op drie real-world datasets: Breast Cancer, Credit Default en Covertype.

Nauwkeurigheid: De fixed-point XGBoost-implementatie bereikt een nauwkeurigheid binnen 1% van standaard drijvende-kommabewerking XGBoost over alle geteste hyperparameterconfiguraties en datasets.
Prestaties vs. Baseline: In vergelijking met Sparrow (een gerelateerd werk voor gewone beslisbomen en random forests) is ZKBoost 3–6 keer sneller over verschillende datasetgroottes, ondanks het bieden van sterkere beveiligingsgaranties (verberging van boomtopologie en rigoureuze soundness-controles).
Schaalbaarheid:
- Aantal bomen: Bewijstijd schaalt lineair met het aantal bomen.
- Datasetgrootte: Bewijstijd wordt niet significant beïnvloed door het aantal datapunten (tot 100k), dankzij het efficiënte histogramconstructie-bewijs.
Netwerkcondities: Experimenten simuleerden zowel LAN (5 Gbps) als WAN (1 Gbps, 60ms latentie) condities. Hoewel WAN-latentie de totale tijd met ~83-87% verhoogt, worden bewijzen nog steeds gegenereerd binnen redelijke tijdsbestekken (bijvoorbeeld ~52 minuten voor een dataset van 100k met 100 bomen in WAN).

5. Betekenis en Claims

Het artikel claimt het eerste te zijn dat een praktische, veilige en efficiënte zkPoT voor XGBoost biedt, een dominant algoritme in de verwerking van tabulaire data. De betekenis ligt in:

Vertrouwenswaardige ML-as-a-Service: Het mogelijk maken voor klanten om trainingsintegriteit te verifiëren zonder proprietaire data prijs te geven.
Compliance: Het mogelijk maken van verificatie dat modellen zijn getraind op goedgekeurde databronnen (bijvoorbeeld volkstellingsdata) of dat beschermde inhoud is uitgesloten.
Beveiligingsvooruitgang: Het werk identificeert en repareert specifieke soundness-kwetsbaarheden (overloopaanvallen, topologielekken) in eerdere ZK-trainingprotocollen, en biedt een robuustere basis voor Zero-Knowledge Machine Learning (ZKML).
Praktijktoepasbaarheid: Door aan te tonen dat fixed-point-rekenkunde drijvende-kommabewerking nauwkeurigheid kan benaderen en dat het protocol efficiënt draait op standaard hardware, betogen de auteurs dat verifieerbare XGBoost-training haalbaar is voor real-world toepassingen met hoge inzet, zoals fraudeopsporing en kredietrisicovoorspelling.

De auteurs merken op dat hoewel de huidige instantiatie gericht is op binaire classificatie, het framework conceptueel kan worden uitgebreid naar meerklasse-classificatie, en dat toekomstig werk niet-interactieve beknopte bewijzen voor publieke verifieerbaarheid kan verkennen.