Fine-Tuning Integrity for Modern Neural Networks: Structured Drift Proofs via Norm, Rank, and Sparsity Certificates

Titel

Fine-Tuning Integrity voor Moderne Neuronale Netwerken: Gestructureerde Driftbewijzen via Norm-, Rang- en Sparsiteitscertificaten

1. Het Probleem

Fine-tuning is de dominante methode geworden om grote vooraf getrainde neurale netwerken (zoals LLM's en vision-modellen) aan te passen aan nieuwe taken of domeinen. Hoewel dit de implementatiekosten verlaagt, introduceert het nieuwe veiligheidsrisico's:

• Integriteitsrisico's: Een onbetrouwbare partij kan tijdens het fine-tuning-proces backdoors injecteren, veiligheidsmechanismen verwijderen of grote delen van het model overschrijven, terwijl ze claimen dat er slechts kleine, onschadelijke updates zijn uitgevoerd.
• Tekortkomingen van bestaande tools: Bestaande verificatietools focussen ofwel op de correctheid van de inferentie (of het model het juiste antwoord geeft) of op de volledige herkomst (provenance) van het model. Ze bieden geen manier om te verifiëren dat de verandering tussen het basismodel en het gefinetuned model binnen strikt gedefinieerde, veilige grenzen blijft, zonder de volledige modelgewichten te onthullen.
• De uitdaging: Hoe bewijst men dat een model $W^*$ slechts een beperkte "drift" (afwijking) heeft ten opzichte van een vertrouwd basismodel $W_0$, zonder de gewichten zelf bloot te geven en zonder dat de verificatiekosten lineair oplopen met de grootte van het model (miljarden parameters)?

2. Methodologie: Fine-Tuning Integrity (FTI)

De auteurs introduceren Fine-Tuning Integrity (FTI) als een nieuw beveiligingsdoel. Het kernidee is dat de drift (het verschil $\Delta = W^* - W_0$) niet willekeurig mag zijn, maar moet voldoen aan een door het beleid gedefinieerde gestructureerde driftklasse.

De Drie Driftklassen

Het systeem certificeert dat de drift binnen een van de volgende drie algebraïsche structuren valt, die corresponderen met veelgebruikte fine-tuning-methoden:

1. Norm-gebonden drift: De totale grootte van de update (Frobenius-norm of spectrale norm) is kleiner dan een drempelwaarde $\epsilon$. Dit komt overeen met reguliere fine-tuning met weight decay.
2. Rang-gebonden drift (Low-Rank): De updatematrix heeft een lage rang $r$. Dit komt overeen met methoden zoals LoRA (Low-Rank Adaptation), waar updates worden uitgedrukt als het product van twee kleine matrices ($AB$).
3. Sparsiteitsdrift: Slechts een klein aantal parameters ($k$) is gewijzigd. Dit komt overeen met Prefix-tuning of het aanpassen van specifieke neuronen.

Cryptografische Primitieven: SMDP

Om deze certificaten te leveren, introduceren de auteurs Succinct Model Difference Proofs (SMDP). Dit zijn Zero-Knowledge Proofs (ZKP) die bewijzen dat de drift binnen de gekozen klasse valt, zonder de daadwerkelijke gewichten te onthullen. De verificatiekosten hangen af van de structuur van de drift (bijv. de waarde van $r$ of $k$), niet van de totale grootte van het model.

De drie specifieke constructies zijn:

• NBDP (Norm-Bounded Drift Proofs): Gebruikt willekeurige projecties (random projections) gebaseerd op het Johnson-Lindenstrauss-lemma. De verificateur controleert of de projecties van de drift binnen een bepaalde drempel vallen.
• MRDP (Matrix Rank Drift Proofs): Encodeert gewichtsmatrices als bivariate polynomen. Een lage rang komt overeen met een polynoom dat ontbindt in een som van scheidbare termen. De verificateur gebruikt een willekeurige evaluatie (Schwartz-Zippel lemma) om dit te verifiëren.
• SDIP (Sparse Drift Interactive Proofs): Combineert lineaire schetsen (streaming linear checks) met Zero-Knowledge som-checks. De bewijzer toont aan dat slechts een beperkt aantal coördinaten niet-nul zijn, zonder de specifieke indices te onthullen.

Onmogelijkheidsresultaat (Lower Bound)

De auteurs bewijzen een informatie-theoretische ondergrens: zonder structurele beperkingen (zoals rang of sparsiteit) is het onmogelijk om een beknopt (succinct) bewijs te genereren voor een willekeurige drift. Elke niet-interactieve proof zou dan lineair groot zijn ($\Omega(n)$). Dit onderstreept de noodzaak van de voorgestelde gestructureerde klassen.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Definities van FTI en SMDP als nieuwe cryptografische primitieven voor modelintegriteit.
2. Drie Concrete Constructies: Ontwikkeling van NBDP, MRDP en SDIP, elk met bewijzen van correctheid, Zero-Knowledge-eigenschappen en beknopte complexiteit.
3. Architectuur-afhankelijke Instantiaties: Toepassing van deze methoden op Transformers, CNN's en MLP's, waarbij specifieke lagen (zoals attention-heads of convolutiekanalen) verschillende driftbeleid kunnen hebben.
4. Systeemintegratie: Een end-to-end systeem dat blokniveau-bewijzen aggregeert tot een globaal certificaat, inclusief een beleidsbeschrijvingstaal.
5. Theoretische Onderbouwing: Een bewijs dat structurele aannames noodzakelijk zijn voor beknopte bewijzen in een statistische setting.

4. Resultaten en Evaluatie

De auteurs hebben een prototype geïmplementeerd en getest op verschillende modellen (een 7B-parameter Transformer, ResNet-50 en een MLP).

• Bewijsgrootte:
  • De bewijzen zijn extreem beknopt. Een volledig FTI-certificaat voor een 7B-parameter Transformer is ongeveer 3,8 MB.
  • Ter vergelijking: Een traditionele zk-SNARK die de volledige model-differentie-circuit codeert zonder gebruik te maken van structuur, zou groter zijn dan 1 GB.
  • Per blok (bijv. één laag) variëren de bewijzen van 3 KB tot 40 KB, afhankelijk van het type drift, maar zijn onafhankelijk van de verborgen dimensie van het model.
• Verificatiesnelheid:
  • De verificateur kan het volledige bewijs voor de 7B-model in ongeveer 310 ms verifiëren.
  • De verificatiekosten schalen met de complexiteit van de drift (rang $r$, sparsiteit $k$), niet met het aantal parameters.
• Prover Kosten:
  • Het genereren van het bewijs voor een 7B-model duurt ongeveer 8,2 minuten op een enkele NVIDIA A100 GPU. Dit is acceptabel voor off-line auditing.
• Detectie van kwaadaardige drift:
  • Het systeem detecteert met een zeer hoge waarschijnlijkheid (>99,999%) wanneer de drift de beleidsgrenzen overschrijdt (bijv. een rang die te hoog is of een norm die te groot is).

5. Significantie en Toekomstperspectief

Dit paper biedt een fundamentele doorbraak in het beveiligen van de AI-supply chain:

• Vertrouwen zonder Transparantie: Het stelt auditors en klanten in staat om te verifiëren dat een model veilig is gefinetuned zonder dat ze toegang hoeven te hebben tot de gevoelige gewichten of de trainingsdata.
• Complementair aan Bestaande Methoden: FTI vervangt geen gedragsverificatie (red-teaming), maar beperkt het aanvalsoppervlak. Het maakt het voor een aanvaller veel moeilijker om backdoors in te bouwen zonder detectie, omdat zulke aanval vaak grote, ongestructureerde wijzigingen vereisen die buiten de toegestane driftklassen vallen.
• Praktische Toepasbaarheid: De methoden zijn schaalbaar voor moderne grote modellen en kunnen worden geïntegreerd in bestaande ML-pipelines voor gereguleerde sectoren zoals finance, gezondheidszorg en contentmoderation.

Kortom, de auteurs bieden een cryptografisch raamwerk dat de "integriteit van de evolutie" van neurale netwerken garandeert, waarbij wiskundige structuren worden gebruikt om de kosten van verificatie drastisch te verlagen.