🤖 machine learning

Navigating the Deep: End-to-End Extraction on Deep Neural Networks

Dit artikel presenteert de eerste polynomiale end-to-end methode voor het extraheren van diepe neurale netwerken door de beperkingen van eerdere signatuur-extractietechnieken te overwinnen en de teken-extractie te verbeteren, waardoor het mogelijk wordt om aanzienlijk diepere netwerken succesvol te reconstrueren dan voorheen.

Oorspronkelijke auteurs: Haolin Liu, Adrien Siproudhis, Samuel Experton, Peter Lorenz, Christina Boura, Thomas Peyrin

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haolin Liu, Adrien Siproudhis, Samuel Experton, Peter Lorenz, Christina Boura, Thomas Peyrin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Diepe Zee Verkennen: Hoe Hackers Neuronale Netwerken "Lezen" zonder de Kaart te Hebben

Stel je voor dat een Neuraal Netwerk (de hersenen van een AI) een enorme, complexe machine is die in een glazen kast zit. Je kunt erin kijken en de uitkomsten zien (bijvoorbeeld: "dit is een kat"), maar je mag niet naar binnen om te zien hoe de tandwielen en schakelaars er van binnen uitzien. De makers van deze machines houden hun blauwdrukken geheim, omdat ze kostbaar zijn.

Maar wat als een hacker, laten we hem de Dieven noemen, deze blauwdrukken toch wil stelen? Hij mag alleen vragen stellen ("Is dit een kat?") en de antwoorden noteren. Dit noemen we een Black-Box aanval.

Vroeger konden hackers alleen de eerste paar lagen van deze machine "lezen". De diepere lagen waren te complex, te ruisig en te moeilijk te ontcijferen. Maar in dit nieuwe onderzoek hebben de auteurs (Haolin Liu en zijn team) een nieuwe, krachtige methode ontwikkeld om de hele machine tot in de diepste lagen te reconstrueren.

Hier is hoe ze dat doen, vertaald in alledaagse termen:

1. Het Probleem: De "Diepe" Verwarring

Stel je voor dat je een gebouw probeert te tekenen door alleen naar de ramen te kijken.

De oude methode: De hackers konden alleen de begane grond en de eerste verdieping goed tekenen. Zodra ze naar de tweede of derde verdieping keken, raakten ze in de war.
- Reden 1: De "lijnen" die ze trokken waren niet sterk genoeg (ze noemen dit rank-deficientie). Het was alsof ze probeerden een muur te bouwen met te weinig bakstenen; de constructie viel in elkaar.
- Reden 2: Ze verwarden de ramen van de bovenverdieping met die van de benedenverdieping. Omdat de machine zo diep is, komen signalen van bovenaf soms door de lagen heen en lijken ze op signalen van de laag die ze nu proberen te tekenen. Dit is als een echo die je laat denken dat er iemand in de kamer is, terwijl het eigenlijk iemand op de zolder is.

2. De Oplossing: De Nieuze "Diepteduik"

De auteurs hebben twee slimme trucjes bedacht om deze problemen op te lossen:

Truc 1: De "Netwerk-Net" (Subspace Intersections)
In plaats van te proberen de muur met één baksteen te bouwen, gebruiken ze nu een net. Ze vangen signalen op van verschillende hoeken en laten ze elkaar kruisen. Waar de lijnen elkaar snijden, vinden ze de echte muur. Dit lost het probleem van de "te zwakke lijnen" op en maakt het mogelijk om dieper de machine in te duiken.
Truc 2: De "Echo-Filter"
Ze hebben een slimme manier bedacht om te checken of een signaal echt uit de laag komt waar ze naar kijken, of dat het een echo is van een hogere verdieping. Ze testen het signaal: als het signaal "buigt" op een plek waar het niet zou moeten buigen, weten ze: "Ah, dit is een echo van boven! Dit is niet de laag die ik zoek." Hierdoor kunnen ze de ruis filteren en zich focussen op de echte bouwstenen.

3. Het Tekenen van de Kleur (Sign Extraction)

Eenmaal hebben ze de vorm van de tandwielen (de gewichten), maar ze weten nog niet of ze naar links of naar rechts moeten draaien (het teken: positief of negatief).

Het oude probleem: Soms was het zo stil dat ze niet konden horen welke kant het opging. Ze moesten dan raden, wat vaak leidde tot fouten.
De nieuwe methode: Ze combineren twee slimme strategieën. Ze gebruiken een "wiskundig raadsel" (SOE) voor de duidelijke signalen en vullen de gaten op met een "truukspelletje" (Neuron Wiggle) voor de moeilijke gevallen. Hierdoor hoeven ze niet meer blind te gokken of urenlang te zoeken; ze vinden de juiste richting bijna altijd direct.

4. Het Resultaat: Van 3 naar 8 Verdiepingen

Vroeger konden hackers netjes 3 verdiepingen van een gebouw tekenen. Met hun nieuwe methode kunnen ze nu 8 verdiepingen volledig reconstrueren, met een nauwkeurigheid die bijna perfect is.

Voorbeeld: Ze hebben een AI getraind om foto's van katten en auto's te herkennen (CIFAR-10) en cijfers te lezen (MNIST). Vroeger stopten ze na de eerste paar lagen. Nu hebben ze de hele machine van binnen en buiten gekopieerd, inclusief de diepste, meest verborgen lagen.

Waarom is dit belangrijk?

Dit onderzoek is een waarschuwing voor de wereld van AI-beveiliging.

Intellectueel Eigendom: Bedrijven die dure AI-modellen bouwen, moeten beseffen dat hun "geheime recept" niet veilig is als ze het alleen via een webinterface aanbieden. Hackers kunnen het nu volledig stelen.
Veiligheid: Het laat zien dat we beter moeten nadenken over hoe we AI's beschermen, want de huidige methoden om ze te verstoppen werken niet meer voor diepe netwerken.

Kortom: De auteurs hebben een nieuwe, diepe duikbril ontworpen. Waar anderen vroeger vastliepen in de modder van de eerste lagen, kunnen ze nu helder zien tot in de diepste grotten van de neurale netwerken. Ze hebben de "diepe zee" van AI-eigendommen voor het eerst volledig in kaart gebracht.

Probleemstelling

Neurale netwerk-extractie (modelreconstructie) is een beveiligingsrisico waarbij een aanvaller probeert de parameters van een model te achterhalen via zwarte-bus queries. Hoewel eerdere werken (zoals Carlini et al., CRYPTO'20 en Canales-Martínez et al., Eurocrypt'24) succesvol waren bij het extraheren van ondiepe netwerken, faalden deze methoden bij diepere netwerken (meestal beperkt tot 3 lagen).

De bestaande aanpak bestaat uit twee stappen:

Signature Extraction: Het extraheren van de absolute waarden van de gewichten (de "handtekening").
Sign Extraction: Het bepalen van de tekens (+/-) van deze gewichten.

De paper identificeert dat de beperkingen niet puur computationeel zijn, maar fundamentele methodologische gebreken vertonen die verergeren naarmate de netwerkdiepte toeneemt:

Rank-deficiëntie: De lineaire systemen die worden gebruikt om gewichten op te lossen, worden vaak onderbepaald in diepere lagen, wat leidt tot incorrecte handtekeningen.
Invloed van diepere lagen: Kritieke punten uit diepere lagen worden ten onrechte gemerged met die van de doel-laag, wat ruis introduceert.
Numerieke onnauwkeurigheid: Fouten stapelen zich op over lagen, wat verdere extractie blokkeert.
Exponentiële complexiteit: De bestaande methoden voor het bepalen van tekens bij "low-confidence" neuronen vereisen een exponentiële zoektocht (exhaustive search), wat niet schaalbaar is.

Methodologie en Kernbijdragen

De auteurs stellen een volledig end-to-end extractiemethode voor die in polynomiale tijd werkt en diep door de lagen van een netwerk kan gaan. De bijdragen zijn onderverdeeld in verbeteringen voor de handtekening- en tekenextractie.

1. Verbeterde Signature Extraction (Handtekeningsextractie)

De auteurs identificeren en oplossen twee kritieke beperkingen:

Oplossen van Rank-deficiëntie (Subspace Intersections):
- Probleem: Bij diepere lagen is de rang van het lineaire systeem vaak lager dan het aantal actieve neuronen, waardoor de oplossing niet uniek is.
- Oplossing: In plaats van te wachten op een unieke oplossing, intersecteren de auteurs de oplossingsruimtes van meerdere kritieke punten. Door de kern (kernel) van de lineaire afbeeldingen van verschillende punten te combineren, kunnen ze de juiste gewichten (tot op een schalingsfactor) reconstrueren, zelfs bij onderbepaalde systemen.
Filteren van Ruis uit Dpere Lagen:
- Probleem: Handtekeningen uit diepere lagen kunnen onterecht worden samengevoegd (merged) met die van de doel-laag, omdat ze soms dezelfde activatiepatronen delen.
- Oplossing: Een tweestapsstrategie:
  1. Verwijder diepere punten: Gebruik een algoritme om te controleren of een kritiek punt daadwerkelijk op de doel-laag ligt door te testen of het snijpunt met de geëxtraheerde hyperplana nog steeds op de hyperplana ligt in het originele netwerk.
  2. Verwijder diepere componenten: Gebruik criteria zoals de grootte van de component en de "ruis-ratio" (hoe vaak een component wordt gemerged met punten die als 'dieper' zijn geïdentificeerd) om onjuiste componenten te verwijderen.

2. Verbeterde Numerieke Precisie

Normalisatie: De auteurs normaliseren de schalingsfactoren in de lineaire systemen om numerieke instabiliteit te voorkomen, wat essentieel is voor brede lagen.
Selectie van Kritieke Punten: Ze vermijden kritieke punten in "vlakke" regio's waar kleine fouten in afgeleiden leiden tot grote fouten in de gevonden punten.

3. Betrouwbare Sign Extraction (Tekenextractie)

Probleem: Bestaande methoden (zoals "Neuron Wiggle") falen bij neuronen met lage zekerheid (low-confidence), wat leidt tot een exponentiële zoektocht in eerdere werken.
Oplossing (SOE + Wiggle): De auteurs combineren twee polynomiale methoden:
1. System of Equations (SOE): Lost tekens op voor contractieve lagen.
2. Neuron Wiggle: Bepaalt tekens individueel.
- Innovatie: Ze gebruiken de resultaten van de "Wiggle"-methode op neuronen met hoge zekerheid om de rang van het SOE-systeem te verhogen. Hierdoor kunnen ze de tekens van de resterende neuronen met lage zekerheid op een deterministische, polynomiale manier oplossen, zonder exhaustieve zoektocht. Ze introduceren ook een "extension strategy" om het SOE-systeem uit te breiden over meerdere lineaire regio's.

Resultaten

De auteurs hebben hun aanpak getest op ReLU-gebaseerde neurale netwerken getraind op MNIST en CIFAR-10.

Diepte van Extractie:
- Eerdere werken (zoals Foerster et al.) faalden na de 3e laag.
- De nieuwe methode extraheren consistent minimaal 8 lagen succesvol.
- Voorbeeld: Een netwerk met architectuur 784-8(8)-1 (8 verborgen lagen) werd volledig geëxtraheerd.
Accuraatheid:
- Bij Model I (CIFAR-10, 3072-8(8)-10) werd 99.91% van de effectieve gewichten hersteld.
- Bij Model II (MNIST, 784-8(8)-1) werd 99.68% hersteld.
- De relatieve fout ( $\epsilon$ ) op het bedekte deel van de inputruimte is extreem laag ( $\le 3.6 \times 10^{-4}$ ).
Efficiëntie:
- De aanval werkt in polynomiale tijd, in tegenstelling tot de exponentiële complexiteit van eerdere methoden voor diepe netwerken.
- De tijd voor tekenextractie is drastisch verminderd (van uren/dagen naar minuten/seconden per laag).

Significantie

Deze paper markeert een cruciale mijlpaal in de cryptanalyse van neurale netwerken:

Eerste End-to-End Polynomiale Aanval: Het is de eerste methode die een volledig model (handtekening én teken) kan extraheren uit een diep netwerk in polynomiale tijd, zonder vereenvoudigingen zoals het scheiden van handtekening- en tekenextractie.
Praktische Bedreiging: De resultaten tonen aan dat grote, complexe architecturen (die voorheen als veilig werden beschouwd tegen extractie) kwetsbaar zijn voor zwarte-bus aanvallen.
Fundamenteel Inzicht: De paper onthult dat de beperkingen van eerdere methoden niet alleen te maken hadden met rekenkracht, maar met fundamentele misverstanden over rank-deficiëntie en de invloed van diepere lagen op de extractie.

Samenvattend bewijst dit werk dat de drempel voor het volledig kopiëren van diepe neurale netwerken aanzienlijk is verlaagd, wat nieuwe uitdagingen creëert voor de beveiliging van AI-modellen.