🤖 AI

The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses

Dit artikel formaliseert de afweging tussen watermerken en adversariële verdedigingen als een interactief protocol, waarbij wordt bewezen dat voor elke leertaak ten minste één van de volgende zaken moet bestaan: een watermerk, een adversariële verdediging, of een overdraagbare aanval (geconstrueerd via volledig homomorfe encryptie), terwijl specifieke condities worden geïdentificeerd waaronder verdedigingen of watermerken beveiligd kunnen worden.

Oorspronkelijke auteurs: Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie voor als een enorm, hoogwaardig spel van "Verstoppertje" gespeeld tussen twee personages: Alice (de aanvaller) en Bob (de verdediger). Ze proberen uit te vinden wie de overhand heeft in een specifieke leeropdracht, zoals het herkennen van katten op foto's of het beantwoorden van vragen.

Dit artikel, getiteld "The Good, the Bad and the Ugly," betoogt dat je in dit spel nooit alles kunt hebben. Voor elke gegeven taak dicteren de regels van het universum dat ten minste één van de drie specifieke scenario's moet plaatsvinden. Je kunt geen perfecte wereld hebben waarin het model veilig is, de eigenaar beschermd is en niemand het systeem kan bedriegen.

Hier zijn de drie mogbare uitkomsten, uitgelegd met eenvoudige analogieën:

1. Het "Goede": Het Onverwijderbare Watermerk

Het Scenario: Alice wil bewijzen dat zij een specif kind specifiek AI-model bezit. Ze plant een geheim "achterdeurtje" (een verborgen trigger) in het model tijdens de training.
De Analogie: Stel je voor dat Alice een piepklein, onzichtbaar stipje op een specifiek type appel schildert. Als je die specifieke appel aan de machine voert, schreeuwt de machine: "Ik ben de appel van Alice!"
De Catch: Het artikel stelt dat dit alleen mogelijk is als de "stip" zo subtiel is dat Bob (de verdediger) hem niet kan zien, zelfs niet als hij naar de code van de machine kijkt. Echter, als Bob te krachtig is (te veel rekenkracht heeft), kan hij de stip misschien van de appel afschrapen.
Het Resultaat: Als Alice in staat is om deze geheime trigger te planten die Bob niet kan vinden of verwijderen, heeft zij een Watermerk. Dit is "Goed" voor de eigenaar omdat zij het eigendom kan bewijken.

2. Het "Slechte": De Onstuitbare Verdediging

Het Scenario: Bob wil een model bouwen dat immuun is voor bedrog. Hij wil onmiddellijk weten of iemand hem probeert te misleiden met een valse invoer.
De Analogie: Stel je voor dat Bob een beveiligingsbeveiliger bouwt die een neppappel van een kilometer afstand kan ruiken. Hoe goed de neppappel er ook uitziet, de bewaker zegt: "Stop! Dit is geen echte appel!"
De Catch: Dit werkt alleen als de "neppappels" (adversarial attacks) er voldoende anders uitzien dan echte appels, zodat de bewaker ze kan herkennen.
Het Resultaat: Als Bob in staat is om een systeem te bouwen dat elke truc die Alice probeert detecteert, heeft hij een Adversarial Defense. Dit is "Slecht" voor de aanvaller, omdat zij het systeem niet kunnen misleiden.

3. Het "Lelijke": De Overdraagbare Aanval

Het Scenario: Dit is de grote nieuwe ontdekking van het artikel. Soms kan Alice een truc creëren die er exact uitziet als een echte appel, maar die de machine nog steeds breekt. En het engste deel? Deze truc werkt op elk machine die Bob bouwt, zolang Bob niet oneindig slim is.
De Analogie: Stel je voor dat Alice een "magische appel" maakt die voor het blote oog en voor elke standaardscanner 100% echt lijkt. Maar wanneer je er een hap uit neemt, verandert hij in een bom.
De Twist: Het artikel bewijst dat als Alice toegang heeft tot een specifiek type "magische wiskunde" (genaamd Fully Homomorphic Encryption, wat lijkt op het doen van wiskunde op een gesloten doos zonder deze te openen), zij deze magische appels kan creëren.
Het Resultaat: Als Alice dit kan doen, heeft zij een Transferable Attack. Dit is "Lelijk" omdat het betekent dat ongeacht hoe hard Bob probeert zijn specifieke model te verdedigen, de truc van Alice op hem zal werken. Het is een universele sleutel die elk slot opent.

De Grote "Meta" Conclusie

De hoofdstelling van het artikel is een beetje als een natuurwet voor AI-beveiliging. Het zegt:

Voor elke leeropdracht zit je vast aan één van deze drie:

Alice wint: Zij kan een geheim watermerk verbergen dat Bob niet kan vinden.

Bob wint: Hij kan een verdediging bouwen die elke truc van Alice onderschept.

Het "Lelijke" wint: Alice kan een universele truc creëren (met behulp van complexe cryptografie) die echt lijkt maar elke verdediging die Bob bouwt, breekt.

Waarom is dit belangrijk?
Het artikel gebruikt zware wiskunde en speltheorie om te bewijzen dat je niet een wereld kunt hebben waar:

Watermerken onbreekbaar zijn EN verdedigingen perfect zijn EN aanvallen onmogelijk zijn.
Als je probeert een verdediging te maken die te sterk is, kun je per ongeluk het onmogelijk maken om het model te watermerken.
Als je probeert een watermerk te maken dat te geheim is, kun je het model per ongeluk kwetsbaar maken voor deze "Lelijke" universele aanvallen.

De "Resource" Regel:
Het artikel geeft ook een vuistregel voor hoeveel rekenkracht nodig is. Als een aanvaller een budget heeft van $T$ (zoals tijd of geld), heeft de verdediger meestal ongeveer $T^2$ nodig (het kwadraat van dat budget) om een verdediging te bouwen die werkt. Als de verdediger probeert minder kracht te gebruiken dan dat, wordt de "Lelijke" aanval (de universele truc) mogelijk.

Samenvattend:
De auteurs zeggen niet: "AI is gedoemd." Ze zeggen: "We moeten de afruil begrijpen." Je kunt niet tegelijkertijd perfecte beveiliging, perfect eigendom en perfecte veiligheid hebben. Afhankelijk van hoeveel rekenkracht de aanvaller en de verdediger hebben, is een van deze drie uitkomsten wiskundig gegarandeerd.

Technische Samenvatting: Het Goede, het Slechte en het Lelijke: Meta-analyse van Watermerken, Overdraagbare Aanvallen en Adversariële Defensies

Probleemstelling

Het artikel behandelt de fundamentele afruil tussen backdoor-gebaseerde watermerken (gebruikt voor verificatie van modeleigendom) en adversariële defensies (gebruikt om robuustheid tegen inputperturbaties te garanderen). Hoewel eerdere empirische werken hebben geobserveerd dat modellen die robuust zijn tegen adversariële aanvallen kwetsbaar kunnen worden voor backdoor-aanvallen, en vice versa, ontbrak een formele theoretische onderbouwing van deze wisselwerking.

De auteurs formaliseren dit landschap als een interactief protocol tussen een Verifier (Alice) en een Prover (Bob), waarbij rekening wordt gehouden met hun respectieve computationele middelen. De centrale vraag is: welke van de volgende drie eigenschappen moet er voor elke gegeven leertaken bestaan?

Watermerk: Een mechanisme om een onverwijderbare, ondetecteerbare backdoor in te bedden.
Adversariële Defensie: Een mechanisme om adversariële voorbeelden te detecteren en af te wijzen die niet te onderscheiden zijn van de datadistributie.
Overdraagbare Aanval (Transferable Attack): Een efficiënt algoritme dat queries genereert die niet te onderscheiden zijn van de datadistributie, maar in staat zijn om alle efficiënte verdedigers te misleiden.

Het artikel stelt dat deze drie opties een "trichotomie" vormen waarbij ten minste één van de drie mogelijk moet zijn voor elke leertaak, afhankelijk van de computationele beperkingen van de aanvaller en de verdediger.

Methodologie en Formalisering

1. Computationeel Model

De auteurs modelleren leertaken en agenten met behulp van families van Booleaanse circuits geïndexeerd door een grootteparameter $n$ . Deze benadering, standaard in de complexiteitstheorie, maakt fijne controle mogelijk over computationele middelen (circuitgrootte) in plaats van alleen de looptijd.

Leertaak ( $L$ ): Gedefinieerd als een sequentie van distributies over paren $(D_n, h_n)$ , waarbij $D_n$ een datadistributie is en $h_n$ een grondwaarheids-labelingsfunctie is.
Agenten: Alice (aanvaller/watermerk-inbedder) en Bob (verdediger/watermerk-verwijderaar) worden gerepresenteerd als circuits met groottegrenzen $S_A(n)$ en $S_B(n)$ .

2. Definities van de Drie Schema's

Het artikel formaliseert de drie concepten als interactieve protocollen:

Watermerk (Definitie 3): Een efficiënt algoritme dat een classifier $f$ $f$ met lage foutmarge en een set queries $x$ $x$ produceert.
- Correctheid: $f$ heeft een lage foutmarge.
- Uniciteit: Een prover met vergelijkbare middelen (die het watermerk niet heeft gebruikt) kan geen antwoorden met een lage foutmarge produceren voor $x$ .
- Onverwijderbaarheid: Een prover met beperkte middelen ( $S_B$ ) kan geen antwoorden met een lage foutmarge produceren voor $x$ .
- Ondetecteerbaarheid: De queries $x$ zijn computationeel niet te onderscheiden van de datadistributie $D_n$ .
Adversariële Defensie (Definitie 4): Een efficiënt algoritme dat een classifier $f$ $f$ en een detectiebit $b$ $b$ produceert.
- Correctheid: $f$ heeft een lage foutmarge.
- Volledigheid: Natuurlijke inputs ( $x \sim D_n$ ) worden niet gemarkeerd ( $b=0$ ).
- Soundness (Betrouwbaarheid): Als een adversariële partij ( $S_A$ ) inputs aanbiedt die een hoge foutmarge veroorzaken, moet de defensie deze markeren ( $b=1$ ), mits de inputs niet te onderscheiden zijn van $D_n$ .
Overdraagbare Aanval (Definitie 5): Een efficiënt algoritme dat queries $x$ $x$ genereert.
- Overdraagbaarheid: Voor elke prover met beperkte middelen ( $S_B$ ) veroorzaken de queries $x$ een hoge foutmarge.
- Ondetecteerbaarheid: De queries $x$ zijn niet te onderscheiden van $D_n$ .
- Opmerking: In tegenstelling tot standaard overdraagbaarheid (die steunt op modelgelijkenis), vereist deze definitie dat de aanval succesvol is tegen elke efficiënte verdediger, ongeacht de architectuur.

3. Speltheoretisch Kader

De kern van de theoretische motor is een zero-sum game tussen Alice (die probeert een watermerk in te bedden) en Bob (die probeert het te verwijderen/aanvallen te detecteren).

De uitbetaling van het spel hangt af van de vraag of het watermerk succesvol is verwijderd of de aanval succesvol is gedetecteerd.
Met behulp van de Min-Max Stelling en resultaten over grote zero-sum games (Lipton en Young, 1994), betogen de auteurs dat het spel een Nash-evenwicht toelaat.
De waarde van dit evenwicht bepaalt welk van de drie schema's bestaat:
- Als de spelwaarde hoog is, bestaat er een Adversariële Defensie.
- Als de spelwaarde laag is, bestaat er ofwel een Watermerk of een Overdraagbare Aanval.

Belangrijkste Bijdragen en Resultaten

1. De Hoofdstelling (Trichotomie)

Stelling 1: Voor elke leertaak $L$ die leerbaar is tot fout $\epsilon$ met circuitcomplexiteit $S(n)$ , bestaat er ten minste één van de volgende zaken:

Een Watermerk (met verdediger-grootte $o(\sqrt{S(n)/\log S(n)})$ ).
Een Adversariële Defensie (met verdediger-grootte $O(S(n))$ ).
Een Overdraagbare Aanval (met aanvaller-grootte $S(n)$ ).

Dit resultaat impliceert dat het onmogelijk is om tegelijkertijd een veilig watermerk, een robuuste defensie tegen alle efficiënte aanvallers en geen overdraagbare aanvallen te hebben. De aanwezigheid van de één sluit de anderen uit onder specifieke hulpbron-beperkingen.

2. Overdraagbare Aanvallen en Cryptografie

Het artikel construeert een specifieke leertaak gebaseerd op Fully Homomorphic Encryption (FHE) om het bestaan van Overdraagbare Aanvallen aan te tonen.

Constructie: De taak betreft een "Lines on a Circle" leertaken die is uitgebreid met FHE. De datadistributie is een mengeling van "heldere" samples en "versleutelde" samples.
Mechanisme: De aanvaller (Alice) leert een classifier op de heldere samples. Ze genereert vervolgens queries die ofwel willekeurige heldere punten zijn, of versleutelde punten nabij de beslissingsgrens. Vanwege de beveiliging van FHE zijn deze versleutelde punten ononderscheidbaar van willekeurige versleutelde punten voor elke efficiënte tegenstander.
Resultaat: De aanval kan een hoge foutmarge afdwingen bij elke verdediger met beperkte computationele middelen (die de samples niet kan ontsleutelen om de grens te leren), terwijl de ononderscheidbaarheid behouden blijft.
Implicatie: Het bestaan van Overdraagbare Aanvallen impliceert het bestaan van EFID-paren (Efficiently samplable, statistically Far, computationally Indistinguishable), een cryptografisch primitief. Dit betekent dat Overdraagbare Aanvallen alleen bestaan voor computationeel complexe taken.

3. Resultaten met Begrensde VC-dimensie

Het artikel analyseert taken met een begrensde VC-dimensie:

Adversariële Defensies: Voor taken met een begrensde VC-dimensie bestaat er een Adversariële Defensie tegen alle aanvallers (zelfs die met onbegrensde computationele kracht), mits de verdediger over polynomiale middelen beschikt relatief aan de VC-dimensie. Dit sluit Overdraagbare Aanvallen in deze settings uit.
Watermerken: Voor een subklasse van taken met begrensde VC-dimensie bestaat er een Watermerk dat veilig is tegen "snelle" aanvallers (die strikt minder middelen hebben dan de verdediger). In dit specifieke regime kunnen zowel een Watermerk als een Adversariële Defensie naast elkaar bestaan.

Betekenis en Claims

Het artikel beweert het eerste model-agnostische, kwantitatieve kader te bieden voor het begrijpen van de afruilen tussen watermerken, defensies en aanvallen.

Formalisering van de Afruil: Het gaat verder dan empirische observaties door een rigoureus theoretisch bewijs te leveren dat voor elke leertaak het beveiligingslandschap wordt bepaald door de relatieve computationele middelen van de aanvaller en de verdediger.
De Derde Optie: Het identificeert Overdraagbare Aanvallen als een noodzakelijke derde optie in de afruil, die verschilt van standaard adversariële voorbeelden. Dit zijn aanvallen die ononderscheidbaar zijn van data, maar efficiënte verdedigers misleiden.
Cryptografische Connectie: Het legt een directe link tussen het bestaan van Overdraagbare Aanvallen en cryptografische hardheid (specifiek het bestaan van EFID-paren). Dit suggereert dat "perfecte" robuustheid (geen overdraagbare aanvallen) alleen mogelijk is voor taken die niet computationeel hard zijn in een cryptografische zin.
Vuistregel voor Middelenallocatie: De auteurs stellen een praktische heuristiek voor: als een aanvaller een budget $T$ heeft, is het toewijzen van $T^2$ middelen aan de verdediger voldoende om een defensie te construeren (indien aanwezig). Omgekeerd, als een defensie met een $T^2$ -budget faalt, suggereert dit dat de taak Overdraagbare Aanvallen toelaat, wat op zijn beurt de mogelijkheid van veilige watermerken in dat kader uitsluit.

Het artikel concludeert dat de wisselwerking tussen deze drie schema's niet louter een kwestie is van modelarchitectuur of dataset, maar fundamenteel een functie is van de computationele complexiteit van de leertaak en de dispariteit in middelen tussen de betrokken partijen.