Identifying Adversary Characteristics from an Observed Attack

Dit paper introduceert een domeinonafhankelijk raamwerk om de meest waarschijnlijke aanvalaar te identificeren op basis van een waargenomen aanval, waardoor verdedigers zowel exogene mitigatiestrategieën kunnen toepassen als de prestaties van directe verdedigingsmethoden kunnen verbeteren.

De kern

Stel je voor dat je een zeer slimme, geautomatiseerde beslisser hebt. Laten we hem De Beslisser noemen. Hij kijkt naar gegevens (zoals een foto van een handgeschreven cijfer of een medische scan) en maakt een beslissing: "Dit is een 7" of "Deze patiënt is gezond".

Maar er is een probleem: er zit een Slechte Jongen (de aanvaller) in de buurt. Deze Slechte Jongen kan de gegevens die De Beslisser krijgt, een heel klein beetje aanpassen. Zo klein dat jij als mens het niet ziet, maar voor De Beslisser is het alsof de wereld is omgedraaid. Hij denkt ineens dat een "7" een "1" is, of dat een ziekte niet bestaat. Dit noemen we een aanval.

Meestal proberen experts een schild te bouwen om De Beslisser sterker te maken. Maar in dit artikel kijken de auteurs (Soyon Choi, Scott Alfeld en Meiyi Ma) naar een heel ander idee: In plaats van het schild te verbeteren, proberen we de Slechte Jongen te ontmaskeren.

Hier is hoe hun idee werkt, vertaald naar alledaagse taal:

1. Het Spoor van de Dief

Stel je voor dat je een dief betrapt die een raam heeft opengebroken. Je ziet het gebroken glas op de grond (de aanval).

• De oude manier: Je denkt: "Oké, dieven breken ramen. Laten we een nog steviger raam maken."
• De nieuwe manier (dit artikel): Je kijkt naar de scherven en vraagt je af: "Wie is dit? Is het een grote, sterke man die met een hamer sloeg? Of een klein kind dat een steen gooide? En wat wilde hij precies bereiken?"

De auteurs zeggen: als je weet wie de dader is en hoe hij denkt, kun je veel beter verdedigen. Misschien moet je niet het raam vervangen, maar de hele tuin omheinen (als je weet dat de dader van buiten komt) of de politie bellen om de dader te pakken (exogene mitigatie).

2. Het Grote Moeilijke Geheim: "Het is niet eenduidig"

Hier wordt het spannend. De auteurs bewijzen iets heel belangrijks: Alleen door naar het gebroken glas te kijken, kun je de dader niet 100% zeker identificeren.

Stel je voor:

• Dader A is een sterke man die een zware steen gooit.
• Dader B is een zwakke man die een heel zware, maar kleine kogel gooit.
• Beide laten precies hetzelfde gat in het raam achter.

Zonder extra informatie kun je niet weten wie het was. In de wiskundige taal van het artikel noemen ze dit: de dader is niet identificeerbaar. Er zijn te veel verschillende "Slechte Jongens" die precies hetzelfde spoor kunnen nalaten.

3. De Oplossing: Een Gok met een Voorspelling

Omdat we niet zeker weten wie het is, doen de auteurs alsof we een detective zijn met een lijst van verdachten.

Ze zeggen: "Oké, we weten niet zeker wie het is, maar we hebben een idee (een 'vooroordeel' of prior). Misschien is het vaak een jonge hacker die slimme trucjes gebruikt, of misschien is het een groepsje dat brute kracht gebruikt."

Hun systeem werkt als een slimme detective:

1. De aanval bekijken: Kijk naar het gebroken glas (de aanval).
2. De lijst vergelijken: Welke verdachte op onze lijst past het beste bij dit glas?
3. De beste gok doen: Ze berekenen welke dader het meest waarschijnlijk is, gebaseerd op wat we al wisten én wat we net zagen.

Het is alsof je zegt: "Het glas ziet eruit alsof het door een hamer is gebroken. We weten dat Dader A vaak hamers gebruikt, maar Dader B gebruikt nooit hamers. Dus, hoewel het niet 100% zeker is, is Dader A de beste gok."

4. Wat levert dit op?

Als je de dader beter kent, kun je slimmer verdedigen:

• Specifiek verdedigen: Als je weet dat de dader slim is en kleine aanpassingen maakt, hoef je niet je hele systeem te veranderen. Je kunt precies die zwakke plek repareren.
• De dader stoppen: Als je weet wie het is, kun je misschien zijn computer uitschakelen of hem opsporen, in plaats van alleen je eigen computer te beschermen.

5. Hoe goed werkt het?

De auteurs hebben dit getest op drie soorten "De Beslisser":

1. Een simpele rekenmachine (Lineaire regressie): Hier werkte het fantastisch. Ze konden de dader bijna perfect raden (99% minder fouten dan een gok).
2. Een iets complexere machine (Logistische regressie): Hier werkte het ook goed, maar het was wat lastiger.
3. Een super-slimme machine (Neuraal netwerk/MLP): Dit is het moeilijkst. Omdat deze machines zo complex zijn, is het lastiger om de dader te raden, maar het systeem slaagde er toch vaak in om de dader beter te identificeren dan een willekeurige gok.

Samenvatting in één zin

In plaats van blindelings muren te bouwen tegen onbekende aanvallen, leert dit systeem de verdediger om de dader te analyseren op basis van zijn aanval, zodat je weet wie je tegen hebt en hoe je hem het beste kunt stoppen. Het is de overstap van "Weerstand bieden" naar "De vijand begrijpen".

Technische samenvatting

Probleemstelling

Machine Learning (ML) systemen zijn kwetsbaar voor data-manipulatie-aanvallen (adversarial attacks), waarbij kleine, vaak onmerkbaar gemaakte wijzigingen in invoergegevens leiden tot verkeerde voorspellingen. Bestaande verdedigingsmechanismen (zoals adversarial regularisatie of anomaliedetectie) gaan vaak uit van een vast threat model met aangenomen parameters voor de aanvaller (kennis, capaciteiten en doelen).

Het fundamentele probleem is dat deze aannames zelden overeenkomen met de realiteit, waar aanvallerparameters niet-stationair en onbekend zijn. Dit leidt tot een "wapenwedloop" waarbij verdedigers vaak de verkeerde aannames doen. De auteurs stellen een nieuwe vraag: in plaats van alleen de aanval te verdedigen, kunnen we de aanvaller zelf identificeren op basis van de waargenomen aanval? Het doel is om de kenmerken van de aanvaller (kennis, capaciteiten, doelen) te achterhalen ("reverse engineering") om gerichte verdedigingsstrategieën te kunnen toepassen.

Methodologie

De paper presenteert een domein-agnostisch framework voor het afleiden van de parameters van een aanvaller ($ATKR$) uit een waargenomen aanval ($\alpha_{obs}$).

1. Threat Model en Parameterisatie
De aanvaller wordt gemodelleerd met drie componenten:

• K (Knowledge): De kennis van de aanvaller over het verdedigingsmodel (bijv. geschatte gewichten).
• C (Capability): De beperkingen op de verstoringen die de aanvaller kan aanbrengen (bijv. $L_\infty$-box constraints of Mahalanobis-constraints).
• O (Objective): Het doel van de aanvaller (bijv. een specifieke klasse forceren of de voorspelling maximaliseren).

2. Identificeerbaarheid en Non-Identificeerbaarheid
De auteurs bewijzen wiskundig dat de aanvaller in het algemeen niet identificeerbaar is. Zonder extra kennis kan dezelfde waargenomen aanval $\alpha_{obs}$ worden gegenereerd door verschillende combinaties van $(K, C, O)$. Er bestaat dus een equivalentieklasse van aanvallen die ononderscheidbaar zijn.

3. Probabilistisch Framework (Bayesiaanse Inferentie)
Om dit probleem op te lossen, introduceren ze een probabilistische aanpak. De verdediger ($DFDR$) gebruikt een a priori verdeling (prior belief) over de parameters van de aanvaller. Het doel is om de meest waarschijnlijke parameters te vinden die de waargenomen aanval verklaren.

Dit wordt geformuleerd als een bi-level optimalisatieprobleem:

• Buitenste niveau: Maximaliseer de posterior kans (combinatie van prior en waarschijnlijkheid van de waarneming).
  $$\hat{K}, \hat{C}, \hat{O} = \arg \max_{K,C,O} \left[ \lambda \cdot \log p(K, C, O) + \log p(\alpha_{obs} | \alpha_{opt}(K, C, O)) \right]$$
  Waarbij $\lambda$ een gewicht is dat de betrouwbaarheid van de prior versus de waarneming balanceert (en ook de optimaliteit van de aanvaller weerspiegelt).
• Binnenste niveau: Bereken de optimale aanval $\alpha_{opt}$ voor een gegeven set parameters $(K, C, O)$.

4. Implementatie in Drie Scenarios
Het framework wordt getest op drie configuraties met toenemende complexiteit:

1. Lineaire Regressie: De aanval is een repulsieve aanval onder Mahalanobis-constraints. Hier is een analytische oplossing mogelijk, wat leidt tot een stabiele en efficiënte inferentie.
2. Logistische Regressie: Een aantrekkende aanval (attractive) onder box-constraints voor classificatie. Dit vereist een benadering via interne optimalisatie.
3. Meerlaagse Perceptrons (MLP): Toepassing op diepe neurale netwerken met niet-lineaire activatiefuncties. Dit introduceert niet-convexiteit en verhoogt de rekencomplexiteit aanzienlijk.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van een methode om de doelen en parameters van een aanvaller te reverse-engineeren op basis van een enkele waargenomen aanval.
2. Wiskundige Analyse: Een bewijs dat aanvallerparameters in het algemeen niet uniek identificeerbaar zijn, wat de noodzaak onderstreept voor het gebruik van priors.
3. Domein-Agnostisch Ontwerp: Het framework is niet beperkt tot specifieke aanvalstypen of modellen, maar kan worden toegepast op lineaire modellen, logistische regressie en neurale netwerken.
4. Praktische Toepasbaarheid: Demonstratie dat kennis over de aanvaller kan worden gebruikt voor "exogene mitigatie" (bijv. het beperken van de capaciteiten van de aanvaller of het aanpassen van het systeem buiten het leerproces om).

Resultaten

De auteurs voeren experimenten uit met synthetische data en het "Pen-Based Recognition of Handwritten Digits" dataset. Ze vergelijken hun methode met een baseline waarbij de verdediger alleen de modus van de prior gebruikt (zonder aanpassing).

• Lineaire Regressie: Zeer succesvol. De methode bereikte een median error reduction (PER) van 99,14% en een maximale reductie van 99,65%. De resultaten waren zeer stabiel.
• Logistische Regressie: Significant verbetering, maar met meer variatie. Maximaal 84,56% error reductie.
• MLP: Significant verbetering, maar met de meeste variatie. Maximaal 71,68% error reductie.

De resultaten tonen aan dat het framework in de meeste gevallen de parameters van de aanvaller nauwkeurig kan schatten, vooral bij lineaire modellen.

Betekenis en Discussie

Significantie:
Dit werk verschuift de focus van puur "verdedigen tegen een aanval" naar "leren van de aanvaller". Door de aanvaller te identificeren, kunnen verdedigers:

• Exogene mitigatie toepassen (bijv. de aanvaller blokkeren of hun toegang beperken).
• Maatwerk verdediging implementeren die specifiek is afgestemd op de geïdentificeerde capaciteiten en doelen van de aanvaller, wat vaak effectiever is dan generieke verdediging.

Beperkingen en Toekomst:

• Niet-lineariteit: De prestaties nemen af bij niet-lineaire modellen (Logistiek, MLP) vanwege de complexiteit van het binnenste optimalisatieprobleem (niet-convexiteit) en het risico op lokale optima.
• Suboptimaliteit van de Aanvaller: Het framework gaat er vaak van uit dat de aanvaller optimaal handelt. Als de echte aanval suboptimaal is (bijv. door ruis of beperkte rekenkracht), introduceert dit bias in de schatting.
• Toekomstig Werk: Er is behoefte aan betere methoden om de variabiliteit bij complexe modellen te verminderen en om het framework toe te passen op campagnes van meerdere aanvallen in plaats van slechts één.

Concluderend biedt dit paper een fundamentele stap in het begrijpen van wat er "lekt" over een aanvaller wanneer ze data manipuleren, en biedt het een wiskundig onderbouwde tool om die informatie te benutten voor robuustere AI-systemen.