🤖 machine learning

Mechanistic Anomaly Detection via Functional Attribution

Dit artikel introduceert een modale-agnostische methode voor mechanistische anomaliedetectie die de betrouwbaarheid van neurale netwerken waarborgt door functionele attributie en invloedsfuncties te gebruiken om afwijkingen in interne mechanismen, zoals backdoors en adversariale aanvallen, te identificeren zonder afhankelijk te zijn van latente ruimtes.

Oorspronkelijke auteurs: Hugo Lyons Keenan, Christopher Leckie, Sarah Erfani

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hugo Lyons Keenan, Christopher Leckie, Sarah Erfani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De "Inwendige" Detectie: Hoe we oplichters in AI opsporen

Stel je voor dat je een zeer slimme robot hebt die foto's herkent. Als je een foto van een vliegtuig laat zien, zegt hij: "Vliegtuig!" en dat is correct. Maar wat als iemand de robot heeft gehackt? Wat als hij een foto van een vliegtuig ziet, maar in zijn "hersenen" (de interne werking) kijkt hij in feite naar een klein, onzichtbaar streepje op de foto en zegt daarom "Vliegtuig"?

Op het eerste gezicht lijkt het antwoord perfect. Maar de robot heeft een gevaarlijke truc gebruikt. Dit noemen onderzoekers een "backdoor" (een achterdeurtje).

Het probleem is: we kunnen zien wat de robot zegt, maar we weten niet hoe hij erachter kwam. Bestaande methoden om dit te detecteren kijken vaak alleen naar het eindresultaat of naar de "dromen" van de robot (de interne data). Maar slimme hackers kunnen hun trucjes zo verstoppen dat ze eruitzien als normale dromen.

De oplossing uit dit papier:
De onderzoekers (Hugo, Christopher en Sarah) hebben een nieuwe manier bedacht. Ze kijken niet naar de dromen, maar naar de werkingswijze. Ze vragen zich af: "Gebruikt deze robot voor dit antwoord dezelfde interne gereedschapskist als voor de normale dingen die we kennen?"

🧩 De Vergelijking: De "Recepten" van de Chef-kok

Laten we dit uitleggen met een chef-kok in een restaurant.

De Normale Situatie:
De chef maakt een heerlijke taart. Hij gebruikt bloem, suiker en eieren. Als je vraagt "Hoe heb je deze taart gemaakt?", zegt hij: "Ik heb bloem gebruikt." Dit is normaal.
De Hack (Backdoor):
Iemand heeft de keuken van de chef gehackt. Er ligt nu een onzichtbaar poeder op de plank. Als de chef een taart ziet met dit poeder, gebruikt hij alleen dat poeder om te beslissen dat het een taart is, en negeert hij de bloem en suiker.
- Het probleem: Als je de taart proeft, smaakt hij nog steeds als een taart. De klant (de gebruiker) ziet niets mis. Maar de chef heeft een heel ander, gevaarlijk recept gebruikt.
De Oude Detectie (Kijken naar de ingrediënten):
De oude methoden kijken naar de ingrediëntenlijst die de chef opschrijft. Als de hacker slim is, schrijft hij gewoon "bloem" op, terwijl hij in feite het poeder gebruikt. De oude methoden worden bedrogen.
De Nieuwe Methode (De "Influential Functions"):
De onderzoekers doen iets anders. Ze nemen een vertrouwde taart (een taart die ze weten dat de chef normaal heeft gemaakt) en vergelijken deze met de verdachte taart.

Ze doen een experiment: ze veranderen heel subtiel de keuken (de "parameters" van de robot).
- Als ze de bloem in de keuken iets aanpassen, verandert de smaak van de normale taart een beetje.
- Als ze dezelfde verandering doen, verandert de smaak van de verdachte taart (die op het poeder leunt) helemaal niet, of juist heel raar.
De conclusie: Als de verdachte taart niet reageert op dezelfde veranderingen als de normale taart, betekent dit dat ze een ander recept gebruiken. De robot gebruikt een "achterdeur" in plaats van de normale logica.

🛠️ Hoe werkt het technisch (in simpele taal)?

De onderzoekers gebruiken een wiskundig hulpmiddel dat ze "Influence Functions" noemen.

Stel je voor: Je hebt een grote, complexe machine. Je wilt weten of een nieuwe knop (een nieuwe foto of tekst) dezelfde interne tandwielen draait als de oude knoppen.
De truc: Ze laten de machine heel snel een beetje "wankelen" (ze veranderen de instellingen van de machine heel even).
De meting: Ze kijken of de machine op de nieuwe knop reageert op precies dezelfde manier als op de oude, vertrouwde knoppen.
- Ja? Dan is het veilig. Het gebruikt dezelfde interne logica.
- Nee? Dan is er iets mis. De machine gebruikt een verborgen, vreemd mechanisme om tot dat antwoord te komen.

🌍 Wat hebben ze ontdekt?

Ze hebben deze methode getest op twee gebieden:

Foto's (Visie): Ze hebben getest of ze hacken konden opsporen in systemen die foto's herkennen (zoals gezichtsherkenning). Ze waren extreem goed in het opsporen van "achterdeurtjes", zelfs als de hackers probeerden hun sporen te wissen. Ze scoorden beter dan alle andere methoden.
Taal (LLM's): Ze testten het ook op slimme taalmodellen (zoals ChatGPT). Ze konden zien of een model een trucje gebruikte om een specifiek antwoord te geven als een bepaalde "trigger" (een geheim woord) in de tekst stond. Zelfs als de hacker probeerde de truc zo te verstoppen dat de interne data er normaal uitzag, zag hun methode het verschil in de werkingswijze.

💡 Waarom is dit belangrijk?

Vroeger keken we alleen naar het antwoord van de AI. "Is het antwoord correct?"
Nu kijken we naar de gedachtegang. "Is het antwoord eerlijk verkregen?"

Het is alsof je niet alleen kijkt of een student het juiste antwoord op een examen heeft, maar ook of hij het antwoord heeft opgeschreven door na te denken, of dat hij een briefje met het antwoord in zijn mouw heeft.

Kortom:
Deze nieuwe methode is een super-veiligheidscontrole. Het kijkt niet naar wat de AI zegt, maar naar hoe de AI denkt. Als de manier van denken afwijkt van wat we weten dat veilig is, slaat het alarm. Dit maakt AI-systemen veel veiliger, vooral in belangrijke situaties zoals medische diagnoses of zelfrijdende auto's.

Probleemstelling

De veilige implementatie van neurale netwerken wordt belemmerd door het onvermogen om te bepalen of een output wordt gegenereerd door normale interne processen of door abnormale mechanismen (zoals achterdeurtjes, adversariale aanvallen of out-of-distribution data).

Huidige beperkingen: Bestaande methoden voor Mechanistic Anomaly Detection (MAD) vertrouwen vaak op analyse van de latente ruimte (bijv. reconstructie-fouten of afstanden in feature-ruimtes). Deze benaderingen zijn kwetsbaar voor obfuscatie: tegenstanders kunnen inputs ontwerpen die schadelijk gedrag vertonen maar toch normale activatiepatronen nabootsen, waardoor ze deze verdedigingen omzeilen.
Doel: Er is een methode nodig die onafhankelijk is van de input-modality (beeld, tekst) en niet afhankelijk is van de interne activatiewaarden, maar wel de onderliggende functionele mechanismen van het model kan detecteren.

Methodologie: Functionele Attributie

De auteurs herformuleren MAD als een probleem van functionele attributie. In plaats van te kijken naar wat er in de latent space gebeurt, vragen ze: "In welke mate kunnen samples uit een vertrouwd (trusted) set het gedrag van het model op een test-input verklaren?"

De kern van de methode is het gebruik van Bayesian Influence Functions (BIFs):

Concept: Influence functions meten hoe het gedrag op het ene sample (bijv. een vertrouwd sample) correleert met het gedrag op een ander sample (de test-input) via hun gedeelde afhankelijkheid van de modelparameters.
Implementatie (SGLD): Omdat exacte berekening van Hessians in grote netwerken onmogelijk is, gebruiken de auteurs Stochastic Gradient Langevin Dynamics (SGLD). Ze stalen parameters rondom de getrainde gewichten ( $w^*$ ) uit een gelokaliseerde posterior-verdeling.
Detectie-score:
- Voor een test-sample $x_{test}$ en een set van vertrouwde samples $D_T$ , worden de loss-waarden berekend voor elke parameter-steekproef.
- Er wordt een correlatie (of covariantie) berekend tussen de loss-traces van de test-sample en die van de vertrouwde samples.
- Logica: Als de test-sample een normaal mechanisme gebruikt, zal de loss-correlatie hoog zijn met de vertrouwde samples. Als het een abnormaal mechanisme (zoals een achterdeur) gebruikt, zal de correlatie laag zijn omdat de gradienten in verschillende subspaces van de parameter-ruimte opereren.
Theoretische onderbouwing: De auteurs tonen aan dat abnormale mechanismen (zoals achterdeurtjes) zich vaak "verstoppen" in vlakke richtingen (flat directions) van de Hessian-eigenspectrum. Veranderingen in deze richtingen hebben weinig invloed op de prestaties van schone data. Schone data daarentegen activeert scherpe richtingen (sharp directions). Omdat de influence function gewogen wordt door de inverse Hessian, worden gradienten in vlakke richtingen zwaar gewogen, wat leidt tot een lage correlatie tussen schone en abnormale samples.

Belangrijkste Bijdragen

Nieuwe Formulering: MAD wordt herdefinieerd als functionele attributie naar vertrouwde data, wat de noodzaak van latent space-analyse elimineert.
Theoretische Grondslag: Er wordt een theoretisch bewijs geleverd gebaseerd op de eigenschappen van de Hessian, waarbij wordt aangetoond dat abnormale mechanismen gradient-energie concentreren in vlakke richtingen die orthogonaal zijn aan de richtingen die normaal gedrag bepalen.
Modality-Agnostisch: De methode werkt zowel voor visuele modellen (CNNs) als taalmodellen (LLMs) zonder aanpassingen aan de architectuur.
Schaalbaarheid: De methode vereist alleen een differentieerbaar model en een kleine set vertrouwde samples; er is geen toegang tot de oorspronkelijke trainingsdata nodig.

Resultaten

De methode is uitgebreid geëvalueerd op verschillende benchmarks:

Backdoor-detectie in Beeldmodellen (BackdoorBench):
- De methode bereikte een State-of-the-Art (SOTA) prestatie op de BackdoorBench.
- Gemiddelde Defense Effectiveness Rating (DER) van 0.93 over zeven aanvallen en vier datasets (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet). De beste bestaande methode scoorde 0.83.
- De methode presteerde stabiel over verschillende aanvalstypen (Blended, BPP, LF, SIG, etc.) en vergiftigingspercentages (0.1% tot 10%).
Backdoor-detectie in Taalmodellen (LLMs):
- Toepassing op Gemma 2-2B en Llama 3.1 8B.
- Bereikte een AUROC van >0.98 voor verschillende soorten achterdeuren, inclusief complexe contextuele triggers.
- Cruciaal: De methode slaagde in het detecteren van expliciet geobfuscateerde modellen (waarbij de achterdeur zo is getraind dat de latent space-methoden falen). Waar baselines faalden door de obfuscatie, behaalde de auteurs' methode een perfecte AUROC (1.0), omdat deze niet afhankelijk is van activatiepatronen.
Detectie van andere pathologieën:
- De methode kan ook Adversarial Examples en Out-of-Distribution (OOD) samples detecteren.
- In UMAP-projecties van de correlaties vormen verschillende soorten anomalieën (backdoors, adversariaal, OOD) duidelijke, gescheiden clusters, wat aantoont dat de methode verschillende functionele modi binnen één model kan onderscheiden.

Betekenis en Impact

Robuustheid tegen Obfuscatie: Dit is de belangrijkste bijdrage. Omdat de methode niet kijkt naar hoe het model reageert (activaties), maar naar welke interne mechanismen worden gebruikt (via parameter-sensitiviteit), is het immuun voor aanvallen die specifiek ontworpen zijn om latent space-detectoren te misleiden.
Complementair: Het biedt een decorreleerd signaal dat kan worden gecombineerd met bestaande latent space-methoden voor een sterkere algehele verdediging.
Toekomstige Toepassingen: Hoewel getest op achterdeuren, biedt de methode een raamwerk voor het detecteren van elke vorm van "niet-normaal redeneren" in AI-systemen, wat essentieel is voor de veiligheid van geavanceerde AI-systemen (alignment).
Beperkingen: De methode is computatiever dan latent space-methoden omdat deze meerdere forward passes en gradient-berekeningen vereist (via SGLD). Echter, de auteurs tonen aan dat de prestaties stabiel blijven met een relatief klein aantal steekproeven (bijv. 250-500 draws).

Kortom, dit paper introduceert een fundamenteel nieuwe manier om de "gezondheid" van de interne redenering van een AI-model te controleren, wat een grote stap voorwaarts is in de strijd tegen onzichtbare manipulaties van neurale netwerken.