🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Dit artikel introduceert DECAF, een nieuw framework dat perturbatiegebaseerde modelverklaringen deelt in afzonderlijke componenten van bewijs, tegenstrijdigheid en fragiliteit, waarmee wordt aangetoond dat deze trajectbewuste aanpak traditionele op grootte gebaseerde attributiemethoden aanzienlijk overtreft in nauwkeurigheid, efficiëntie en interpreteerbaarheid over diverse visuele en tabulaire taken.

Oorspronkelijke auteurs: Lei You

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lei You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen waarom een vriend een specifieke keuze heeft gemaakt, zoals het kiezen van een rood shirt boven een blauw shirt. Je zou kunnen vragen: "Hoeveel reageerde hij op de kleur?" Als hij direct naar het rode shirt greep, zou je zeggen: "Wauw, enorme reactie!" Maar hier komt het lastige gedeelte: een enorme reactie betekent niet altijd hetzelfde. Misschien vond hij het rode shirt geweldig (een goede reden). Misschien haatte hij het blauwe shirt zo erg dat hij het rode shirt pakte om er alleen al maar vanaf te zijn (een slechte reden). Of misschien greep hij naar het rode shirt omdat hij in de war was, om er halverwege pas achter te komen dat hij eigenlijk de hele tijd de voorkeur aan het blauwe shirt had gegeven (een vluchtige, fragiele reactie).

Dit is de wereld van "AI-uitlegbaarheid" (AI explainability), een vakgebied waar wetenschappers proberen in de "black box" van computermodellen te kijken om te zien wat ze denken. Lange tijd was de belangrijkste tool hiervoor het meten van de "magnitude" van een reactie—in feite hoe groot de verandering in het antwoord van de AI was wanneer je de input een klein beetje aanpaste. Het is als het meten van hoe hard een deur dichtvalt. Maar zoals dit nieuwe artikel aantoont, vertelt weten dat de deur hard dichtviel je niet of hij uit woede, vreugde of door een windvlaag die niet eens echt bleef hangen, werd dichtgeslagen. De auteur, onder leiding van Lei You van de Technische Universiteit van Denemarken, betoogt dat we de betekenis achter het lawaai hebben genegeerd, en zij hebben een nieuwe manier ontwikkeld om dat te ontrafelen.

Het artikel introduceert een methode genaamd DECAF (wat staat voor Decomposition of Evidence, Contradiction, and Fragility). Denk aan DECAF als een super slimme detective die niet alleen luistert naar hoe hard de deur dichtvalt, maar ook naar het hele verhaal van hoe de persoon de deur nadert.

Zo werkt DECAF, met behulp van een simpel verhaal: Stel je voor dat je naar een goocheltruc kijkt waarbij een goochelaar een kaart verandert van een Koning naar een Vrouw.

Evidence (Bewijs): Naarmate de goochelaar de kaart onthult, als de verandering aanvoelt alsoals een opbouw naar het uiteindelijke resultaat (de Vrouw), noemt DECAF dit Evidence. Het is het deel van de reactie dat het uiteindelijke besluit ondersteunt.
Contradiction (Tegenstrijdigheid): Soms kan de kaart een fractie van een seconde op een Koning lijken, dan op een Vrouw, en dan weer terug op een Koning, voordat hij uiteindelijk op de Vrouw landt. Als de reactie op enig moment tegen het uiteindelijke resultaat in gaat, noemt DECAF dit Contradiction. Het is alsof de AI zegt: "Wacht, ik dacht dat het een Koning was!" voordat hij van gedachten verandert.
Fragility (Fragiliteit): Stel je tot slot voor dat de goochelaar een kaart zwaait die op een Vrouw lijkt, maar als je aan het einde goed kijkt, is het eigenlijk gewoon een blanco stuk papier. De kaart leek te veranderen, maar het uiteindelijke resultaat was "niets". Als de AI sterk reageert tijdens de truc, maar het uiteindelijke antwoord is nagenoeg nul, noemt DECAF dit Fragility. Een reactie die alleen bestaat vanwege het pad dat genomen is, niet vanwege een echt verschil.

De auteur heeft dit idee op een paar verschillende manieren getest. Eerst creëerden ze gecontroleerde videogames en puzzels waarbij ze precies wisten wat de AI zou moeten doen. Ze ontdekten dat DECAF kon detecteren wanneer een AI vertrouwde op een "shortcut" (zoals gokken op basis van de achtergrondkleur) versus het eigenlijke object. Als de AI een shortcut gebruikte, kwam de "Evidence"-score van DECAF perfect overeen met dat gedrag. Als de AI in de war was of van gedachten veranderde, schoot de "Contradiction"-score omhoog.

Vervolgens namen ze dit mee naar de echte wereld met een enorme test waarbij 72 verschillende AI-modellen keken naar afbeeldingen uit de ImageNet-9 dataset (een collectie foto's met verschillende achtergronden). Ze vergeleken gevallen waar de AI exact dezelfde "luidheid" van reactie had, maar andere onderliggende gedragingen vertoonde.

Het resultaat: Als je alleen naar de luidheid (magnitude) keek, zou je het juiste gedrag slechts 35,0% van de tijd correct raden. Het was in feite een muntje opgooien.
De DECAF-oplossing: Wanneer ze DECAF gebruikten om naar het type reactie te kijken (Evidence vs. Contradiction vs. Fragility), hadden ze 96,4% van de tijd het juiste antwoord.

Het artikel ontdekte ook iets verrassends over hoe we informatie aan de AI onthullen. Ze testten twee manieren om een afbeelding te tonen: één waarbij de hele afbeelding langzaam vervaagt (zoals een blend), en één waarbij de afbeelding stukje voor stukje wordt onthuld (als een puzzel). Ze ontdekten dat het veranderen van hoe de afbeelding wordt onthuld, de totale "luidheid" van de reactie met bijna 80% veranderde. Echter, de "Evidence" (de goede, solide redenen) veranderde nauwelijks. In plaats daarvan explodeerde de "Fragility" (het verwarrende, pad-afhankelijke lawaai) en groeide met meer dan 4 keer. Dit bewijst dat de totale omvang van een reactie misleidend kan zijn; het vertelt vaak alleen hoe gevoelig de AI is voor de methode van het tonen van de afbeelding, en niet voor de afbeelding zelf.

Ten slotte toonde de auteur aan dat DECAF ongelooflijk efficiënt is. Op een enorm AI-model met 1 miljard parameters (een DINOv2-model) kon DECAF zijn werk doen in 4,75 keer minder tijd en met 2,36 keer minder geheugen dan andere populaire methoden, terwijl het nog steeds even goed zijn werk deed.

Kortom, het artikel suggereert dat we te veel gefocust zijn op hoeveel een AI reageert en niet genoeg op wat die reactie betekent. Door reacties af te breken in Evidence (ondersteuning), Contradiction (tegenspraak) en Fragility (vluchtig lawaai), geeft DECAF ons een veel duidelijker en eerlijker beeld van wat deze digitale breinen daadwerkelijk denken. Het is een tool die niet alleen de klap van de deur meet, maar ons helpt te begrijpen waarom de deur überhaupt dichtviel.

Technische Samenvatting: DECAF – Decompositie van Bewijs, Tegenstrijdigheid en Fragiliteit in Perturbatie-responsen

1. Probleemstelling

Perturbatie-gebaseerde uitlegmethoden interpreteren de beslissingen van een model door de veranderingen in voorspellingen te meten onder gewijzigde inputs. Er bestaat echter een fundamentele semantische kloof: de standaardmetriek, responsmagnitude (het absolute verschil in voorspellingen), kwantificeert hoeveel een model reageert, maar legt niet uit wat die reactie betekent.

Het artikel identificeert dat identieke responsmagnitudes kunnen voortkomen uit drie verschillende gedragsregimes:

Alignment (Afstemming): De reactie ondersteunt het uiteindelijke feitelijke–contrafactuele verschil.
Opposition (Oppositie): De reactie staat tegenover het uiteindelijke verschil (bijv. een tussenstap suggereert één uitkomst, maar de eindtoestand suggereert een andere).
Fragility (Fragiliteit): De reactie is sterk langs het perturbatiepad, maar verdwijnt bij het eindpunt, wat wijst op gevoeligheid voor het onthullingsproces in plaats van een betekenisvol eindeffect.

Het behandelen van deze verschillende gedragingen als equivalent verhult cruciale interpretatieve informatie. Bestaande methoden reduceren complexe trajecten vaak tot een enkele scalaire waarde of vertrouwen op gradiënt-gebaseerde interne signalen, waardoor de semantische rol van tussenliggende responsen ten opzichte van het uiteindelijke contrast wordt gemist.

2. Methodologie: DECAF

De auteur introduceert DECAF (Decomposition of Evidence, Contradiction, And Fragility), een model-agnostisch framework dat gepaarde perturbatie-responsen decomponieert in drie semantische componenten.

Formele Opstelling

Gegeven een model scorefunctie $q$ , een feitelijke input $x^+$ en een contrafactuele $x^-$ , is het uiteindelijke contrast $d = q(x^+) - q(x^-)$ . Een gepaard onthullingstraject $(x^+(t), x^-(t))$ voor $t \in [0, 1]$ start vanuit een oninformatieve staat $x^0$ en vordert naar de eindpunten. De gesigneerde fase-respons is $r(t) = q(x^+(t)) - q(x^-(t))$ .

Semantische Routering

DECAF gebruikt het uiteindelijke contrast $d$ als een semantische referentie om tussenliggende responsen $r(t)$ te routeren:

Gate ( $a$ ): Een binaire poort bepaalt of het uiteindelijke contrast betekenisvol is ( $|d| \ge \epsilon$ ).
Orientation ( $s$ ): Het teken van $d$ ( $s = \text{sign}(d)$ ) definieert de "correcte" richting.
Decompositie: De respons wordt gerouteerd naar drie componenten:
- Evidence (Bewijs - $E$ ): Responsen die in lijn liggen met de uiteindelijke richting wanneer het uiteindelijke contrast actief is ( $a=1, s \cdot r(t) > 0$ ).
- Contradiction (Tegenstrijdigheid - $C$ ): Responsen die de uiteindelijke richting tegenwerken wanneer het uiteindelijke contrast actief is ( $a=1, s \cdot r(t) < 0$ ).
- Fragility (Fragiliteit - $F$ ): Responsen die optreden wanneer het uiteindelijke contrast verwaarloosbaar is ( $a=0$ ), wat staat voor gevoeligheid die niet standhoudt tot het eindpunt.

De decompositie is verliesloos: $|r(t)| = e(t) + c(t) + f(t)$ . De geaggregeerde metrieken zijn de verwachte waarden van deze componenten over het traject en de dataset.

Theoretische Fundamenten

Het artikel bewijst dat onder drie operationele axioma's — Conservation (geen magnitude gaat verloren), Endpoint Gating (fragiliteit is geïsoleerd tot verwaarloosbare eindpunten) en Directional Support (bewijs/tegenstrijdigheid worden gescheiden door het teken) — deze routering uniek is. Bovendien is DECAF een strikte verfijning van gewone magnitude; terwijl magnitude afgeleid kan worden van DECAF ($Abs = E + C + F$), is het omgekeerde onmogelijk, aangezien verschillende gedragsprofielen (bijv. puur bewijs versus pure tegenstrijdigheid) identieke magnitudes kunnen opleveren.

3. Belangrijkste Bijdragen

Probleemidentificatie: Het expliciet definiëren van de semantische kloof in perturbatie-uitleg waarbij magnitude faalt om onderscheid te maken tussen afstemming, omkering en pad-afhankelijke gevoeligheid.
Paired Reveal Interface: Het introduceren van een framework om feitelijk–contrafactuele contrasten te volgen langs gematchte trajecten terwijl informatie progressief wordt onthuld.
DECAF Algoritme: Een verliesloze, unieke decompositie van responsen in Bewijs, Tegenstrijdigheid en Fragiliteit op basis van eindpunt-relatieve semantiek. Het vereist geen gradiënten, interne activaties of geleerde explainer-modellen.
Gedragsvalidatie: Het demonstreren dat deze componenten onafhankelijk gemeten gedragingen (shortcut-reliantie, effect-omkering en off-path gevoeligheid) volgen bij neurale, lineaire en boom-gebaseerde modellen.
Praktisch Nut: Het aantonen dat DECAF de respons-semantiek herstelt zelfs wanneer magnitudes gelijk zijn en stabiele cross-protocol diagnostiek biedt.

4. Experimentele Resultaten

Gecontroleerde Validatie (3D Shapes & Covertype)

Evidence: In visietaken met gecorreleerde shortcuts (bijv. muurkleur versus objectvorm), correleert de Evidence-component ( $E$ ) sterk (Spearman $\rho = 0.936$ ) met de kwetsbaarheid van een model voor shortcut-omkering.
Fragility: In taken die ontworpen zijn om gevoeligheid voor tussenliggende staten op te wekken (bijv. veranderingen in vloerkleur), volgt de Fragility-component ( $F$ ) de snelheid van voorspellingsveranderingen op endpoint-null paren ( $\rho = 0.974$ ).
Contradiction: In taken waar een effect van richting verandert onder contextverandering, volgt Contradiction ( $C$ ) de label-swap rate ( $\rho = 0.961$ ), terwijl gewone magnitude faalt ( $\rho = -0.036$ ).
Tabulaire Transfer: Op de Covertype-dataset volgen de DECAF-componenten succesvol preservatie, inversie en endpoint-null veranderingen over 135 classifiers (lineair, boom en neuraal), waarbij ze SHAP en andere baselines overtreffen in mechanisme-identificatie.

Real-World Audit (ImageNet-9)

Semantisch Herstel: Op een 72-model zoo (24 off-the-shelf ImageNet-1k modellen en 48 gefinetunede ImageNet-9 modellen) identificeert DECAF correct de dominante gedragsrol (Evidence, Contradiction of Fragility) in 96,4% van de gevallen waar modellen bijna identieke responsmagnitudes hebben. In contrast bereikt magnitude alleen slechts 35,0% nauwkeurigheid.
Padgevoeligheid: Het veranderen van het onthullingspad (bijv. van een globale blend naar een patch-by-patch onthulling) verhoogde de totale responsmagnitude met bijna 80%, maar deze toename werd bijna volledig gedreven door Fragility en Contradiction, terwijl Evidence stabiel bleef. Dit demonstreert dat een hogere magnitude niet noodzakelijkerwijs een sterker bewijs impliceert.
Rangschikkingsstabiliteit: Modelrangschikkingen gebaseerd op gewone magnitude waren zeer instabiel over verschillende onthullingspaden ( $\rho \approx 0.17$ ), terwijl rangschikkingen gebaseerd op Evidence en Contradiction stabiel bleven ( $\rho > 0.77$ ).

Attributie Benchmarks & Schaalbaarheid

Prestaties: Op FunnyBirds en ImageNet-1k presteerden korte forward-only DECAF-trajecten (3–9 stadia) beter dan geteste algemene attributie-baselines (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Efficiëntie: Op een 1B-parameter DINOv2-model kwam een korte DECAF-traject de kwaliteit van een sterke gradiënt-gebaseerde baseline (Integrated Gradients) evenarend met 4,75× lagere wall time en 2,36× minder piekgeheugen, aangezien DECAV alleen forward passes vereist.

5. Betekenis en Claims

Het artikel claimt dat DECAF een semantische ambiguïteit aanpakt die inherent is aan perturbatie-methoden. Door de respons-traject te decomponeren relatief aan het uiteindelijke contrast, onthult het welk type respons een bepaalde magnitude heeft voortgebracht.

Interpreteerbaarheid: Het maakt onderscheid tussen een model dat consistent een kenmerk gebruikt (Evidence), een model dat verward is of zijn beslissing omkeert (Contradiction), en een model dat gevoelig is voor het specifieke pad van onthulling maar niet voor de eindtoestand (Fragility).
Robuustheid: De componenten bieden stabielere diagnostiek over verschillende perturbatie-protocollen dan ruwe magnitude.
Efficiëntie: Het biedt een hoogwaardige, model-agnostische uitlegmethode die efficiënt schaalt naar grote modellen zonder gradiënten of interne toegang te vereisen.

De auteur benadrukt dat deze rollen relatief zijn aan het gekozen contrafactuele paar, de score en het onthullingspad; ze infereren geen latente causale mechanismen, maar beschrijven het observeerbare gedrag van de respons van het model op een specifieke interventie. Het werk suggereert dat toekomstige uitleginspanningen verder moeten gaan dan scalaire magnitudes om de semantische compositie van de respons-traject te overwegen.