Explainable embeddings with Distance Explainer

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ De "Afstands-Verklarer": Waarom vindt een computer twee dingen op elkaar?

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken, zitten er hier duizenden geheime codes in. Deze codes zijn gemaakt door slimme computerprogramma's (AI). In deze bibliotheek liggen dingen die op elkaar lijken dicht bij elkaar, en dingen die totaal verschillend zijn ver weg van elkaar.

Een foto van een bij ligt dicht bij een foto van een wesp.
Een foto van een fiets ligt ver weg van een foto van een auto.

Het probleem? We zien alleen de codes, niet waarom de computer ze zo heeft ingedeeld. Voor de computer is dat logisch, maar voor ons is het een zwarte doos.

De auteurs van dit artikel, Christiaan en Patrick, hebben een nieuwe tool bedacht: de Distance Explainer (Afstands-Verklarer). Hun doel? De computer dwingen om uit te leggen: "Ik heb deze twee foto's als 'op elkaar' bestempeld, omdat ze beide deze specifieke vlekken hebben."

🎭 Hoe werkt het? (De "Vermomming"-truc)

Stel je voor dat je een schilderij hebt en je wilt weten welk deel van het schilderij het belangrijkst is om het te herkennen. Je zou kunnen proberen stukjes van het schilderij af te dekken met een doekje (een masker) en te kijken of de computer nog steeds weet wat het is.

Deze nieuwe methode doet iets vergelijkbaars, maar dan met een slimme twist:

De Referentie: Je hebt twee foto's. Laten we zeggen: een bij (foto A) en een vlieg (foto B). De computer vindt ze best wel op elkaar.
Het Vermommen: De computer neemt foto A (de bij) en plakt er honderden verschillende, willekeurige vlekken op. Soms bedekt hij de vleugels, soms de strepen, soms de achtergrond.
De Test: Elke keer dat hij een vlek bedekt, kijkt hij: "Hoe ver staan deze twee foto's nu nog van elkaar?"
- Als hij de vleugels van de bij bedekt, zegt de computer: "Oeps! Nu lijken ze totaal niet meer op elkaar. De afstand wordt enorm!" -> Conclusie: De vleugels zijn heel belangrijk voor de gelijkenis.
- Als hij de strepen bedekt, zegt de computer: "Nou ja, ze lijken nog steeds op elkaar." -> Conclusie: De strepen zijn minder belangrijk voor de gelijkenis (of ze maken ze juist anders).

🪞 De "Spiegel"-Truc (De slimme filter)

In het begin dachten de auteurs: "Laten we gewoon alle vlekken optellen die de afstand vergroten." Maar dat gaf een rommelig beeld.

Ze bedachten een slimme truc, alsof je twee spiegels tegenover elkaar zet:

Spiegel 1: Kijk naar de vlekken die de foto's dichter bij elkaar brengen (bijv. als je de achtergrond weglaat, lijken ze meer op elkaar).
Spiegel 2: Kijk naar de vlekken die de foto's verder uit elkaar duwen (bijv. als je de vleugels weglaat, lijken ze minder op elkaar).

Door deze twee spiegels tegen elkaar af te wegen (de ene kant aftrekken van de andere), krijgen ze een heel scherp beeld. Het is alsof je ruis uit een radio haalt door twee tegenstrijdige geluiden te combineren. Het resultaat is een heldere kaart die precies laat zien: "Hier zit de reden dat ze op elkaar lijken, en hier zit de reden dat ze verschillen."

🧪 Wat hebben ze getest?

Ze hebben hun tool getest op verschillende dingen:

Beeld tegen Beeld: Een bij vs. een vlieg. De tool liet zien dat de vleugels de reden waren dat ze op elkaar leken, maar de strepen waren de reden dat ze verschillend waren.
Beeld tegen Tekst: Een foto van een hond vs. de tekst "een labradoodle". De tool kon precies aangeven welke delen van de foto (oogjes, halsband) de computer zagen als een match met die tekst.

🏆 Is het betrouwbaar?

Ja! De auteurs hebben hun tool getest met strenge regels:

Stabiliteit: Als je het een beetje anders doet, verandert het antwoord niet zomaar. Het is niet willekeurig.
Eerlijkheid: Als je de "hersenen" van de computer (de modellen) verandert, verandert de uitleg ook. Dat betekent dat de tool echt naar de computer kijkt en niet zomaar een standaard antwoord geeft.

💡 Waarom is dit belangrijk?

Vroeger was het heel moeilijk om te begrijpen waarom een AI twee dingen als "verwant" zag. Dit was vooral een probleem bij complexe systemen die veel verschillende soorten data (beelden, tekst, geluid) door elkaar gebruiken.

Met deze Distance Explainer kunnen onderzoekers nu zien:

"Ah, de AI denkt dat deze twee medicijnen op elkaar lijken, omdat ze beide een specifieke chemische structuur hebben."
"De AI denkt dat deze twee mensen op elkaar lijken, niet vanwege hun gezicht, maar vanwege hun kleding."

Dit maakt AI transparanter en betrouwbaarder. Het is alsof je eindelijk de deuren van de zwarte doos open hebt gezet en kunt zien wat er binnenin gebeurt.

Samenvatting in één zin:

De auteurs hebben een slimme "vermomming-truc" bedacht die een computer dwingt om uit te leggen waarom hij twee dingen als op elkaar of verschillend ziet, door te kijken welke delen van de foto's of teksten die beslissing beïnvloeden.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Hoewel het veld van Explainable AI (XAI) aanzienlijke vooruitgang heeft geboekt voor afzonderlijke inputmodi (zoals afbeeldingen, tekst of tabellen), ontbreekt er een robuuste methodiek voor het interpreteren van embedded spaces (ingebouwde vectorruimtes). In deze ruimtes worden data-items omgezet in vectorrepresentaties waarbij de afmetingen complexe abstracties vertegenwoordigen. Bestaande XAI-methoden zoals RISE, LIME of GradCAM zijn meestal ontworpen voor een enkele input en een specifieke output (bijv. een klassificatie). Ze zijn minder geschikt om de afstand (dissimilariteit) of gelijkheid (similariteit) tussen twee data-items in een gedeelde vectorruimte te verklaren. Dit is een kritiek gat, gezien het wijdverbreide gebruik van embedded spaces in modellen zoals FaceNet, Word2vec en multi-modale modellen zoals CLIP.

Methodologie: Distance Explainer

De auteurs introduceren Distance Explainer, een post-hoc methode voor het genereren van lokale attributiekaarten die uitleggen waarom twee data-items dicht bij elkaar of ver van elkaar liggen in een embedded space. De methode is een adaptatie van RISE (Randomized Input Sampling for Explanation), maar met specifieke aanpassingen voor afstandsberekening.

Kernstappen van het algoritme:

Referentie en Doel: Het proces vergelijkt een "te verklaren" item ( $e$ ) met een "referentie" item ( $r$ ). De referentie kan in gecodeerde vorm worden ingevoerd, wat modale onafhankelijkheid mogelijk maakt.
Random Masking: Er worden $N$ willekeurige binaire maskers gegenereerd voor het item $e$ . Maskerde pixels worden vervangen door een basiswaarde.
Afstandsberekening: Voor elk gemaskerd item wordt de afstand ( $d_i$ ) tot de referentie $r$ berekend in de embedded space (bijv. Cosine-afstand).
Ranking en Filtering (Cruciaal verschil met RISE):
- In plaats van maskers te wegen op basis van class-scores (zoals bij RISE), worden de maskers gerangschikt op basis van de berekende afstand.
- Er wordt een distance-ranked mask filtering toegepast. Dit kan gebeuren via:
  - Top x%: Maskers die de afstand vergroten (highlighten wat het item uniek maakt ten opzichte van de referentie).
  - Bottom x%: Maskers die de afstand verkleinen (highlighten wat het item gemeen heeft met de referentie).
  - Mirror mode: Een combinatie van beide waarbij de bottom-maskers van de top-maskers worden afgetrokken. Dit verhoogt het signaal-ruisverhouding door gedeeltelijke ruisannulering.
Attributiekaart: De geselecteerde maskers worden opgeteld (zonder gewichten) om een attributiekaart te genereren die aangeeft welke beeldgebieden bijdragen aan de gelijkenis of ongelijkheid.

Technische keuzes:

Afstandsmetriek: Cosine-afstand wordt geprefereerd boven Euclidische afstand omdat deze focust op hoekverschillen in plaats van vectorgrootte, wat essentieel is voor normalisatie in modellen zoals ImageNet-classifiers.
Modale onafhankelijkheid: De methode vereist alleen een modale specifieke maskerfunctie, waardoor het toepasbaar is op afbeeldingen, tekst (via DIANNA) en tijdreeksen.

Belangrijkste Bijdragen

Nieuwe XAI-paradigma: De eerste methode die specifiek is ontworpen om de afstand tussen twee punten in een embedded space lokaal te verklaren, in plaats van alleen een enkele classificatie.
Modale Onafhankelijkheid: In tegenstelling tot eerdere werken zoals S-RISE (specifiek voor gezichtsherkenning), is Distance Explainer toepasbaar op willekeurige embedded spaces en multi-modale paren (bijv. afbeelding vs. tekst).
Innovatieve Filtering: De introductie van "distance-ranked mask filtering" en de "mirror mode" lost het probleem op van het ontbreken van class-probabiliteiten in afstandsberekeningen.
Open Source: De implementatie, code en datasets zijn openbaar beschikbaar gesteld.

Resultaten

De methode is geëvalueerd op ImageNet-modellen (ResNet50, VGG16) en het CLIP-model (ViT-B/32) voor zowel beeld-beeld als beeld-tekst paren.

Kwantitatieve Evaluatie:
- Faithfulness (Betrouwbaarheid): Via Incremental Deletion werd aangetoond dat het verwijderen van de door de methode geïdentificeerde "belangrijke" pixels leidt tot de grootste veranderingen in de afstand tot de referentie.
- Robuustheid (Sensitivity): De methode toonde lage gevoeligheid voor kleine invoerwijzigingen (gemiddelde sensitiviteit van 0.04 - 0.06), wat aangeeft dat de resultaten stabiel zijn.
- Randomization (MPRT): Bij het randomiseren van de modelgewichten veranderden de attributiekaarten direct en volledig. Dit bewijst dat de uitleg afhankelijk is van de geleerde modelparameters en niet op voorafgaande kennis (zoals randdetectie) berust.
Kwalitatieve Evaluatie:
- De attributiekaarten identificeerden semantisch relevante kenmerken. Bijvoorbeeld: bij een bij vs. vlieg-comparatie werden vleugels geïdentificeerd als kenmerkend voor de gelijkenis, terwijl strepen de afstand vergrootten.
- Bij beeld-tekst paren (CLIP) werden de juiste objecten gelinkt aan de tekst (bijv. een hond en een auto in één beeld werden correct gescheiden bij vergelijking met respectievelijk "hond" en "auto").
Parameter Sensitiviteit:
- Het aantal maskers ( $N_{masks}$ ) heeft een direct effect op de stabiliteit; 1000 maskers bleek een goede balans.
- De "mask coverage" ( $p_{keep}$ ) en resolutie moeten worden afgestemd op de specifieke data; te grove maskers missen details, te fijne maskers introduceren ruis.

Betekenis en Toekomstperspectief

Dit werk vult een cruciaal gat in XAI-onderzoek door transparantie te bieden in de "zwarte doos" van embedded spaces, die steeds vaker worden gebruikt voor complexe fenomenen zoals taalverwerving en multi-modale redenering.

Vertrouwen: Het verhoogt het vertrouwen in diepe leermodellen door te laten zien waarom twee items als vergelijkbaar of verschillend worden gezien.
Toepasbaarheid: De methode is niet beperkt tot afbeeldingen; door het gebruik van bestaande maskeringsbibliotheken (zoals DIANNA) is uitbreiding naar tekst, tabellen en tijdreeksen direct mogelijk.
Beperkingen en Kansen: De huidige uitdagingen liggen in het fijnafstemmen van parameters (zoals het aantal maskers) en het risico op out-of-distribution (OOD) invoer door het maskeren. Toekomstig werk richt zich op het optimaliseren van de invulstrategie (inpainting) en het testen op menselijke interpreteerbaarheid.

Kortom, Distance Explainer biedt een robuust, model-onafhankelijk framework om de semantische relaties in vectorruimtes te ontrafelen, wat essentieel is voor de verdere adoptie van geavanceerde AI-systemen in wetenschappelijk en praktisch onderzoek.