🤖 machine learning

Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

Dit artikel stelt voor om de LIME-uitlegbaarheidsmethode te verbeteren door traditionele pixelgebaseerde perturbaties te vervangen door generatieve inpainting om fotorealistische, in-distributie monsters te produceren die de kwaliteit en betrouwbaarheid van visuele verklaringen voor machine learning-modellen aanzienlijk verbeteren.

Oorspronkelijke auteurs: Josef Lindl, Mariana Chaves, Damien Garreau

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Josef Lindl, Mariana Chaves, Damien Garreau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te vogelen hoe een superintelligente robot de wereld ziet. Je vraagt het hem: "Wat maakt deze foto een hond?" en hij zegt: "De oren!" Maar hoe weet je dat hij niet gewoon gokt vanwege een vreemde schaduw of een specifieke kleur? Dit is de wereld van Explainable AI (XAI). Het is het vakgebied dat zich ermee bezighoudt om in de "black box" van kunstmatige intelligentie te kijken om te zien wat er werkelijk gebeurt. Een populaire manier om dit te doen is perturbatie (verstoring). Denk aan een spelletje "Wat als?" met een foto. Je dekt delen van de afbeelding af—misschien de oren of de staart van de hond—en vraagt aan de robot: "Denk je nog steeds dat dit een hond is?" Als de robot plotseling stopt met het herkennen van de hond wanneer je de oren afdekt, weet je dat de oren belangrijk zijn.

Er zit echter een addertje onder het gras. Als je de oren afdekt met een groot, lelijk grijs vierkant, test je niet echt het begrip van de robot voor een hond; je test zijn reactie op een gigantische grijze vlek. De robot kan in de war raken door het vreemde, onnatuurlijke vierkant en je een foutief antwoord geven over wat belangrijk is. Dit artikel pakt dit probleem aan. Het stelt voor dat we, in plaats van saaie, nep grijze vierkanten te gebruiken om delen van een afbeelding te verbergen, een "tovergum" moeten gebruiken die de ontbrekende plekken vult met realistische, fotorealistische details die er wel bij horen. Op die manier raakt de robot alleen in de war door het ontbrekende object, en niet door een vreemd artefact, waardoor we een veel duidelijker antwoord krijgen over waar hij daadwerkelijk naar kijkt.

Het Probleen: Lelijke Vierkanten en Verwarde Robots

In de wereld van computer vision worden AI-modellen ongelooflijk goed in het spotten van dingen, maar ze worden ook moeilijker te begrijpen. Om dit op te lossen, gebruiken onderzoekers tools zoals LIME (Local Interpretable Model-agnostic Explanations). LIME werkt door een afbeelding te nemen, deze in stukjes te hakken die "superpixels" worden genoemd, en vervolgens sommige van die stukjes te verbergen om te zien hoe de voorspelling van de AI verandert.

De traditionele manier om een stuk te verbergen, is door het over te schilderen met een effen kleur, zoals grijs of zwart. De auteurs van dit artikel beargumenteren dat dit een beetje is als het proberen te testen van het vermogen van een chef om een taart te herkennen door de glazuur te vervangen door een blok beton. Het beton is geen onderdeel van de taart en het ziet er niet natuurlijk uit. Wanneer de AI dit "beton" ziet, kan hij in paniek raken en een voorspelling doen die niets met de taart te maken heeft, wat leidt tot een verwarrende uitleg.

Het artikel laat zien dat deze "lelijke vierkanten" (deterministische occlusie) vaak falen. Bijvoorbeeld, in een test met een afbeelding van een pleister, misten de standaardmethoden die grijze vierkanten of andere eenvoudige kleurvervangingen gebruiken de pleister volledig als het belangrijkste deel van de afbeelding. Ze werden te veel afgeleid door de onnatuurlijke grijze vlekken die ze creëerden.

De Oplossing: De "Magic Inpainting" Truc

Om dit op te lossen, introduceren de auteurs een nieuwe methode genaamd LILI (Leveraging Inpainting for Local Interpretability). In plaats van de verborgen puzzelstukjes met grijze verf over te schilderen, gebruikt LILI een generatief AI-model genaamd LaMa om de afbeelding te "inpainten".

Denk aan inpainting als een zeer getalenteerde kunstenaar die naar een gat in een foto kan kijken en precies kan schilderen wat daar zou moeten staan op basis van de omgeving. Als je een pleister verbergt, zet LaMa geen grijs vierkant; het schildert een stuk huid dat er precies zo uitziet als de huid rondom de pleister. Dit creëert een "fotorealistische perturbatie". Het AI-model ziet een afbeelding die er natuurlijk uitziet, behalve dat de pleister weg is. Dit dwingt de AI om te vertrouwen op zijn eigen kennis van hoe een pleister eruitziet, in plaats van te reageren op een vreemd grijs vierkant.

Maar er was een tweede probleem. Zelfs met de magische kunstenaar lieten de randen van het verborgen gebied soms kleine, onzichtbare aanwijzingen (artefacten) achter die de AI nog steeds kon zien. Om dit op te lossen, voegden de auteurs een stap genaamd "masker expansie" toe. Stel je voor dat je, in plaats van alleen de pleister te verbergen, ook een klein beetje van de huid eromheen verbergt. Dit zorgt ervoor dat de magische kunstenaar het hele gebied moet opvullen met een nieuwe achtergrondhuid, waardoor elk spoor van het oorspronkelijke object volledig wordt gewist.

Wat Ze Hebben Gevonden: Realisme Wint

Het team heeft LILI getest tegen de oude methode (LIME met grijze vierkanten) en een eerdere poging die een ander inpainting-model genaamd DeepFill gebruikte (LIME-G). Ze voerden honderden tests uit op afbeeldingen van de ImageNet-dataset, waarbij ze een standaard AI-model genaamd InceptionV3 gebruikten voor de herkenning.

1. De afbeeldingen zien er beter uit
De auteurs maten hoe "echt" de nepafbeeldingen eruit zagen met een score genaamd de Fréchet Inception Distance (FID). Een lagere score betekent dat de nepafbeeldingen meer lijken op echte foto's.

De oude LIME-methode (grijze vierkanten) scoorde 30.532.
De vorige inpainting-methode (LIME-G met DeepFill) scoorde 56.524 (wat verrassend genoeg slechter was, waarschijnlijk omdat het model niet zo goed was).
De nieuwe LILI-methode scoorde 6.727.
Deze enorme daling in score bewijst dat LILI afbeeldingen creëert die veel dichter bij de echte datadistributie liggen. Ze zien er natuurlijk uit, niet als een foto met een grijze vlek erop geplakt.

2. De verklaringen zijn nauwkeuriger
Om te zien of de verklaringen daadwerkelijk beter waren, gebruikten ze een "saliency metric" (opvallendheidsmetriek). Dit meet hoe goed de uitleg de belangrijkste delen van de afbeelding benadrukt. Lagere scores zijn hier beter.

LILI met een 3-pixel masker expansie behaalde de beste scores en versloeg zowel de oude LIME als de LIME-G methode.
In het voorbeeld van de pleister identificeerde alleen LILI de pleister correct als het belangrijkste kenmerk. De andere methoden werden afgeleid door de achtergrond of de artefacten.

3. Stabiliteit en Snelheid
De onderzoekers controleerden ook of de verklaringen consistent waren. Als je de test tien keer uitvoert, krijg je dan hetzelfde antwoord?

De oude LIME was het meest stabiel (overeenkomstscore van 0.889), gevolgd door LILI (0.852).
LIME-G was minder stabiel (0.723).
De auteurs merken op dat LILI iets minder stabiel is dan de oude grijze-vierkantmethode, omdat de "magische kunstenaar" (LaMa) soms iets andere achtergronden kan schilderen afhankelijk van het exacte masker. Echter, dit is een kleine prijs om te betalen voor het juiste antwoord te krijgen.
Wat betreft snelheid: LILI duurt iets langer. De oude LIME duurde ongeveer 4,4 seconden per afbeelding, terwijl LILI ongeveer 12,5 seconden duurde. Dit komt omdat de "magische kunstenaar" extra werk moet verrichten om de ontbrekende delen te schilderen, maar het is nog steeds veel sneller dan andere hoogtechnologische methoden die diffusiemodellen gebruiken.

De Conclusie

Het artikel concludeert dat door lelijke, nep grijze vierkanten te vervangen door realistische, door AI gegenereerde achtergrondvulling, we veel betere verklaringen krijgen van hoe AI de wereld ziet. De LILI-methode suggereert dat fotorealistische perturbaties beter aansluiten bij hoe de AI is getraind, wat leidt tot meer betrouwbare resultaten. Hoewel het iets meer rekenkracht vereist en zorgvuldige afstemming van de "masker expansie" nodig heeft om geen aanwijzingen achter te laten, is de afruil het waard. De auteurs suggereren dat deze aanpak ons helpt meer vertrouwen te hebben in AI, vooral in situaties waarin we precies moeten weten waarom een computer een beslissing heeft genomen, zonder de verwarring veroorzaakt door onnatuurlijke artefacten.

Technische Samenvatting: Inpainting Insights: Het visuele XAI naar een hoger niveau tillen met fotorealistische perturbaties

Probleemstelling
De toenemende complexiteit van state-of-the-art machine learning-modellen heeft de noodzaak voor vooruitgang in eXplainable Artificial Intelligence (XAI) vergroot. Perturbatie-gebaseerde methoden, zoals LIME (Local Interpretable Model-agnostic Explanations), zijn fundamentele instrumenten voor het interpreteren van beeldclassificatie. Deze methoden genereren verklaringen door systematisch delen van een invoerbeeld te occluderen (bijvoorbeeld door superpixels te vervangen door een constante kleur zoals grijs of zwart) en de verandering in modelvoorspellingen te observeren.

Echter, traditionele deterministische perturbatietechnieken genereren onrealistische, out-of-distribution samples. Door regio's in een afbeelding te vervangen door uniforme kleuren of eenvoudige gemiddelden, introduceren deze benaderingen zichtbare artefacten en onnatuurlijke inhoud. Dit kan het onderliggende model misleiden, wat leidt tot onvoorspelbaar gedrag en ambigue feature attributies. Zelfs verfijnde deterministische strategieën (bijvoorbeeld het gebruik van de mediane kleuren van buren) falen vaak in het produceren van plausibele inhoud, vooral wanneer de vorm van de geoccludeerde regio zelf informatie over de inhoud van het object onthult.

Methodologie: Leveraging Inpainting for Local Interpretability (LILI)
De auteurs stellen LILI (Leveraging Inpainting for Local Interpretability) voor, een methode die het LIME-framework aanpast door generatieve inpainting te gebruiken voor het creëren van geperturbeerde samples. De kern van de methodologie omvat twee primaire wijzigingen in het standaard LIME-proces:

Generatieve Vervanging via LaMa: In plaats van gemaskeerde superpixels te vervangen door een gemiddelde kleur, gebruikt LILI een generatief inpainting-model om de geoccludeerde regio's in te vullen. De auteurs kozen voor LaMa (Resolution-robust Large Mask Inpainting with Fourier Convolutions) boven eerdere modellen zoals DeepFill (gebruikt in LIME-G) of diffusie-gebaseerde modellen. LaMa werd gekozen vanwege de balans tussen perceptuele kwaliteit en computationele efficiëntie, waarbij gebruik wordt gemaakt van Fast Fourier Convolutions (FFC) om grote maskers en hoogresolutiebeelden effectief te verwerken. Het geperturbeerde sample $x_i$ wordt gegenereerd als $x_i = I(\xi, M^{(i)})$ , waarbij $I$ het LaMa-model is, $\xi$ de originele afbeelding en $M^{(i)}$ de perturbatie-masker.
Perturbatie-masker Expansie: De auteurs stelden vast dat standaard segmentatie-algoritmen (bijv. quickshift) vaak kleine artefacten bij objectgrenzen achterlaten. Deze residuele aanwijzingen kunnen het inpainting-model in staat stellen om te "hallucineren" of de geoccludeerde object te reconstrueren, wat het doel van de perturbatie ondermijnt. Om dit te mitigeren, introduceert LILI een hyperparameter $m$ om het perturbatie-masker met $m$ pixels rond de originele superpixel-grenzen uit te breiden vóór de inpainting. Dit zorgt ervoor dat residuele artefacten worden verborgen, waardoor het inpainting-model wordt gedwongen om inhoud te genereren die aansluit bij de omliggende achtergrond in plaats van het geoccludeerde kenmerk te reconstrueren.

Belangrijkste Bijdragen

Introductie van LILI: Een nieuwe methode die generatieve inpainting (specifiek LaMa) integreert in het LIME-framework om fotorealistische geperturbeerde samples te genereren.
Masker Expansie Strategie: Het voorstel van een techniek voor masker-expansie om boundary-artefacten te verbergen, wat voorkomt dat het inpainting-model onbedoeld geoccludeerde kenmerken reconstrueert en een effectievere occlusie garandeert.
Empirische Validatie: Een uitgebreide evaluatie die aantoont dat LILI geperturbeerde samples produceert die beter overeenkomen met de originele datadistributie en kwalitatief betere verklaringen opleveren vergeleken met standaard LIME en de bestaande LIME-G benadering.

Resultaten en Evaluatie
De auteurs evalueerden LILI tegen LIME en LIME-G met behulp van de ImageNet-1k dataset en een InceptionV3-model. De evaluatie richtte zich op vier criteria:

Inpainting Kwaliteit (FID): Door de Fréchet Inception Distance (FID) te gebruiken om de gelijkenis tussen echte afbeeldingen en geperturbeerde samples te meten, behaalde LILI een aanzienlijk lagere score (6.727) vergeleken met LIME-G (56.524) en standaard LIME (30.532). Dit geeft aan dat LILI perturbaties genereert die perceptueel dichter bij de originele datadistributie liggen.
Verklaring Kwaliteit (Saliency Metric): Met behulp van een saliency-metriek die de concentratie van informatie in uitgesneden patches meet, behaalde LILI met een 3-pixel masker expansie de beste scores over de meeste statistische maten (gemiddelde, mediaan, kwartielen), waarmee zowel LIME als LIME-G werd overtroffen. Dit suggereert dat LILI een trouwere identificatie van kritieke regio's biedt.
Verklaring Stabiliteit: Gemeten via de Kendall's W coefficient of concordance over meerdere runs, vertoonde LIME de hoogste stabiliteit (0.889), gevolgd door LILI (0.852), waarbij LIME-G de minst stabiel was (0.723). De auteurs merken op dat de lichte afname in stabiliteit van LILI ten opzichte van LIME mogelijk voortkomt uit de stochastische aard van generatieve inpainting en de overlappende aard van de uitgebreide maskers.
Computationele Tijd: LIME blijft de snelste methode (ca. 4.4s per afbeelding). LILI is langzamer (ca. 12.4s) vanwege de computationele kosten van de LaMa-inferentie, maar blijft efficiënter dan diffusie-gebaseerde benaderingen of methoden die Stable Diffusion gebruiken.

Betekenis en Claims
Het artikel claimt dat LILI er succesvol in is geslaagd het visuele XAI naar een hoger niveau te tillen door het "out-of-distribution" probleem aan te pakken dat inherent is aan traditionele perturbatie-methoden. Door fotorealistische perturbaties te genereren, vermindert LILI het risico op het misleiden van het model en verbetert het de consistentie van high-level feature attributies.

De auteurs positioneren LILI als een gebalanceerde oplossing: het biedt superieure verklaringskwaliteit en realisme vergeleken met LIME en LIME-G, terwijl het een computationele kost die lager is dan state-of-the-art diffusie-gebaseerde alternatieven behoudt. Ze concluderen dat LILI een levensvatbaar alternatief is voor perturbatie-gebaseerde verklaringen in scenario's waar computationele middelen beperkt zijn maar hoogwaardige, realistische perturbaties vereist zijn. De auteurs erkennen dat hoewel LILI de kwaliteit verbetert, het een trade-off introduceert in stabiliteit en computationele tijd, en zij suggereren dat toekomstig werk de generaliseerbaarheid over verschillende hyperparameters en modellen moet verkennen.

Het Probleen: Lelijke Vierkanten en Verwarde Robots

De Oplossing: De "Magic Inpainting" Truc

Wat Ze Hebben Gevonden: Realisme Wint

De Conclusie

Meer zoals dit