Uncertainty-Aware Subset Selection for Robust Visual Explainability under Distribution Shifts

Dit artikel introduceert een nieuw raamwerk dat submodulaire subsetselectie combineert met onzekerheidsschatting om de robuustheid en betrouwbaarheid van visuele uitlegbare methoden te verbeteren onder distributieveranderingen zonder extra training.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die foto's kan bekijken en vertellen wat erop staat. Soms ziet hij een vogel en zegt hij: "Dat is een meeuw!" Maar hoe weet hij dat? Hij kijkt naar de snavel, de veren en de pootjes.

Het probleem: De robot raakt in de war
In de echte wereld zijn dingen niet altijd perfect. Soms is de foto wazig, soms is het licht raar, of misschien ziet de robot een vogelsoort die hij nooit eerder heeft gezien (bijvoorbeeld een vogel uit een ander continent).

De onderzoekers van dit paper ontdekten iets vervelends: als ze de robot vragen om uit te leggen waarom hij een bepaalde keuze maakte, ging dat prima als de foto's precies leken op de foto's waarmee hij geoefend had. Maar zodra de foto's een beetje anders waren (zoals een wazige foto of een onbekende vogelsoort), werd de uitleg van de robot onbetrouwbaar.

Het was alsof de robot, in plaats van naar de snavel te wijzen, plotseling naar een willekeurige tak in de achtergrond wees of naar een vlekje dat nergens mee te maken had. Hij werd "brittle" (breekbaar) en gaf verwarrende antwoorden.

De oplossing: Een "onzekerheids-meter"
De auteurs van dit paper hebben een slimme oplossing bedacht. Ze hebben een nieuw systeem ontwikkeld dat werkt als een onzekerheids-meter voor de robot.

Hier is hoe het werkt, met een paar simpele analogieën:

1. De "Schoktest" (Onzekerheid meten):
   Stel je voor dat je een auto wilt testen of hij stabiel is. Je geeft hem een kleine duw. Als de auto recht blijft rijden, is hij stabiel. Als hij begint te wiebelen, is er iets mis.
   Dit systeem doet precies dat met de robot. Het geeft de robot heel kleine, willekeurige "duwtjes" (veranderingen in zijn hersenen) en kijkt of zijn antwoord nog steeds hetzelfde blijft.

   • Als de robot op een bekende vogel kijkt en na een duwtje nog steeds zegt: "Ja, dat is een meeuw", dan is hij zeker.
   • Als hij na een klein duwtje begint te twijfelen of de foto verandert in "een kip" of "een wolk", dan is hij onzeker.

2. De "Slimme Selectie" (Submodulaire selectie):
   Vroeger probeerde de robot gewoon de "belangrijkste" stukjes van de foto te kiezen om uit te leggen. Maar als hij onzeker was, koos hij vaak de verkeerde stukjes (zoals de achtergrond).
   Met hun nieuwe systeem kijkt de robot eerst: "Hoe zeker ben ik over dit stukje van de foto?"
   Alleen de stukjes waar hij zeker over is, worden geselecteerd voor de uitleg. De stukjes waar hij twijfelt, worden genegeerd. Het is alsof je een team van detectives hebt: je vraagt alleen de detectives die zeker weten wat ze zien om verslag uit te brengen, en je laat de twijfelaars buiten de deur.

3. Het resultaat: Een betere uitleg
   Dankzij deze methode blijft de robot zelfs bij rare of wazige foto's zijn focus houden op de echte onderwerpen (zoals de snavel van de vogel) in plaats van te gaan dwalen naar de achtergrond.

   • Bij bekende foto's: De uitleg wordt nog iets beter en duidelijker.
   • Bij onbekende foto's: De uitleg wordt niet meer "gek" of verward. De robot geeft eerlijk aan wat hij ziet, zonder te verzinnen.

Waarom is dit belangrijk?
In de echte wereld (zoals bij zelfrijdende auto's of medische scans) kunnen we geen fouten maken. Als een zelfrijdende auto een vreemd object ziet en denkt dat het een rots is in plaats van een kind, moet hij dat ook eerlijk kunnen uitleggen.

De onderzoekers hebben bewezen dat hun methode de robot "slimmer" maakt in het kiezen van wat hij laat zien. Het is een plug-and-play oplossing: je hoeft de robot niet opnieuw te leren, je plakt er gewoon een slimme "onzekerheids-filter" op. Hierdoor worden de uitleggen betrouwbaarder, zelfs als de wereld om ons heen verandert of niet perfect is.

Kort samengevat:
Ze hebben een manier gevonden om AI-systemen te vragen: "Weet je zeker dat je dit goed ziet?" voordat ze een uitleg geven. Als het antwoord "nee" is, kiezen ze andere, veiligere stukjes van de foto om uit te leggen. Hierdoor blijven de uitleggen betrouwbaar, zelfs als de foto's raar zijn.

Technische samenvatting

1. Het Probleem

Diepe visuele modellen worden steeds vaker ingezet in veiligheidskritieke toepassingen (zoals autonoom rijden en medische beeldvorming), waarbij interpretatiebaarheid essentieel is. Bestaande methoden voor visuele attributie (zoals Grad-CAM of subset-selectie) presteren goed binnen de trainingsverdeling (In-Distribution of ID), maar falen vaak onder Out-of-Distribution (OOD) condities.

De auteurs identificeren drie kritieke tekortkomingen bij bestaande subset-selectie methoden onder distributieveranderingen:

• Onbetrouwbaarheid: De uitleggen worden redundant, instabiel en gevoelig voor onzekerheid.
• Fragmentatie: In plaats van focus op het object, worden irrelevante achtergrondgebieden of gefragmenteerde patches geselecteerd.
• Gebrek aan robuustheid: Bestaande methoden zijn geoptimaliseerd voor ID-data en degraderen sterk (tot wel 40% daling in scores) wanneer het model wordt blootgesteld aan OOD-data (zoals transformaties, gerelateerde maar verschillende klassen, of complementaire distributies).

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat submodulaire subset-selectie combineert met onzekerheidsbewuste schatting via adaptieve gewichtsperturbaties. Het doel is om robuuste en trouwe (faithful) uitleggen te genereren zonder extra training of hulpmodellen.

Kerncomponenten:

1. Adaptieve Onzekerheidsschatting (Gradient-Based Confidence Score):

   • In plaats van te vertrouwen op softmax-uitkomsten, wordt onzekerheid geschat door stochastische perturbaties toe te passen op de gewichten van het netwerk tijdens de inferentie.
   • Adaptiviteit: De ruis (noise) is niet uniform. De schaal van de perturbatie wordt aangepast op basis van:
     • De statistieken van de laag (layer-wise statistics).
     • De afstand van de invoer tot het trainingscentrum (Mahalanobis-afstand).
   • Dit zorgt ervoor dat OOD-invoer (die afwijkt van de trainingsdata) sterker wordt geperturbeerd, waardoor instabiele gradienten zichtbaar worden.
   • De Gradient Norm fungeert als proxy voor onzekerheid: hoge gradienten onder perturbatie wijzen op lage voorspellingszekerheid.

2. Onzekerheidsbewuste Submodulaire Doelfuncties:
   De auteurs definiëren twee specifieke doelfuncties $F(S)$ voor het selecteren van een subset $S$ van beeldregio's:

   • Voor Algemene Visuele Attributie: Een aanpassing van de methode van Chen et al. [4], waarbij de oorspronkelijke confidenceterm wordt vervangen door hun nieuwe onzekerheidsscore. De functie maximaliseert effectiviteit, consistentie en samenwerking, terwijl onzekerheid wordt geminimaliseerd.
   • Voor Object-niveau Interpretatie: Een integratie met de Visual Precision Search (VPS) methode [5]. Deze combineert een "Clue Score" (voor lokalisatie) en een "Collaboration Score" met de onzekerheidsscore om betrouwbare objectpatches te vinden.

3. Optimalisatie:

   • Het probleem wordt opgelost met een gierige optimalisatie-algoritme (greedy maximization).
   • Omdat de doelfuncties monotoon en submodulair zijn, garandeert het gierige algoritme een oplossing die binnen een factor $(1 - 1/e)$ van de optimale oplossing ligt.

3. Belangrijkste Bijdragen

• Empirisch Bewijs: De auteurs tonen aan dat bestaande subset-selectiemethoden aanzienlijk falen onder distributieveranderingen, wat een kritiek robuustheidsgat blootlegt.
• Nieuw Raamwerk: Een innovatieve aanpak die submodulaire optimalisatie koppelt aan adaptieve, gradient-gebaseerde onzekerheidsschatting. Dit prioriteert stabiele en informatieve regio's.
• Lichtgewicht en Generaliseerbaar: De methode vereist geen extra training en geen hulpmodellen (zoals Deep Ensembles). Het werkt direct op een fijngetuned backbone en is toepasbaar op verschillende architecturen.
• Verbeterde Prestaties: De methode verbetert niet alleen de robuustheid op OOD-data, maar verhoogt ook de nauwkeurigheid (fidelity) op ID-data.

4. Resultaten

De methode werd getest op twee experimentele setups met diverse ID- en OOD-datasets (o.a. CUB, NABirds, CIFAR-100, COCO, iNaturalist) en verschillende types distributieshifts (transformaties, gerelateerde distributies, complementaire distributies).

• Kwalitatieve Verbetering: Op OOD-data (zoals vogels van een ander type of vervormde beelden) selecteert de voorgestelde methode compactere en semantisch coherente subsets. Bestaande methoden kiezen vaak voor gefragmenteerde stukjes of achtergrondruis.
• Kwantitatieve Verbetering:
  • In-Distribution (ID): De methode verbetert de Insertion AUC (een maat voor hoe goed de uitleg de voorspelling ondersteunt) met ongeveer 1,7% tot 5,0% vergeleken met baselines.
  • Out-of-Distribution (OOD): De verbeteringen zijn drastischer. Op gerelateerde OOD-datasets (NABirds) steeg de Insertion AUC met tot +13,7%. Op complementaire OOD-datasets (CIFAR-100) was de stijging zelfs +12,3%.
  • Object Detectie: Bij het testen met GroundingDINO op objectdetectie-taken, verdubbelde de methode de Insertion AUC op bepaalde OOD-scenario's (bijv. +80% op CIFAR-100).
• Stabiliteit: De methode reduceert de variabiliteit in uitleggen, wat leidt tot meer betrouwbare audits en debugging.

5. Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen onzekerheidsdetectie en subset-gebaseerde attributie op een lichte, plug-and-play manier.

• Vertrouwen in AI: Door uitleggen robuust te maken tegen distributieveranderingen, wordt AI betrouwbaarder voor real-world toepassingen waar data nooit perfect overeenkomt met de trainingsdata.
• Efficiëntie: Het vermijden van extra training of zware ensemble-methoden maakt de techniek praktisch toepasbaar in productieomgevingen.
• Toekomstige Richting: De auteurs wijzen op de noodzaak om de afweging tussen attributietrouwheid en de rekentijd van stochastische schattingen verder te optimaliseren, evenals het verfijnen van de balans tussen Insertion- en Deletion-metrics bij objectdetectie.

Kortom, de paper demonstreert dat het integreren van onzekerheid in de selectie van beeldregio's essentieel is voor transparante en betrouwbare AI, vooral in dynamische en onvoorspelbare omgevingen.