Technische Samenvatting: ProDG – Prototypes voor Data-Vrije Generatieve Post-Hoc Verklaarbaarheid

Probleemstelling

Diepe neurale netwerken hebben opmerkelijke prestaties geboekt in computer vision, maar blijven "black boxes", wat kritieke vertrouwens- en veiligheidskwesties oproept. Hoewel post-hoc verklaarbaarheidsmethoden (bijv. Grad-CAM, LRP) efficiënte uitleg bieden voor afzonderlijke afbeeldingen zonder hertraining, produceren ze doorgaans pixel-level warmtekaarten die gebrek hebben aan duidelijke semantische betekenis, waardoor gebruikers het redeneren van het model moeten afleiden. Daarentegen bieden ante-hoc prototype-gebaseerde methoden (bijv. ProtoPNet) voor mensen begrijpelijke redeneringen in de stijl van "dit lijkt op dat", maar vereisen ze gespecialiseerde architecturen en uitgebreide hertraining.

Recente hybride benaderingen, zoals EPIC, proberen deze kloof te overbruggen door prototype-achtige uitleg te extraheren uit bevroren classifiers zonder hertraining. Deze methoden staan echter voor een fundamentele beperking: ze vereisen toegang tot een subset van real-world data (bijv. een validatie- of testset) om visuele prototypes te zoeken, bij te snijden en te extraheren. Deze afhankelijkheid maakt ze onbruikbaar in privacygevoelige domeinen (bijv. gezondheidszorg, financiën) waar originele datasets strikt beperkt of ontoegankelijk zijn.

Methodologie: ProDG Framework

ProDG (Generative Prototypes for Data-Free Post-Hoc Explainability) adresseert het probleem van data-afhankelijkheid door pure, hoogwaardige visuele prototypes direct te synthetiseren vanuit de gewichten van een bevroren classifier, waardoor de noodzaak voor externe data wordt geëlimineerd. Het framework bestaat uit drie primaire componenten:

1. Orthogonale Feature Disentanglement Module

In standaard netwerken zijn visuele features vaak verstrengeld over meerdere kanalen. ProDG introduceert een orthogonale basisveranderingsmatrix $U \in \mathbb{R}^{C \times C}$ om de originele verstrengelde activaties $\Phi(x)$ af te beelden naar een nieuwe ruimte $Z = U \Phi(x)$.

• Doel: Nieuwe kanaalrepresentaties aligneren met onderscheidende, semantisch betekenisvolle visuele concepten, zodat elk kanaal sterk activeert voor precies één specifiek kenmerk.
• BetrouwbaarheidsGarantie: Omdat $U$ is beperkt tot orthogonaal zijn, is de inverse ervan simpelweg de getransponeerde ($U^{-1} = U^T$). Door de lineaire classificatiekop te modificeren om deze inverse mapping op te nemen (vermenigvuldiging van classifier-gewichten met $U^T$), wordt de basisverandering wiskundig geannuleerd tijdens de forward pass. Dit zorgt ervoor dat het gemodificeerde netwerk de exacte voorspellende nauwkeurigheid en logit-predicties van het originele basismodel behoudt.

2. Concept Prompt Bank

Om prototypes te genereren zonder echte data, maakt ProDG gebruik van een bevroren generatief model (specifiek FLUX.1-schnell) dat is geconditioneerd op tekst-embeddings.

• Parametrisatie: Een "Concept Prompt Bank" $\mathcal{P} = \{P_c\}_{c=1}^C$ wordt gedefinieerd voor elk kanaal. Elke $P_c$ bevat bevroren anker-embeddings (afgeleid van klassenamen tijdens een initiële ontdekkingsfase) en leerbare distributieparameters.
• Optimalisatie: De leerbare parameters omvatten offsets en varianties voor de tekst-embeddings. Voor hoog-dimensionale T5-embeddings wordt Low-Rank Adaptation (LoRA) gebruikt; voor CLIP-embeddings worden directe offsets geleerd.
• Diversiteit: Embeddings worden geformuleerd als probabilistische distributies. Met behulp van de reparameterisatietrick sampleert het systeem uit deze distributies om diverse prototype-afbeeldingen te genereren in plaats van één statische afbeelding per concept.

3. Alternerend Optimalisatieschema

Het framework optimaliseert gezamenlijk de transformatiematrix $U$ en de prompt-bankparameters $\Theta_c$ met behulp van een alternerende strategie:

• Fase 1 (Update $U$): Prompt-parameters bevriezen, afbeeldingen sample voor doelkanalen, en $U$ updaten om de zuiverheid (purity) te maximaliseren (de verhouding van de maximale activatie in een specifiek kanaal tot de norm van het feature-vector op die ruimtelijke locatie).
• Fase 2 (Update Prompts): $U$ bevriezen, afbeeldingen genereren, en embeddings updaten om zuiverheid te maximaliseren terwijl twee regularisatieverliezen worden toegepast:
  • Regularisatieverlies ($L_{reg}$): Straft grote afwijkingen van geleerde embeddings van betekenisvolle natuurlijke taal-ankers af om semantische alignering te behouden.
  • Diversiteitsverlies ($L_{div}$): Moedigt de generatie van verschillende afbeeldingen voor hetzelfde kanaal aan om mode collapse te voorkomen, berekend via paarwise cosijn-similariteit van feature-vectoren.

Uitleggeneratie

Tijdens inferentie identificeert het systeem de top-$k$ meest invloedrijke kanalen voor een voorspelde klasse. Het sample vervolgens vanuit de geoptimaliseerde prompt-bank om corresponderende afbeeldingen te genereren. Visuele uitleg wordt afgeleid door activatie-warmtekaarten te berekenen op basis van het product van Ruimtelijke Zuiverheid (dominantie van het kanaal) en Relatieve Magnitude (genormaliseerde activatie), wat resulteert in gelokaliseerde bounding boxes die prototypische regio's benadrukken.

Belangrijkste Bijdragen

1. Data-Vrij Framework: ProDG is de eerste prototype-gebaseerde methode die prototype-uitleg synthetiseert zonder toegang tot originele of validatiedatasets.
2. Zuiverheid-Geoptimaliseerde Conditionering: De introductie van een mechanisme dat generatieve modellen gebruikt om hoogwaardige, interpreteerbare visuele concepten direct vanuit de gewichten van een bevroren classifier te creëren.
3. Privacy-Beschermende Verklaarbaarheid: De methode biedt een veilig alternatief voor traditionele data-afhankelijke extractie, met schonere conceptuele representaties vrij van irrelevante achtergrondruis, geschikt voor beperkte omgevingen.

Resultaten en Evaluatie

De auteurs hebben ProDG geëvalueerd op vier benchmarks (CUB-200-2011, Stanford Cars, Stanford Dogs en ImageNet) met verschillende backbones (ResNet, DenseNet, ConvNeXt, SwinTransformer).

• Voorspellende Betrouwbaarheid: Zoals theoretisch gegarandeerd, behoudt ProDG de nauwkeurigheid van het basismodel exact (0% verschil) over alle datasets en architecturen, wat overeenkomt met de prestaties van EPIC en InfoDisent.
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat ProDG semantisch rijke aanwijzingen produceert (bijv. objectstructuur, textuur) die vergelijkbaar zijn met data-afhankelijke methoden zoals EPIC, en die discriminatieve regio's effectief vastleggen.
• Intra-Concept Diversiteit: Met behulp van de Learned Perceptual Image Patch Similarity (LPIPS) metric toonde ProDG hoge scores ($\geq 0.61$), wat aangeeft dat het framework mode collapse succesvol vermijdt en diverse visuele variaties voor hetzelfde concept genereert.
• Gebruikersstudie: In een studie op ImageNet behaalden deelnemers significant hogere dan toevallige nauwkeurigheid (73% versus willekeurige selectie) bij het identificeren van klassen op basis van ProDG-uitleg. In een driewegvergelijking (ProDG vs. InfoDisent vs. EPIC) behaalde ProDG de hoogste gemiddelde rang (1,85), met statistisch significante verschillen gevonden ten opzichte van InfoDisent.

Betekenis en Beperkingen

Het artikel beweert dat ProDG een nieuw grensgebied vestigt in Data-Vrije XAI, waardoor robuuste visuele interpreteerbaarheid wordt ontsloten voor sterk beperkte omgevingen waar data-toegang onmogelijk is. Door prototype-ontdekking te ontkoppelen van data-beschikbaarheid, maakt het transparantie mogelijk in privacygevoelige domeinen.

De auteurs erkennen nederig beperkingen die inherent zijn aan de generatieve aanpak:

• Generatieve Prior Bias: Als doelconcepten volledig out-of-distribution zijn voor het onderliggende generatieve model (bijv. FLUX), kan de prompt-optimalisatie moeite hebben om geldige prototypes te synthetiseren.
• Domeinadaptatie: Het toepassen van het framework op gespecialiseerde domeinen kan vereisen dat de generatieve prior wordt vervangen door een domeinspecifiek model.
• Initialisatie: Hoewel tekst-anker-initialisatie bijdraagt aan convergentie, zouden geavanceerdere initialisatiestrategieën potentieel de vastlegging van hoogst abstracte visuele features kunnen verbeteren.