Technische Samenvatting: ProtoQuant

1. Probleemstelling

Deep learning-modellen, met name in hoogwaardige domeinen zoals medische diagnostiek en autonoom rijden, lijden aan inherente opaakheid. Hoewel Explainable AI (XAI) post-hoc methoden (bijv. Grad-CAM) en ante-hoc benaderingen (zelfverklarend) heeft geïntroduceerd, kampen de laatste — specif kindertje Prototypical Parts Networks (PPNs) — met kritieke beperkingen:

• Prototype Drift en Gebrek aan Verankering: Bestaande methoden leren vaak latente vectoren die niet overeenkomen met tastbare, realiseerbare patches in de trainingsdistributie. Deze prototypes kunnen afdrijven, waardoor ze niet langer werkelijke visuele concepten vertegenwoordigen.
• Representatieve Instabiliteit: Kleine perturbaties in invoerbeelden kunnen leiden tot drastische verschuivingen in de hoogst activerende prototypes, wat leidt tot instabiele modelbeslissingen die in strijd zijn met de menselijke perceptie.
• Schaalbaarheid en Computationele Kosten: De meeste prototypische architecturen hebben moeite met het generaliseren naar grootschalige datasets zoals ImageNet. Bovendien vereisen ze vaak kostbare fine-tuning van de gehele backbone om een acceptabel niveau van nauwkeurigheid te bereiken, wat hun toepasbaarheid op moderne, bevroren foundation models beperkt.

2. Methodologie: ProtoQuant

ProtoQuant is een interpreteerbaar framework dat is ontworpen om te fungeren als een "kop" voor bevroren, vooraf getrainde beeldclassificatie-modellen. Het adresseert de problemen van verankering en stabiliteit door middel van Vector Quantization.

Kernarchitectuur

Het model vervangt de standaard classificatiekop van een bevroren backbone $\phi$ door een concept-gebaseerde module. Het proces omvat:

1. Bevroren Backbone: Een vooraf getrainde backbone (CNN of ViT) extraheert een feature map $\phi(x)$. De parameters van de backbone blijven vastgesteld tijdens de training.
2. Concept Codebook Learning (Fase 1):
   • Een discrete codebook $C = \{c_1, ..., c_m\}$ wordt geleerd met behulp van een Vector-Quantized Variational Autoencoder (VQ-VAE) mechanisme.
   • Feature-vectoren $z_{ij}$ van de backbone worden toegewezen aan hun dichtstbijzijnde codebook-entry op basis van cosinus-gelijkenis.
   • Alleen de codebook-vectoren worden bijgewerkt via een codebook-verlies ($L_{codebook}$), terwijl de gradiënten voor de backbone-embeddings worden gestopt. Dit discretiseert de continue latente ruimte in een eindige vocabulaire van visuele primitieven.
3. Concept-Based Prediction Head (Fase 2):
   • Matching: Feature-vectoren worden gematcht tegen het codebook met behulp van een scherpe softmax met een temperatuurparameter $\alpha$, wat concept activatiekaarten genereert.
   • Aggregatie: Ruimtelijke max-pooling wordt toegepast om concept-aanwezigheidsscores ($s$) te verkrijgen.
   • Classificatie: Een niet-negatieve classificatiematrix $W$ brengt concept-scores in kaart naar klasse-logits ($\hat{y} = Ws$).

Trainingsregime

De methode maakt gebruik van een tweefasig trainingsproces:

• Fase 1 (Ongesuperviseerde Verankering): Het codebook wordt ongesuperviseerd getraind om de feature-distributie van de bevroren backbone te vangen.
• Fase 2 (Gesuperviseerd Redeneren): De oorspronkelijke kop wordt vervangen door de interpreteerbare kop. Het codebook is bevroren en de classificatiematrix $W$ wordt getraind met een standaard cross-entropy loss. Deze fase maakt pruning mogelijk (het selecteren van top-K prototypes per klasse) om de interpreteerbaarheid te verbeteren zonder de backbone opnieuw te trainen.

3. Belangrijkste Bijdragen

• Quantization-Based Grounding: Introduceert een mechanisme dat de feature-ruimte discretiseert in een codebook van hoog-stabiele concepten, wat ervoor zorgt dat prototypes getrouwe representaties zijn van de trainingsdata zonder de backbone te hoeven updaten.
• Backbone Agnosticisme: Ontworpen om te werken als een efficiënte, interpreteerbare kop voor bevroren backbones (zowel CNN's als ViT's), wat naadloze integratie met moderne architecturen mogelijk maakt zonder volledige parameter fine-tuning.
• Schaalbaarheid: Toont aan dat prototypisch redeneren kan schalen naar grootschalige datasets (ImageNet) met hoge getrouwheid, waarmee de kloof tussen interpreteerbaarheid en voorspellende prestaties wordt overbrugd.
• Structurele Bewerkbaarheid: Het gebruik van een discrete codebook maakt directe structurele bewerkingen mogelijk, zoals "concept pruning" of het neutraliseren van specifieke entries, wat model debugging vergemakkelijkt zonder dure hertraining.

4. Experimentele Resultaten

De auteurs evalueerden ProtoQuant op ImageNet-1K en fine-grained benchmarks (CUB-200, Cars-196, Dogs, Flowers).

• Representatieve Stabiliteit: Op de Spatial Misalignment benchmark presteert ProtoQuant significant beter dan andere PPN's. Het bereikt bijna perfecte Accuracy Change (AC) scores (0.35 voor ViT, 1.73 voor ConvNeXt) en vermindert de Prototype Activation Change (PAC) drastisch, wat wijst op robuustheid tegen input-perturbaties.
• Classificatienauwkeurigheid:
  • Fine-Grained: ProtoQuant bereikt een concurrerende of superieure Top-1 nauwkeurigheid vergeleken met state-of-the-art interpreteerbare methoden (bijv. PIP-Net, InfoDisent) over CUB-200, Cars, Dogs en Flowers, waarbij het vaak de methoden die de backbone fine-tunen overtreft.
  • ImageNet: ProtoQuant bereikt een nauwkeurigheid van 77,86% op ResNet-50 en 82,87% op ConvNeXt-Large. Dit verkleint de prestatiekloof tussen ante-hoc methoden en niet-interpreteerbare black-box baselines aanzienlijk vergeleken met concurrenten zoals InfoDisent.
• Semantische Zuiverheid: ProtoQuant vertoont een concurrerende prototype zuiverheid (0.47) vergeleken met andere methoden onder bevroren backbone-beperkingen, wat valideert dat de gekwantiseerde concepten goed aansluiten bij menselijk geannoteerde onderdelen.
• Efficiëntie: Het trainen van ProtoQuant op een bevroren backbone vermindert de tijd per epoch met ongeveer 47,6% vergeleken met volledige modeltraining met backbone fine-tuning.

5. Betekenis en Claims

Het artikel positioneert ProtoQuant als een oplossing voor de "prototype drift" en schaalbaarheidsuitdagingen die inherent zijn aan huidige prototypische parts networks. De primaire betekenis ligt in:

• Gegronde Interpreteerbaarheid: Door beslissingen te verankeren aan een verifieerbare vocabulaire van visuele concepten direct afgeleid van de trainingsdistributie, wordt gegarandeerd dat verklaringen gebaseerd zijn op werkelijke data in plaats van abstracte latente artefacten.
• Praktische Implementatie: Het vermogen om een interpreteerbare kop aan bevroren foundation models te koppelen, maakt de aanpak computationeel efficiënt en toepasbaar op high-capacity architecturen waar volledige fine-tuning prohibitief is.
• Vertrouwen in Kritieke Domeinen: Het "dit lijkt op dat" redeneren, gecombineerd met stabiele activaties, stelt beoefenaars in velden zoals medische beeldvorming in staat om te verifiëren dat modellen letten op klinisch relevante kenmerken, wat de inzet van meer transparante en verantwoorde AI-systemen ondersteunt.

De auteurs erkennen dat de afhankelijkheid van een discrete codebook de representatie-flexibiliteit kan beperken vergeleken met continue ruimtes en stellen toekomstig werk voor in het automatiseren van de selectie van de codebook-grootte en geavanceerde pruning.