Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Technische Samenvatting: Voorbij L2: Het generaliseren van Abductieve Latente Verklaringen naar Diverse Prototype-gebaseerde Architecturen

Probleemstelling
Prototype-gebaseerde neurale netwerken (PBN's) worden erkend als "interpreteerbaar-door-ontwerp" architecturen die voorspellingen rechtvaardigen door te verwijzen naar vergelijkbare trainingsvoorbeelden (prototypes). Recentelijk zijn Abductieve Latente Verklaringen (ALE) geïntroduceerd om formele, wiskundig gegarandeerde verklaringen voor deze netwerken te bieden door nauwe grenzen (bounds) te berekenen op de afstanden in de latente ruimte. De huidige ALE-formuleringen zijn echter rigide beperkt tot Euclidische latente ruimtes met behulp van $L_2$-afstanden. Dit creëert een kritische kloof: moderne state-of-the-art PBN's maken steeds vaker gebruik van niet-Euclidische representaties, waaronder sferische metrieken (cosinus-gelijkenis), Gaussische dichtheden en dimensionale projecties (softmax). Huidige formele verklarende methoden zijn incompatibel met deze diverse geometrische structuren, wat een rigoureuze interpreteerbaarheidsanalyse over het volledige spectrum van prototype-gebaseerde architecturen verhindert.

Methodologie
De auteurs generaliseren het ALE-framework om ondersteuning te bieden aan niet-Euclidische prototype-architecturen door specifieke bounding-algoritmen af te leiden voor verschillende geometrische varianten. Het kerndoel blijft hetzelfde: het berekenen van subset-minimale verzamelingen van prototypes die een modelvoorspelling garanderen door iteratief grenzen te vernauwen op activatiewaarden.

1. Cosinus-gelijkenis (Sferische Geometrie): Voor architecturen zoals TesNet die dot-product gelijkenis gebruiken op een eenheidssfeer, passen de auteurs de redenering aan naar sferische geometrie. Omdat cosinus-gelijkenis de standaard driehoeksongelijkheid niet voldoet, gebruiken zij de hoekafstand ($d_\angle$) om grenzen af te leiden. Zij introduceren een Spherical Cap Intersection Approximation, waarbij de intersectie van twee sferische caps (gedefinieerd door een patch en twee prototypes) wordt begrensd door een minimale straal omsluitende sferische cap. Dit maakt de afleiding van nauwe onder- en bovengrenzen op de gelijkenis tussen een latente patch en niet-geobserveerde prototypes mogelijk.
2. Dimensionale Projectie (Simplex Geometrie): Voor architecturen zoals PIP-Net die activaties naar een waarschijnlijkheidssimplex mappen via een softmax-functie, verschuift de geometrische redenering van ruimtelijke afstanden naar de conservering van waarschijnlijkheidsmassa. De auteurs stellen een Simplex Verklaring voor waarbij het toevoegen van een $\langle \text{patch}, \text{prototype} \rangle$ paar aan de verklaring een deel van de waarschijnlijkheidsmassa "consumeert", wat de bovengrens van resterende prototypes strikt beperkt. Zij introduceren ook een Sparse-Weight Verklaring voor modellen met ijle (sparse), niet-negatieve classificatiekoppen, wat exacte scoreberekening voor de voorspelde klasse en nauwe begrenzing voor concurrerende klassen mogelijk maakt.
3. Isotrope Gaussische Gelijkenis: Voor probabilistische netwerken (bijv. ProtoGMM) waar prototypes Gaussische verdelingen zijn, mappen de auteurs het probleem terug naar een universele Euclidische ruimte. Door een isotrope covariantie aan te nemen, herstellen zij een "ware" Euclidische afstand uit de gelijkenis-score. Zij passen de standaard Hypersphere Intersection Approximation (HIA) toe in deze gemapte Euclidische ruimte en projecteren de resulterende geometrische grenzen vervolgens terug naar de specifieke activatieruimte van het model.
4. Focal Gelijkenis: Voor architecturen zoals ProtoPool die focal pooling gebruiken om achtergrondruis te onderdrukken, demonstreren de auteurs dat bestaande ruimtelijke ALE-grenzen kunnen worden geaggregeerd om de geaggregeerde statistieken (maximale en verwachte waarden) te begrenzen die vereist zijn voor de focal pooling operatie, zonder de onderliggende geometrische solver te wijzigen.

Belangrijkste Bijdragen

• Generalisatie van ALE: De paper breidt het ALE-framework uit voorbij Euclidische $L_2$-ruimtes om ondersteuning te bieden aan sferische metrieken, Gaussische dichtheden en simplex-gebaseerde projecties.
• Nieuwe Bounding Algoritmen: De auteurs leiden systematisch af hoe diverse architecturen naar bestaande grenzen kunnen worden gemapt of hoe nieuwe, architectuur-specifieke bounding-algoritmen (bijv. Spherical Cap Intersection, Simplex mass conservation) kunnen worden geconstrueerd.
• Verenigd Framework: Door deze diverse modellen onder één enkel formeel framework te verenigen, maakt dit werk de eerste rigoureuze, cross-architectuur vergelijking van interpreteerbaarheid mogelijk.
• Empirische Validatie: De auteurs valideren deze theoretische constructies door subset-minimale formele verklaringen te berekenen op volledig getrainde beeldclassificatiemodellen over meerdere datasets (Oxford Flowers 102, Oxford IIIT Pet, CUB200) en architecturen (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet).

Resultaten
De experimenten onthullen significante trade-offs tussen de omvang van de verklaring (interpreteerbaarheid) en de computationele kosten over verschillende paradigma's:

• PIP-Net: Modellen met ijle, niet-negatieve lineaire koppen (PIP-Net) leveren de kleinste absolute verklaringomvang en de snelste computationele tijden (ca. 0,07s), wat suggereert dat ze inherent compatibeler zijn met formele verificatie.
• Simplex Paradigma: Het Simplex-verklaringparadigma (voor PIP-Net) bereikt de kleinste relatieve verklaringomvang (0,1%–0,2%), wat duidt op uitstekende schaalbaarheid met de dimensies van de latente ruimte.
• Gaussische Modellen: Geschaalde HIA biedt de kleinste relatieve verklaringomvang (4,6%–6,2%) voor Gaussische modellen, maar brengt de hoogste computationele overhead met zich mee (tot 142s), waarbij sommige configuraties een timeout veroorzaken op grotere datasets.
• Cosinus/Sferische Modellen: Hoewel Sferische HIA competitieve relatieve omvang bereikt, lijden zowel Cosine TI als Sferische HIA onder hoge variantie en schaalbaarheidsproblemen, waarbij ze vaak een timeout krijgen op de CUB200 dataset.
• Metriek: De auteurs introduceren een "Relatieve Grootte" metriek om verklaringomvang over verschillende paradigma's te normaliseren, wat een robuuste indicator biedt voor de inherente architecturale interpreteerbaarheid, onafhankelijk van het totale aantal prototypes.

Betekenis
De paper claimt de eerste kwantitatieve vergelijking van formele interpreteerbaarheid tussen diverse prototype-gebaseerde netwerken te bieden. Door ALE uit te breiden naar niet-Euclidische ruimtes, overbrugt het de kloof tussen de theoretische garanties van Formele XAI en de praktische realiteit van moderne, diverse prototype-architecturen. Het werk benadrukt specifieke ontwerpprincipes—zoals het gebruik van ijle, niet-negatieve koppen—die leiden tot betere formele interpreteerbaarheid. Het stelt vast dat hoewel geometrische precisie (bijv. in Gaussische of sferische modellen) nauwe grenzen kan opleveren, dit vaak gepaard gaat met een aanzienlijke computationele kost, wat onderstreept dat zorgvuldige architecturale vormgeving nodig is om een balans te vinden tussen interpreteerbaarheidsgaranties en schaalbaarheid.