Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Technische Zusammenfassung: Jenseits von L2: Verallgemeinerung abduktiver latenter Erklärungen auf diverse prototypbasierte Architekturen

Problemstellung
Prototypbasierte neuronale Netze (PBNs) werden als „interpretierbar durch Design“ anerkannte Architekturen bezeichnet, die Vorhersagen durch den Bezug auf ähnliche Trainingsbeispiele (Prototypen) rechtfertigen. Kürzlich wurden Abduktive Latente Erklärungen (ALE) eingeführt, um formale, mathematisch garantierte Erklärungen für diese Netzwerke bereitzustellen, indem sie enge Schranken für Distanzen im latenten Raum berechnen. Die bestehenden ALE-Formulierungen sind jedoch starr auf euklidische latente Räume unter Verwendung von $L_2$-Distanzen beschränkt. Dies schafft eine kritische Lücke: Moderne State-of-the-Art-PBNs nutzen zunehmend nicht-euklidische Repräsentationen, einschließlich sphärischer Metriken (Cosinus-Ähnlichkeit), Gaußscher Dichten und dimensionaler Projektionen (Softmax). Aktuelle formale Erklärungsmethoden sind mit diesen vielfältigen geometrischen Strukturen inkompatibel, was eine rigorose Interpretabilitätsanalyse über das gesamte Spektrum prototypbasierter Architekturen hinweg verhindert.

Methodik
Die Autoren verallgemeinern das ALE-Framework, um nicht-euklidische Prototypen-Architekturen zu unterstützen, indem sie spezifische Bounding-Algorithmen für verschiedene geometrische Varianten herleiten. Das Kernziel bleibt gleich: die Berechnung von Teilmengen-minimalen Sätzen von Prototypen, die eine Vorhersage des Modells garantieren, indem die Schranken für Aktivierungswerte iterativ verschärft werden.

1. Cosinus-Ähnlichkeit (Sphärische Geometrie): Für Architekturen wie TesNet, die das Skalarprodukt-Ähnlichkeitsmaß auf einer Einheitssphäre verwenden, passen die Autoren das Schließen auf die sphärische Geometrie an. Da die Cosinus-Ähnlichkeit die Standard-Dreiecksungleichung nicht erfüllt, nutzen sie die Winkeldistanz ($d_\angle$), um Schranken abzuleiten. Sie führen eine Spherical Cap Intersection Approximation ein, bei der die Schnittmenge zweier sphärischer Kappen (definiert durch ein Patch und zwei Prototypen) durch eine sphärische Kappe mit minimalem Radius umschlossen wird. Dies ermöglicht die Ableitung enger unterer und oberer Schranken für die Ähnlichkeit zwischen einem latenten Patch und nicht beobachteten Prototypen.
2. Dimensionale Projektion (Simplex-Geometrie): Für Architekturen wie PIP-Net, die Aktivierungen über eine Softmax-Funktion auf ein Wahrscheinlichkeitssimplex abbilden, verschiebt sich das geometrische Schließen von räumlichen Distanzen hin zur Erhaltung der Wahrscheinlichkeitsmasse. Die Autoren schlagen eine Simplex-Erklärung vor, bei der das Hinzufügen eines $\langle \text{Patch}, \text{Prototyp} \rangle$-Paares zur Erklärung einen Teil der Wahrscheinlichkeitsmasse „verbraucht“, was die obere Schranke verbleibender Prototypen strikt begrenzt. Sie führen zudem eine Sparse-Weight-Erklärung für Modelle mit spärlichen, nicht-negativen Klassifikationsköpfen ein, die die exakte Score-Berechnung für die vorhergesagte Klasse und eine enge Schrankenbildung für konkurrierende Klassen ermöglicht.
3. Isotrope Gaußsche Ähnlichkeit: Für probabilistische Netzwerke (z. B. ProtoGMM), bei denen Prototypen Gauß-Verteilungen sind, bilden die Autoren das Problem auf einen universellen euklidischen Raum ab. Durch die Annahme einer isotropen Kovarianz gewinnen sie eine „wahre“ euklidische Distanz aus dem Ähnlichkeitsscore. Sie wenden die Standard-Hypersphere-Intersection-Approximation (HIA) in diesem abgebildeten euklidischen Raum an und projizieren die resultierenden geometrischen Schranken anschließend zurück in den spezifischen Aktivationsraum des Modells.
4. Fokale Ähnlichkeit: Für Architekturen wie ProtoPool, die fokales Pooling zur Unterdrückung von Hintergrundrauschen verwenden, zeigen die Autoren, dass bestehende räumliche ALE-Schranken aggregiert werden können, um die aggregierten Statistiken (Maximum und Erwartungswerte) zu begrenzen, die für die fokale Pooling-Operation erforderlich sind, ohne den zugrunde liegenden geometrischen Solver zu verändern.

Wesentliche Beiträge

• Verallgemeinerung von ALE: Die Arbeit erweitert das ALE-Framework über euklidische $L_2$-Räume hinaus, um sphärische Metriken, Gauß-Dichten und Simplex-basierte Projektionen zu unterstützen.
• Neuartige Bounding-Algorithmen: Die Autoren leiten systematisch ab, wie diverse Architekturen auf bestehende Schranken abgebildet werden oder wie neue, architekturspezifische Bounding-Algorithmen (z. B. Spherical Cap Intersection, Simplex Mass Conservation) konstruiert werden können.
• Vereinheitlichtes Framework: Durch die Vereinigung dieser diversen Modelle unter einem einzigen formalen Rahmen ermöglicht die Arbeit den ersten rigorosen, architektübergreifenden Vergleich der Interpretierbarkeit.
• Empirische Validierung: Die Autoren validieren diese theoretischen Konstruktionen durch die Berechnung von Teilmengen-minimalen formalen Erklärungen auf voll trainierten Bildklassifikatoren über mehrere Datensätze (Oxford Flowers 102, Oxford IIIT Pet, CUB200) und Architekturen (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet) hinweg.

Ergebnisse
Die Experimente zeigen signifikante Trade-offs zwischen der Erklärungsgröße (Interpretierbarkeit) und den Rechenkosten über verschiedene Paradigmen hinweg auf:

• PIP-Net: Modelle mit spärlichen, nicht-negativen linearen Köpfen (PIP-Net) liefern die kleinsten absoluten Erklärungsgrößen und die schnellsten Rechenzeiten (ca. 0,07 s), was darauf hindeutet, dass sie von Natur aus kompatibler mit formaler Verifikation sind.
• Simplex-Paradigma: Das Simplex-Erklärungsparadigma (für PIP-Net) erreicht die kleinste relative Erklärungsgröße (0,1 %–0,2 %), was auf eine exzellente Skalierbarkeit mit den Dimensionen des latenten Raums hindeutet.
• Gauß-Modelle: Scaled HIA liefert die kleinsten relativen Erklärungsgrößen für Gauß-Modelle (4,6 %–6,2 %), verursacht aber den höchsten Rechenaufwand (bis zu 142 s), wobei einige Konfigurationen bei größeren Datensätzen Zeitüberschreitungen (Timeouts) aufweisen.
• Cosinus-/Sphärische Modelle: Während die Spherical HIA konkurrenzfähige relative Größen erreicht, leiden sowohl Cosine TI als auch Spherical HIA unter hoher Varianz und Skalierbarkeitsproblemen und führen beim CUB200-Datensatz häufig zu Timeouts.
• Metrik: Die Autoren führen eine „Relative Size“-Metrik ein, um die Erklärungsgrößen über verschiedene Paradigmen hinweg zu normalisieren, was einen robusten Indikator für die inhärente architektonische Interpretierbarkeit unabhängig von der Gesamtzahl der Prototypen darstellt.

Bedeutung
Das Paper beansprucht, den ersten quantitativen Vergleich der formalen Interpretierbarkeit über diverse prototypbasierte Netzwerke hinweg zu liefern. Durch die Erweiterung von ALE auf nicht-euklidische Räume schließt es die Lücke zwischen den theoretischen Garantien der Formalen XAI und der praktischen Realität moderner, diverser Prototypen-Architekturen. Die Arbeit hebt spezifische Designprinzipien hervor – wie die Verwendung von spärlichen, nicht-negativen Köpfen –, die zu einer besseren formalen Interpretierbarkeit führen. Sie stellt fest, dass die geometrische Präzision (z. B. in Gauß- oder sphärischen Modellen) zwar enge Schranken liefern kann, dies jedoch oft mit erheblichen Rechenkosten verbunden ist, was die Notwendigkeit unterstreicht, das Design der Architektur sorgfältig abzuwägen, um ein Gleichgewicht zwischen Interpretierbarkeitsgarantien und Skalierbarkeit zu finden.