💻 computer science

ProDG: Prototypes for Data-Free Generative Post-Hoc Explainability

Dieser Beitrag stellt ProDG vor, ein neuartiges datenfreies Framework, das generative Modelle nutzt, um hochauflösende visuelle Prototypen direkt aus eingefrorenen Modellgewichten zu synthetisieren und dadurch eine robuste post-hoc-Interpretierbarkeit für datenschutzsensible Bereiche ermöglicht, ohne dass Zugriff auf externe Daten erforderlich ist.

Ursprüngliche Autoren: Piotr Borycki, Magdalena Trędowicz, Jacek Tabor, Łukasz Struski, Przemysław Spurek

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Piotr Borycki, Magdalena Trędowicz, Jacek Tabor, Łukasz Struski, Przemysław Spurek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschlauen Roboter, der ein Bild betrachten und Ihnen genau sagen kann, was es ist – etwa eine bestimmte Hunderasse oder einen seltenen Vogel identifiziert. Doch hier liegt der Haken: Der Roboter ist eine „Blackbox". Er liefert Ihnen die Antwort, sagt Ihnen aber nicht, warum er das glaubt. Es ist wie ein Koch, der Ihnen ein perfektes Mahl serviert, sich aber weigert, Ihnen zu verraten, welche Zutaten er verwendet hat.

Lange Zeit versuchten Wissenschaftler, einen Blick in die Blackbox zu werfen. Einige Methoden hoben lediglich „Hotspots" auf dem Bild hervor (wie eine Wärmebildkarte), doch diese Flecken waren oft unscharf und ergaben für Menschen wenig Sinn. Andere versuchten, echte Beispiele aus den Trainingsdaten des Roboters zu finden, die der Antwort ähnelten, und sagten: „Siehst du? Dieses Bild sieht so aus wie jenes, deshalb habe ich mich dafür entschieden."

Das Problem mit dem alten Weg
Das Problem beim Finden echter Beispiele besteht darin, dass Sie Zugriff auf die ursprünglichen Trainingsdaten des Roboters benötigen. Doch in vielen realen Situationen – etwa in Krankenhäusern mit privaten Patientendaten oder Banken mit sensiblen Finanzdaten – sind diese Daten verschlossen. Sie können sie nicht einsehen. Daher stießen die alten Methoden an eine Wand: Sie können den Roboter nicht erklären, wenn sie die Daten nicht sehen können.

Die neue Lösung: ProDG
Diese Arbeit stellt ProDG vor (Prototypes for Data-Free Generative Post-Hoc Explainability). Stellen Sie sich ProDG als einen „magischen Zeichner" vor, der nicht das originale Fotoalbum sehen muss, um den Geist des Roboters zu verstehen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Gehirnoperation" (Feature Disentanglement)

Das Gehirn des Roboters (sein neuronales Netz) ist chaotisch. Wenn es einen „Wolf" sieht, aktiviert es möglicherweise 50 verschiedene Teile seines Gehirns gleichzeitig, alles durcheinander geworfen.

Die Lösung: ProDG führt eine sanfte „Gehirnoperation" durch. Es verwendet ein spezielles mathematisches Werkzeug (ein Orthogonal Feature Disentanglement Module), um das Durcheinander zu entwirren. Es ordnet die interne Verkabelung des Roboters so um, dass jede spezifische Leitung (oder „Kanal") nur einer klaren Idee gewidmet ist, wie etwa „Wolfsaugen" oder „Wolfsmaul", ohne dass andere Ideen dazwischenkommen.
Die Magie: Dies geschieht, ohne die tatsächlichen Antworten des Roboters zu verändern. Es ist wie die Umorganisation einer Bibliothek, damit Bücher leichter zu finden sind, aber die Bücher selbst und das Wissen des Bibliothekars genau gleich bleiben.

2. Der „Traumgenerator" (Generative Prototypes)

Normalerweise müssten Sie, um den Roboter zu erklären, durch einen Haufen echter Fotos graben, um ein perfektes Beispiel für eine „Wolfsmaul"-Struktur zu finden. Da wir die echten Fotos jedoch nicht sehen können, nutzt ProDG ein Generatives Modell (wie einen High-Tech-KI-Künstler).

Der Prozess: ProDG spricht mit diesem KI-Künstler. Es sagt: „Hey, ich brauche, dass du ein Bild zeichnest, das die 'Wolfsmaul'-Leitung im Gehirn des Roboters so hell wie möglich aufleuchten lässt."
Das Ergebnis: Der KI-Künstler kopiert kein echtes Foto; er träumt sich ein brandneues, perfektes „Wolfsmaul"-Bild aus dem Nichts. Er probiert verschiedene Skizzen aus, bis er diejenige findet, bei der das Gehirn des Roboters sagt: „Ja! Das ist genau das, woran ich gedacht habe!"

3. Die „Konzeptbank" (Prompt Optimization)

Um sicherzustellen, dass der KI-Künstler das Richtige zeichnet, verwendet ProDG eine Concept Prompt Bank. Stellen Sie sich dies als ein Wörterbuch von Anweisungen vor.

Anstatt nur zu sagen „zeichne einen Wolf", verfeinert ProDG die Anweisungen (die „Prompts") so, dass sie unglaublich spezifisch sind. Es passt die Anweisungen leicht an, um sicherzustellen, dass der Künstler eine Vielzahl verschiedener „Wolfsmäuler" zeichnet (einige mit Fell, einige mit Narben, einige bei unterschiedlicher Beleuchtung), damit die Erklärung nicht nur ein langweiliges, statisches Bild ist. Dies verhindert, dass der Künstler jedes Mal genau dasselbe Bild zeichnet.

Warum das wichtig ist

Datenschutz an erster Stelle: Da ProDG diese Erklärungen aus dem Nichts unter Verwendung der internen „Gewichte" des Roboters (seine Gehirnstruktur) und eines generativen Künstlers erstellt, muss es niemals die ursprünglichen privaten Daten sehen. Sie können eine medizinische Diagnose erklären, ohne jemals die privaten Aufzeichnungen des Patienten einzusehen.
Klarere Erklärungen: Anstatt einen verschwommenen roten Fleck auf einem Bild zu zeigen (wie ältere Methoden), zeigt ProDG Ihnen ein klares, hochwertiges Bild des spezifischen Merkmals, das der Roboter betrachtet (z. B. „Ich sehe die Fühler, also weiß ich, dass dies ein Insekt ist").

Das Fazit

ProDG ist eine neue Art, die Blackbox zu öffnen. Es nimmt eine eingefrorene, unveränderliche KI, entwirrt ihr chaotisches Gehirn und nutzt dann einen generativen KI-Künstler, um perfekte Beispiele dessen zu „träumen", woran der Roboter denkt. Dies ermöglicht es uns, komplexe KI-Entscheidungen zu verstehen, selbst wenn die ursprünglichen Daten strengstens gesperrt sind, wobei die Privatsphäre gewahrt bleibt und die Argumentation der KI kristallklar wird.

Technische Zusammenfassung: ProDG – Prototypen für datenfreie generative post-hoc Erklärbarkeit

Problemstellung

Tiefe neuronale Netze haben in der Computer Vision bemerkenswerte Leistungen erzielt, bleiben jedoch „Blackboxen", was kritische Vertrauens- und Sicherheitsfragen aufwirft. Während Methoden zur post-hoc Erklärbarkeit (z. B. Grad-CAM, LRP) effiziente Erklärungen für einzelne Bilder ohne Nachtraining liefern, produzieren sie typischerweise pixelbasierte Heatmaps, die keine klare semantische Bedeutung besitzen und Benutzer zwingen, die Begründung des Modells zu erschließen. Im Gegensatz dazu bieten ante-hoc prototypenbasierte Methoden (z. B. ProtoPNet) für Menschen verständliche Begründungen im Stil „das sieht aus wie das", erfordern jedoch spezialisierte Architekturen und umfangreiches Nachtraining.

Neuere hybride Ansätze, wie EPIC, versuchen, diese Lücke zu schließen, indem sie prototypenähnliche Erklärungen aus eingefrorenen Klassifikatoren ohne Nachtraining extrahieren. Diese Methoden stoßen jedoch auf eine fundamentale Einschränkung: Sie benötigen Zugriff auf eine Teilmenge realer Daten (z. B. einen Validierungs- oder Testdatensatz), um visuelle Prototypen zu suchen, zuzuschneiden und zu extrahieren. Diese Abhängigkeit macht sie in datenschutzsensitiven Bereichen (z. B. Gesundheitswesen, Finanzen) unbrauchbar, in denen ursprüngliche Datensätze streng eingeschränkt oder unzugänglich sind.

Methodik: ProDG-Rahmenwerk

ProDG (Generative Prototypen für datenfreie post-hoc Erklärbarkeit) adressiert das Problem der Datenabhängigkeit, indem es reine, hochfidele visuelle Prototypen direkt aus den Gewichten eines eingefrorenen Klassifikators synthetisiert und somit jegliche Notwendigkeit externer Daten eliminiert. Das Rahmenwerk besteht aus drei Hauptkomponenten:

1. Modul zur orthogonalen Merkmalsentwirrung

In Standardnetzen sind visuelle Merkmale oft über mehrere Kanäle hinweg verflochten. ProDG führt eine orthogonale Basiswechselmatrix $U \in \mathbb{R}^{C \times C}$ ein, um die ursprünglichen verflochtenen Aktivierungen $\Phi(x)$ in einen neuen Raum $Z = U \Phi(x)$ abzubilden.

Ziel: Ausrichtung der neuen Kanalrepräsentationen auf distinkte, semantisch bedeutsame visuelle Konzepte, sodass jeder Kanal genau für ein spezifisches Merkmal stark aktiviert wird.
Garantie der Zuverlässigkeit: Da $U$ als orthogonal eingeschränkt ist, ist ihre Inverse einfach ihre Transponierte ( $U^{-1} = U^T$ ). Durch die Modifikation des linearen Klassifikationskopfs, um diese inverse Abbildung zu integrieren (Multiplikation der Klassifikatorgewichte mit $U^T$ ), wird der Basiswechsel während des Vorwärtsdurchlaufs mathematisch aufgehoben. Dies stellt sicher, dass das modifizierte Netzwerk die exakte Vorhersagegenauigkeit und die Logit-Vorhersagen des ursprünglichen Basismodells beibehält.

2. Konzept-Prompt-Bank

Um Prototypen ohne reale Daten zu generieren, nutzt ProDG ein eingefrorenes generatives Modell (insbesondere FLUX.1-schnell), das auf Text-Embeddings konditioniert ist.

Parametrisierung: Eine „Konzept-Prompt-Bank" $\mathcal{P} = \{P_c\}_{c=1}^C$ wird für jeden Kanal definiert. Jedes $P_c$ umfasst eingefrorene Anker-Embeddings (abgeleitet aus Klassennamen während einer initialen Entdeckungsphase) und lernbare Verteilungsparameter.
Optimierung: Die lernbaren Parameter umfassen Verschiebungen und Varianzen für die Text-Embeddings. Für hochdimensionale T5-Embeddings wird eine Low-Rank Adaptation (LoRA) verwendet; für CLIP-Embeddings werden direkte Verschiebungen gelernt.
Vielfalt: Embeddings werden als probabilistische Verteilungen formuliert. Unter Verwendung des Reparameterisierungstricks sampelt das System aus diesen Verteilungen, um diverse Prototypbilder zu generieren, anstatt ein einzelnes statisches Bild pro Konzept.

3. Schema der alternierenden Optimierung

Das Rahmenwerk optimiert die Transformationsmatrix $U$ und die Prompt-Bank-Parameter $\Theta_c$ gemeinsam unter Verwendung einer alternierenden Strategie:

Phase 1 (Update $U$ ): Fixierung der Prompt-Parameter, Sampeln von Bildern für Zielkanäle und Aktualisierung von $U$ , um die Reinheit (Purity) zu maximieren (das Verhältnis der maximalen Aktivierung in einem spezifischen Kanal zur Norm des Merkmalsvektors an dieser räumlichen Position).
Phase 2 (Update Prompts): Fixierung von $U$ $U$ , Generierung von Bildern und Aktualisierung der Embeddings zur Maximierung der Reinheit unter Anwendung zweier Regularisierungsverluste:
- Regularisierungsverlust ( $L_{reg}$ ): Bestraft große Abweichungen der gelernten Embeddings von bedeutungsvollen natürlichen Sprachankern, um die semantische Ausrichtung zu erhalten.
- Vielfaltsverlust ( $L_{div}$ ): Fördert die Generierung unterschiedlicher Bilder für denselben Kanal, um einen Modus-Kollaps zu verhindern; berechnet über die paarweise kosinussimilität von Merkmalsvektoren.

Generierung von Erklärungen

Während der Inferenz identifiziert das System die top- $k$ einflussreichsten Kanäle für eine vorhergesagte Klasse. Anschließend wird aus der optimierten Prompt-Bank gesampelt, um entsprechende Bilder zu generieren. Visuelle Erklärungen werden durch Berechnung von Aktivierungs-Heatmaps basierend auf dem Produkt aus Räumlicher Reinheit (Dominanz des Kanals) und Relativer Größe (normalisierte Aktivierung) abgeleitet, was zu lokalisierten Begrenzungsrahmen führt, die prototypische Regionen hervorheben.

Hauptbeiträge

Datenfreies Rahmenwerk: ProDG ist die erste prototypenbasierte Methode, die Prototyp-Erklärungen synthetisiert, ohne Zugriff auf ursprüngliche oder Validierungsdatensätze zu benötigen.
Reinheitsoptimierte Konditionierung: Die Einführung eines Mechanismus, der generative Modelle nutzt, um hochfidele, interpretierbare visuelle Konzepte direkt aus den Gewichten eines eingefrorenen Klassifikators zu erstellen.
Datenschutzkonforme Interpretierbarkeit: Die Methode bietet eine sichere Alternative zur traditionellen datenabhängigen Extraktion und liefert sauberere konzeptionelle Darstellungen, frei von irrelevanter Hintergrundgeräusch, geeignet für eingeschränkte Umgebungen.

Ergebnisse und Evaluation

Die Autoren bewerteten ProDG an vier Benchmarks (CUB-200-2011, Stanford Cars, Stanford Dogs und ImageNet) unter Verwendung verschiedener Backbones (ResNet, DenseNet, ConvNeXt, SwinTransformer).

Vorhersage-Zuverlässigkeit: Wie theoretisch garantiert, behält ProDG die Genauigkeit des Basismodells exakt bei (0 % Unterschied) über alle Datensätze und Architekturen hinweg und entspricht der Leistung von EPIC und InfoDisent.
Qualitative Leistung: Visuelle Vergleiche zeigen, dass ProDG semantisch reiche Hinweise (z. B. Objektstruktur, Textur) produziert, die mit datenabhängigen Methoden wie EPIC vergleichbar sind und diskriminierende Regionen effektiv erfassen.
Intra-Konzept-Vielfalt: Unter Verwendung der Metrik „Learned Perceptual Image Patch Similarity" (LPIPS) erzielte ProDG hohe Werte ( $\geq 0,61$ ), was darauf hindeutet, dass das Rahmenwerk erfolgreich einen Modus-Kollaps vermeidet und diverse visuelle Variationen für dasselbe Konzept generiert.
Benutzerstudie: In einer Studie zu ImageNet erreichten Teilnehmer eine signifikant höher als zufällige Genauigkeit (73 % vs. zufällige Auswahl), wenn sie Klassen basierend auf ProDG-Erklärungen identifizierten. In einem Dreiervergleich (ProDG vs. InfoDisent vs. EPIC) erreichte ProDG den höchsten durchschnittlichen Rang (1,85), wobei statistisch signifikante Unterschiede gegenüber InfoDisent festgestellt wurden.

Bedeutung und Einschränkungen

Die Autoren behaupten, dass ProDG eine neue Grenze in der datenfreien XAI (Explainable AI) setzt und robuste visuelle Interpretierbarkeit für stark eingeschränkte Umgebungen erschließt, in denen Datenzugriff unmöglich ist. Durch die Entkopplung der Prototyp-Entdeckung von der Datenverfügbarkeit ermöglicht es Transparenz in datenschutzsensitiven Bereichen.

Die Autoren räumen bescheiden die mit dem generativen Ansatz verbundenen Einschränkungen ein:

Bias des generativen Priors: Wenn Zielkonzepte für das zugrunde liegende generative Modell (z. B. FLUX) vollständig außerhalb der Verteilung liegen, kann die Prompt-Optimierung Schwierigkeiten haben, gültige Prototypen zu synthetisieren.
Domänenanpassung: Die Anwendung des Rahmenwerks auf spezialisierte Domänen könnte den Austausch des generativen Priors gegen ein domänenspezifisches Modell erfordern.
Initialisierung: Obwohl die Initialisierung mit Textankern die Konvergenz unterstützt, könnten fortschrittlichere Initialisierungsstrategien potenziell die Erfassung hochgradig abstrakter visueller Merkmale verbessern.