🤖 machine learning

Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations

Dieses Paper schlägt einen auf Reinforcement Learning basierenden Preference Optimization (RLPO) Algorithmus vor, der die Generierung von Konzeptbildsätzen aus Textbeschreibungen automatisiert und damit die arbeitsintensiven und fehleranfälligen Einschränkungen der manuellen Konzeptsammlung bei der Erklärung interner Repräsentationen neuronaler Netze überwindet.

Ursprüngliche Autoren: Aditya Taparia, Som Sagar, Ransalu Senanayake

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aditya Taparia, Som Sagar, Ransalu Senanayake

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter (ein neuronales Netz), der Ihnen sagen kann, ob ein Bild ein Zebra oder ein Tiger ist. Aber es gibt ein Problem: Der Roboter ist eine „Black Box“. Wenn Sie fragen: „Warum hast du gesagt, das sei ein Zebra?“, liefert er Ihnen nur eine mathematische Antwort, die für einen Menschen keinen Sinn ergibt.

Um dies zu beheben, versuchen Wissenschaftler normalerweise, das Denken des Roboters mithilfe von Konzepten zu erklären. Anstatt zu sagen: „Pixel #402 ist grün“, sagen sie: „Es liegt an den Streifen.“

Der alte Weg: Das Rezept erraten

Traditionell musste ein Mensch, um dem Roboter beizubringen, wie „Streifen“ aussehen, hunderte von Bildern von Streifen heraussuchen und sie dem Roboter manuell füttern.

Das Problem: Das ist so, als würde man versuchen, die geheime Zutat eines Kuchens durch Probieren zu erraten. Man rät vielleicht „Zucker“, aber vielleicht war das Geheimnis „Kardamom“. Menschen sind schlecht darin, alle verborgenen Regeln zu erraten, die ein Roboter gelernt hat. Wir könnten übersehen, dass der Roboter denkt, dass „Zebras“ auch mit „schlammigem Gras“ oder „schnellem Laufen“ zusammenhängen, und nicht nur mit Streifen.

Der neue Weg: Der „Magische Pinsel“ (RLPO)

Dieses Paper stellt eine neue Methode namens RLPO (Reinforcement Learning-based Preference Optimization) vor. Betrachten Sie dies als einen Magischen Pinsel, der lernt, genau die Bilder zu malen, an die der Roboter denkt, ohne dass ein Mensch zuerst die Wörter erraten muss.

So funktioniert es, Schritt für Schritt:

1. Der Künstler und der Kritiker

Der Künstler (Stable Diffusion): Dies ist ein Computerprogramm, das alles aus einer Textbeschreibung zeichnen kann.
Der Kritiker (Das Gehirn des Roboters): Dies ist der Roboter, den wir verstehen wollen. Er spricht keine menschliche Sprache; er spricht in „Scores“ (Punkten).
Das Spiel: Der Künstler versucht, ein Bild basierend auf einem zufälligen Wort (wie „Streifen“) zu zeichnen. Der Kritiker betrachtet die Zeichnung und fragt sich: „Hilft mir diese Zeichnung zu verstehen, warum ich dieses Bild als Zebra bezeichnet habe?“
- Wenn die Zeichnung dem Kritiker hilft, gibt er einen hohen Score.
- Wenn die Zeichnung irrelevant ist, gibt er einen niedrigen Score.

2. Die Feedbackschleife (Der „Preference“-Teil)
Anstatt dass ein Mensch dem Künstler sagt: „Nein, das ist kein Streifen“, nutzt das System den Score des Kritikers als Lehrer.

Der Künstler zeichnet ein Bild.
Der Kritiker bewertet es.
Das System sagt: „Okay, dieser Score war gut. Versuchen wir, das nächste Bild so ähnlich wie dieses zu machen.“
Mit der Zeit wird der Künstler immer besser darin, genau das zu zeichnen, worauf der Roboter Wert legt, selbst wenn der Roboter auf seltsame Dinge achtet, die Menschen gar nicht auf dem Schirm hätten.

3. Das „Reinforcement Learning“ (Der Coach)
Stellen Sie sich einen Coach vor, der dem Künstler sagt: „Du kommst näher! Versuche, dich mehr auf den Hintergrund statt auf das Tier zu konzentrieren.“ Das System passt das „Gehirn“ (die Gewichte) des Künstlers automatisch an, um die besten Wörter zu finden, die die Gedanken des Roboters beschreiben. Es ist wie ein Videospiel, bei dem der Spieler (das System) immer wieder verschiedene Züge ausprobiert, bis er die Gewinnstrategie findet.

Was haben sie herausgefunden?

Als sie diesen Magischen Pinsel auf einen Roboter anwendeten, der darauf trainiert war, Zebras zu erkennen, zeichnete er nicht nur Streifen. Er entdeckte und zeichnete:

Streifen (Das Offensichtliche).
Bewegung beim Laufen (Der Roboter achtete auf Bäume im Hintergrund, die das Zebra so aussehen ließen, als würde es rennen).
Schlamm/Gras (Der Roboter achtete auf den Boden).

Warum ist das cool?

Menschen haben es übersehen: Als die Forscher menschliche Ingenieure fragten, was sie vermuteten, worauf der Roboter achtet, raten die Menschen hauptsächlich „Streifen“. Sie übersahen die Konzepte „Laufen“ und „Schlamm“. Der Magische Pinsel fand sie automatisch.
Es ist nicht nur auf Bilder beschränkt: Das Paper zeigt auch, dass dies für Text funktioniert. Wenn Sie einen Roboter haben, der Filmkritiken liest, kann diese Methode Wörter (wie „hilfreich“ oder „geduldig“) generieren, die erklären, warum der Roboter eine Kritik als positiv bewertet.

Das Fazit

In diesem Paper geht es darum, ein Werkzeug zu bauen, das die geheimen, mathematischen Gedanken eines Roboters automatisch in Bilder und Wörter übersetzt, die für Menschen verständlich sind. Es verhindert, dass wir raten müssen, was der Roboter denkt, und lässt ihn stattdin seine Lieblingskonzepte durch eine intelligente, selbstkorrigierende Zeichenmaschine „zeigen“.

Ein Haken: Das Paper merkt an, dass der „Magische Pinsel“ nur so gut ist wie die Bilder, mit denen er startet. Wenn man ihm einen schlechten Startpunkt gibt, könnte er abschweifen. Aber insgesamt ist dies ein viel besserer Weg, in die Black Box hineinzuschauen, als mit dem eigenen Verstand zu raten.

Technisches Resümee: Erklärbare Konzeptgenerierung durch Vision-Language Preference Learning

Problemstellung

Das Verständnis der internen Repräsentationen tiefer neuronaler Netze (DNNs) ist entscheidend für die Modellverbesserung und die regulatorische Bewertung. Während konzeptbasierte Erklärungsverfahren wie Testing with Concept Activation Vectors (TCAV) interpretierbare Einblicke bieten, indem sie hochgradig visuelle Konzepte (z. B. „Streifen“) mit Entscheidungen des Modells verknüpfen, leiden sie unter einem erheblichen Engpass: der manuellen Konzeptkuratierung.

Bestehende Ansätze erfordern von Praktikern, dass sie Kandidaten-Konzeptbildsets manuell erraten und sammeln. Dieser Prozess ist arbeitsintensiv, anfällig für das Übersehen kritischer Konzepte und durch menschliche kognitive Verzerrungen begrenzt. Darüber hinaus scheitern alternative „Retrieval“-Methoden, die Konzepte direkt aus Testbildern extrahieren (z. B. via Segmentierung), oft daran, hochgradige Abstraktionen zu erfassen; sie neigen dazu, Patches des Zielobjekts (z. B. ein Stück eines Zebras) zu produzieren, anstatt der zugrunde liegenden Merkmale (z. B. Streifen), die die Klassifizierung vorantreiben. Es mangelt an automatisierten Methoden, die in der Lage sind, vielfältige, hochgradige Konzepte zu generieren, die für den Entscheidungsprozess eines spezifischen DNN tatsächlich relevant sind, ohne menschliches Eingreifen.

Methodik: Reinforcement Learning-basierte Präferenzoptimierung (RLPO)

Die Autoren schlagen RLPO vor, ein Framework, das die Erstellung von Konzept-Sets als Bildgenerierungsproblem neu definiert. Anstatt Bilder abzurufen oder manuell zu kuratieren, nutzt RLPO ein generatives Modell, das durch Deep Reinforcement Learning gesteuert wird, um Konzeptbilder zu synthetisieren, die die TCAV-Scores maximieren.

Kernkomponenten

Generatives Modell (Stable Diffusion): Das System verwendet ein vortrainiertes Text-zu-Bild-Modell (Stable Diffusion v1-5), um basierend auf Text-Prompts Konzeptbilder zu generieren.
Deep Reinforcement Learning (DQN): Ein Deep Q-Network (DQN) steuert den Generierungsprozess.
- Aktion ( $a_t$ ): Auswahl eines Seed-Prompts aus einer vordefinierten Liste (extrahiert via Vision-Question-Answering-Modell).
- Zustand ( $s_t$ ): Die bevorzugten Konzeptbilder, die aus dem vorherigen Prompt generiert wurden.
- Belohnung ( $r_t$ ): Berechnet basierend auf den TCAV-Scores der generierten Bilder.
Präferenzoptimierung (RLPO): Im Gegensatz zur Standard-Präferenzoptimierung, die auf menschlichem Ranking basiert, nutzt RLPO TCAV-Scores als Präferenzsignal. Das System vergleicht zwei Gruppen generierter Bilder ( $G_1$ und $G_2$ ); die Gruppe mit dem höheren TCAV-Score wird bevorzugt.
Feinabstimmung via LoRA: Um das generative Modell zur Produktion relevanterer Konzepte zu führen, setzt das System Low-Rank Adaptation (LoRA) ein. Die Gewichte des Stable Diffusion Modells werden basierend auf dem Präferenzfeedback aktualisiert ( $w_{t+1} \leftarrow w_t + \lambda ab$ ), wodurch das Modell iterativ verfeinert wird, um Bilder zu generieren, die spezifische neuronale Aktivierungen auslösen.
Dynamische Belohnungsskalierung: Ein Skalierungsfaktor $\xi_t$ wird eingeführt, um Belohnungen im Zeitverlauf anzupassen, wodurch sichergestellt wird, dass der Agent angemessenes Feedback erhält, während er von „Proxy-Zuständen“ (niedriger TCAV) zu „erklärbaren Zuständen“ (hoher TCAV) fortschreitet.

Wichtigste Beiträge

Automatisierte Konzeptgenerierung: Das Paper führt RLPO ein, eine Methode, um Konzepte automatisch zu „generieren“, die für den Entscheidungsprozess eines neuronalen Netzes relevant sind, wodurch die Notwendigkeit des manuellen Ratens oder des Retrievals entfällt.
Entdeckung nicht-intuitiver Konzepte: Die Methode identifiziert erfolgreich vielfältige Konzepte, die für Menschen oder Retrieval-basierte Methoden schwer vorhersehbar sind (z. B. Hintergrundelemente wie „Schlamm“ oder „laufende“ Bäume für einen Zebra-Klassifizierer, nicht nur „Streifen“).
Umfassende Validierung: Die Autoren liefern sowohl qualitative als auch quantitative Belege (computergestützte Metriken und menschliche Umfragen), die zeigen, dass RLPO die internen Netzwerkrepräsentationen effektiv offenlegt.
Modularität und Generalisierbarkeit: Das Framework ist modular aufgebaut, sodass Komponenten wie das generative Modell ausgetauscht werden können. Die Autoren demonstrieren die Anwendbarkeit über Computer Vision hinaus, indem sie es auf NLP-Sentiment-Analyse-Aufgaben erweitern.

Experimentelle Ergebnisse

Die Methode wurde auf mehreren Klassifizierern (GoogleNet, InceptionV3, ViT, Swin) evaluiert, die auf ImageNet trainiert wurden, sowie auf einem ResNet-18 auf dem CelebA-Datensatz und einem TextCNN auf IMDB.

Suchstrategie: RLPO übertraf $\epsilon$ -greedy Suchstrategien und zeigte eine höhere Entropie sowie eine bessere Exploration des Aktionsraums (Tabelle 1).
Bewertungsmechanismus: Die Verwendung von TCAV für Präferenzfeedback (RLPO-XAIF) erwies sich hinsichtlich der Ausführungszeit und der Rechenkosten als überlegen gegenüber menschlichem Feedback (RLPO-HF) und KI-Feedback (RLPO-AIF), während es gleichzeitig modellspezifische Erklärungen lieferte (Tabelle 2).
Konzeptvielfalt und Neuheit:
- Explorationslücke (EG): Menschliche Umfragen zeigten eine signifikante Lücke zwischen den von Menschen identifizierbaren Konzepten und denen, die durch RLPO generiert wurden. Für Laien betrug die EG 91,54 % für RLPO gegenüber 6,54 % für Retrieval-Methoden, was darauf hindeutet, dass RLPO Konzepte findet, die Menschen normalerweise nicht in Betracht ziehen (Tabelle 3).
- Diversität: Generierte Konzepte zeigten eine geringere Kosinus-Ähnlichkeit und eine höhere euklidische Distanz im Vergleich zu Retrieval-basierten Methoden, was bestätigt, dass sie abstrakte Merkmale statt Bildpatches repräsentieren (Tabelle 4).
Validierung:
- C-Deletion: Das Entfernen generierter Konzepte (z. B. „Streifen“) aus den Eingabebildern verursachte einen signifikanten Abfall der Modellgenauigkeit, was deren Bedeutung validiert (Abb. 6).
- Nutzen für Ingenieure: In einer Studie mit 19 ML-Ingenieuren stimmten 94,7 % zu, dass RLPO-Erklärungen ihnen halfen, das Modell besser zu verstehen, und 84,2 % fanden neue Erkenntnisse. Ingenieure übersahen oft Konzepte (wie „laufend“ oder „Schlamm“), die RLPO als wichtig identifizierte.
Bias-Detektion: Angewandt auf einen „Blond“ vs. „Nicht-Blond“ Klassifizierer, enthüllte RLPO, dass das Modell stark auf „weibliche Gesicht“-Konzepte vertraute, was den Gender-Bias in den Trainingsdaten verdeutlichte.
NLP-Generalisierung: Das Framework wurde erfolgreich angepasst, um Wort-Synonyme für die Sentiment-Analyse zu generieren, was die domänenübergreifende Anwendbarkeit zeigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass RLPO das fundamentale Problem aktueller konzeptbasierter XAI-Methoden adressiert: die Abhängigkeit von menschlicher Intuition bei der Konzeptwahl. Durch die Definition der Konzeptgestaltung als ein durch Reinforcement Learning optimiertes Generierungsproblem zeigen die Autoren, dass es möglich ist, automatisch vielfältige, hochgradige Konzepte zu artikulieren, die die Entscheidungen neuronaler Netze vorantreiben.

Die Autoren positionieren diese Arbeit als Werkzeug für:

Verbesserung von Modellen: Ingenieure können generierte Konzepte nutzen (z. B. die Identifizierung, dass ein Modell sich auf hintergrundseitige „verschwommene“ Texturen bei Tigern konzentriert), um Modelle fein abzustimmen und die Abhängigkeit von Schein-Korrelationen (Spurious Correlations) zu reduzieren.
Verständnis von Bias: Die Methode kann unerwünschte Biases aufdecken, die während des Trainings gelernt wurden und für menschliche Beobachter nicht offensichtlich sind.
Generalisierbarkeit: Der Ansatz ist nicht auf Vision beschränkt; er kann auf andere Modalitäten wie NLP angepasst werden.

Die Autoren räumen Einschränkungen ein und merken an, dass die Qualität der generierten Konzepte von den initialen Seed-Prompts und den Pre-Training-Daten des generativen Modells abhängt, was eigene Biases einführen kann. Sie schlagen vor, dass zukünftige Arbeiten die Integration von Präferenzen von Domänenexperten beinhalten könnten, um die generierten Erklärungen weiter mit spezifischen Anwendungsbedürfnissen abzugleichen.