💻 computer science

FAME: Feature Activation Map Explanation on Image Classification and Face Recognition

Dieser Beitrag stellt FAME vor, eine neuartige erklärbare KI-Methode, die gradientengetriebene Eingabemanipulation mit einer Analyse der Merkmalsaktivierung kombiniert, um wettbewerbsfähige Attributionskarten für die Bildklassifizierung und Gesichtserkennung zu erzeugen, und zeigt gleichzeitig, dass die traditionellen Annahmen der Class Activation Mapping in tieferen Netzwerken versagen.

Ursprüngliche Autoren: Xinyi Zhang, Manuel Günther

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinyi Zhang, Manuel Günther

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superschlauen KI-Roboter, der Fotos betrachtet und Ihnen sagt, was er sieht, etwa indem er einen Bären im Wald identifiziert oder bestätigt, dass zwei Fotos dieselbe Person zeigen. Das Problem ist, dass dieser Roboter eine „Blackbox" ist. Er gibt Ihnen die Antwort, sagt Ihnen aber nicht, warum er das denkt. Hat er die Bärennase gesehen? Das Fell? Oder wurde er vielleicht nur vom grünen Gras im Hintergrund verwirrt?

Diese Arbeit stellt ein neues Werkzeug namens FAME (Feature Activation Map Explanation) vor, das uns hilft, einen Blick in das Gehirn des Roboters zu werfen und genau zu sehen, welche Teile des Fotos am wichtigsten sind.

Hier ist die Erklärung der Arbeit, unter Verwendung einfacher Analogien:

Der alte Weg: Das „Raten-Spiel"

Bevor FAME existierte, gab es zwei Hauptmethoden, um diese Roboter zu verstehen:

Die „herausgezoomte Karte" (CAM/Grad-CAM): Stellen Sie sich vor, der Roboter unterteilt das Foto in ein winziges Gitter aus Kacheln. Er betrachtet jede Kachel und sagt: „Diese Kachel ist wichtig!" Dann dehnt er dieses winzige Gitter wieder auf die Größe des Originalfotos aus, um Ihnen zu zeigen, wo die wichtigen Stellen sind.
- Der Fehler: Die Autoren entdeckten, dass für tiefe, komplexe Roboter dieses „Gitter" tatsächlich nicht nur einem kleinen Punkt im Foto entspricht. Eine einzelne Kachel im Gehirn des Roboters könnte gleichzeitig auf das Ohr des Bären und den dahinterstehenden Baum schauen. Das Ausdehnen des Gitters erzeugt eine unscharfe, irreführende Karte. Es ist, als würde man versuchen, die Zutaten einer Suppe zu erraten, indem man nur einen Löffel voll betrachtet, den man aus der Mitte genommen hat; man könnte die Karotten am Boden oder die Kräuter oben verpassen.
Das „Kratzen-und-Prüfen" (Perturbation Methods): Diese Methode versucht, den Roboter zu verstehen, indem sie zufällig Teile des Fotos mit schwarzen Quadraten oder Rauschen bedeckt und beobachtet, ob der Roboter verwirrt wird.
- Der Fehler: Dies ist etwas ungeschickt. Wenn Sie einen Teil des Gesichts mit einem schwarzen Quadrat bedecken, erzeugen Sie eine scharfe, unnatürliche Kante, die den Roboter aus den falschen Gründen verwirren könnte. Es ist, als würde man versuchen, herauszufinden, wie ein Automotor funktioniert, indem man zufällig Steine darauf wirft und sieht, was kaputtgeht. Es ist chaotisch und verlässt sich auf Glück.

Der neue Weg: FAME (Der „geleitete Bildhauer")

Die Autoren schufen FAME, um das Beste aus beiden Welten zu kombinieren. Anstatt zu raten oder das Bild zufällig zu zerkratzen, agiert FAME wie ein geleiteter Bildhauer.

So funktioniert es:

Das Ziel: FAME fragt den Roboter: „Was ist die kleinste Änderung, die ich an diesem Foto vornehmen kann, damit Sie Ihre Meinung ändern?"
Der Prozess: Es nutzt die eigene innere Mathematik des Roboters (Gradienten), um die Pixel des Bildes sanft zu schieben. Es wirft nicht einfach zufälliges Rauschen; es schiebt die Pixel genau in die Richtung, die den Roboter verwirren würde.
Das Ergebnis: Die Bereiche, bei denen der Roboter am meisten „Schieben" benötigte, um seine Meinung zu ändern, sind die wichtigsten Teile. Wenn der Roboter sicher war, einen Bären zu sehen, aber eine winzige Änderung an der Bärennase dazu führte, dass er sagte „Ich weiß es nicht", dann war die Nase der Schlüssel.

FAME nimmt diese „Schiebungen" (die wie eine grobe, verrauschte Karte aussehen) und glättet sie mit einem sanften Weichzeichner, wodurch eine saubere, leicht lesbare Heatmap entsteht, die genau zeigt, wohin der Roboter schaut.

Was haben sie herausgefunden?

Das Team testete FAME an zwei großen Aufgaben: Bildklassifizierung (Benennen von Objekten) und Gesichtserkennung (Zuordnen von Gesichtern).

Beweis, dass die alten Karten falsch sind: Sie zeigten, dass für tiefe, moderne Roboter die alte Methode der „herausgezoomten Karte" unzuverlässig ist. Das Gehirn des Roboters verbindet entfernte Teile des Bildes miteinander, sodass die Annahme, eine kleine Gitterkachel entspreche einem kleinen Foto-Punkt, falsch ist.
Besser bei der Gesichtserkennung: Beim Versuch, zwei Gesichter zu matchen, war FAME der Konkurrenz weit überlegen.
- Wenn eine Person eine Sonnenbrille trug, ignorierte FAME die Sonnenbrille korrekt und konzentrierte sich auf die Augen und die Stirn.
- Wenn das Foto aus einem seltsamen Winkel aufgenommen wurde, fand FAME immer noch die übereinstimmenden Merkmale (wie den Nasenrücken).
- Andere Methoden wurden oft vom Hintergrund oder der Sonnenbrille verwirrt, aber FAME blieb auf das Gesicht fokussiert.

Das Fazit

FAME ist eine neue, intelligentere Art, KI zu erklären. Anstatt zu raten oder das Bild zufällig zu zerstören, „stupsst" es die KI sanft, um zu enthüllen, worauf sie tatsächlich schaut. Die Autoren fanden heraus, dass diese Methode klarere und genauere Karten der Wichtigkeit liefert als frühere Tools, insbesondere für komplexe, tiefe neuronale Netze.

Hinweis: Die Arbeit erwähnt, dass FAME, da es diesen „Stups"-Schritt schrittweise durchführen muss, derzeit langsamer ist als die anderen Methoden, die Ergebnisse jedoch genauer sind.

Technische Zusammenfassung: FAME – Feature Activation Map Explanation

Problemstellung

Deep-Learning-Modelle, insbesondere in der Bildklassifizierung (IC) und Gesichtserkennung (FR), erreichen hohe Genauigkeit, agieren jedoch als „Black Boxes", die die Begründung ihrer Vorhersagen verschleiern. Bestehende Methoden der Erklärbaren Künstlichen Intelligenz (XAI) fallen in zwei Hauptkategorien, die jeweils erhebliche Einschränkungen aufweisen:

Gradientenbasierte Class Activation Mapping (CAM): Methoden wie Grad-CAM berechnen Attributionen basierend auf Aktivierungen von Feature-Maps und skalieren diese auf die Bildauflösung hoch. Dieser Ansatz beruht auf der Annahme, dass Elemente der Feature-Maps ausschließlich von den zugrunde liegenden Pixelbereichen (lokalen rezeptiven Feldern) beeinflusst werden. Die Autoren argumentieren, dass diese Annahme in tieferen Netzwerken versagt, in denen rezeptive Felder groß, überlappend und nicht-lokal sind, was zu irreführenden Attributionskarten führt.
Störungsbasierte Methoden: Techniken wie CorrRISE stören Eingabebilder mit festen Patches (z. B. schwarze Quadrate oder Rauschen), um Änderungen im Output zu beobachten. Diese Methoden führen häufig künstliche Kanten ein oder scheitern daran, Informationen effektiv zu entfernen (da moderne Netzwerke unscharfe Eingaben gut verarbeiten). Darüber hinaus verlassen sie sich auf stochastische zufällige Maskierung und manuell definierte Parameter und fehlt ein prinzipieller Ansatz für die Störung.

Methodik: Feature Activation Map Explanation (FAME)

Die Autoren schlagen FAME vor, ein einheitliches Framework, das gradientenbasierte und störungsbasierte Paradigmen verbindet. FAME basiert auf Layerwise Origin Target Synthesis (LOTS), einer adversarialen Angriffstechnik, die ursprünglich entwickelt wurde, um Bilder so zu modifizieren, dass ein Netzwerk auf eine bestimmte Schicht hin zu einem spezifischen Zieloutput gezwungen wird.

Kernmechanismus

Anstatt feste Patches oder einfache Gradienten-Hochskalierung zu verwenden, behandelt FAME die Generierung einer Attributionskarte als Optimierungsproblem:

Iterative Störung: Ausgehend von einem Eingabebild $x$ aktualisiert FAME das Bild iterativ zu $\bar{x}$ unter Verwendung normalisierter Gradienten, um eine spezifische Verlustfunktion $\mathcal{L}$ in Bezug auf ein Ziel $t$ an einer gewählten Netzwerkschicht zu minimieren.
$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$
wobei $\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$ .
Attributionsableitung: Die Attributionskarte wird aus der absoluten Differenz zwischen dem Originalbild und dem gestörten Bild abgeleitet: $\Delta x = |\bar{x} - x|$ .
Glättung: Die resultierende pixelweise Störungskarte wird mit einem Gauß-Kernel geglättet und maximal-normalisiert, um die finale Attributionskarte $e \in [0, 1]^{H \times W}$ zu erzeugen.

Aufgaben spezifische Anpassungen

FAME passt die Verlustfunktion und das Ziel basierend auf der Aufgabe an:

Feature-Map-Analyse: Um die Gültigkeit von CAM-Annahmen zu testen, wird das Ziel für bestimmte Feature-Map-Elemente $a[k]$ auf Null gesetzt. Der Verlust $\mathcal{L}_a = \|a[k] - 0\|_1$ identifiziert, welche Eingabepixel entfernt werden müssen, um eine spezifische Feature-Aktivierung zu annullieren.
Bildklassifizierung: Der Verlust wird direkt auf dem Logit einer Zielklasse definiert ( $L_{cls} = z_o$ ) und bis zur Eingabe zurückpropagiert, um Pixel hervorzuheben, die für die Vorhersage dieser Klasse kritisch sind.
Gesichtserkennung: Die Methode minimiert oder maximiert den Ähnlichkeitswert $s$ $s$ zwischen einem Galeriebild ( $x_g$ $x_{g}$ ) und einem Sondierbild ( $x_p$ $x_{p}$ ).
- Ähnlich ( $e^+$ ): Minimierung der Ähnlichkeit ( $L_+ = s$ ), um Regionen zu finden, die das Match unterstützen.
- Unähnlich ( $e^-$ ): Maximierung der Ähnlichkeit ( $L_- = 1-s$ ), um Regionen zu finden, die das Mismatch verursachen.
- Im Gegensatz zu verwandten Methoden (z. B. FGGB) erfordert FAME keine willkürliche Schwellenwertbildung, um ähnliche und unähnliche Regionen zu trennen.

Hauptbeiträge

Widerlegung von CAM-Annahmen: Die Arbeit liefert empirische Belege dafür, dass die Annahme lokaler rezeptiver Felder in CAM-basierten Methoden für tiefere Netzwerke nicht gilt. Mithilfe von FAME demonstrieren die Autoren, dass Feature-Map-Elemente in tiefen Netzwerken (z. B. IResNet101) Informationen aus großen, verschobenen und überlappenden Bereichen des Eingabebildes aggregieren, wodurch einfache Hochskalierung unzuverlässig wird.
Einheitliches Framework: FAME bietet einen einzigen, auf Optimierung basierenden Ansatz, der sowohl für IC- als auch für FR-Aufgaben anwendbar ist, ohne taskspezifische Architekturänderungen oder manuelle Schwellenwertauswahl zu erfordern.
Prinzipielle Störung: Durch die Verwendung gradientengesteuerter Störungen anstelle fester Patches vermeidet FAME das Einführen künstlicher Artefakte (wie scharfe Kanten von schwarzen Quadraten) und bietet eine natürlichere Interpretation, wie Eingabeänderungen die Netzwerkausgaben beeinflussen.

Experimentelle Ergebnisse

Die Autoren evaluierten FAME auf ImageNet (IC) und drei Gesichtserkennungs-Datensätzen (AR Face, SCface, CFP) unter Verwendung verschiedener Architekturen (ResNet, VGG, ConvNeXt, IResNet).

Bildklassifizierung

Qualitativ: FAME erzeugt kompaktere und semantisch relevantere Attributionskarten im Vergleich zu Grad-CAM und Grad-CAM-EW, die häufig diffuse Hintergrundbereiche hervorheben oder sich nur auf spezifische Teile konzentrieren (z. B. nur den Kopf eines Vogels).
Quantitativ: Auf ImageNet erreicht FAME konkurrenzfähige Intersection over Union (IoU)-Werte, bleibt leicht hinter FullGradCAM zurück, übertrifft jedoch Standard-Grad-CAM-Varianten. Entscheidend erzielt FAME bei ROAD-Delete-Bewertungen (Messung der Leistungsverschlechterung, wenn saliente Pixel entfernt werden) die höchsten Werte bei niedrigen Entfernungsquoten (10 % und 30 %), was darauf hindeutet, dass es kritischere Pixel für die Entscheidungsfindung des Modells effektiver identifiziert als die Konkurrenz.

Gesichtserkennung

Qualitativ: FAME erzeugt räumlich kohärente Karten, die mit menschlicher Intuition übereinstimmen. Bei verdeckten Gesichtern (z. B. Schals, Sonnenbrillen) fokussiert FAME korrekt auf sichtbare Identitätsmerkmale (Augen, Stirn) und ignoriert verdeckte Bereiche. Im Gegensatz dazu erzeugen Methoden wie CorrRISE und FGGB oft verrauschte Karten oder heben irrelevante Hintergrundbereiche hervor.
Quantitativ: Über mehrere FR-Protokolle und Netzwerktiefen hinweg übertrifft FAME Grad-CAM, CorrRISE und FGGB konsistent sowohl bei Delete- (Genauigkeitsabfall) als auch bei Insert-Metriken (Genauigkeitswiederherstellung). Bemerkenswert ist, dass FAME die höchsten Insert-Werte erzielt (bis zu 96,7 % auf CFP), was seine Fähigkeit unterstreicht, Regionen zu identifizieren, die bei Wiederherstellung die Verifikationsgenauigkeit schnell wiederherstellen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FAME ein aufgabenadaptives, auf Optimierung basierendes Framework bietet, das stabile und modellrelevante Erklärungen liefert. Ihre primäre Bedeutung liegt in:

Korrektur von Missverständnissen: Sie hinterfragt die Abhängigkeit von naiver räumlicher Hochskalierung in tiefen Netzwerken und zeigt auf, dass tiefere Architekturen global integrierte Muster statt lokalisierter Merkmale kodieren.
Robustheit: FAME zeigt eine überlegene Robustheit gegenüber Variationen in Pose, Verdeckung und Auflösung im Vergleich zu state-of-the-art XAI-Methoden.
Allgemeingültigkeit: Sie eliminiert die Notwendigkeit willkürlicher Schwellenwerte (eine Einschränkung von FGGB) und fester Störungsparameter (eine Einschränkung von CorrRISE) und bietet einen prinzipielleren Ansatz für die Attribution.

Die Autoren räumen ein, dass FAME aufgrund seines iterativen Charakters rechnerisch langsamer ist als gradientenbasierte Methoden, schlagen jedoch vor, dass die Geschwindigkeit durch frühes Stoppen oder größere Schrittweiten mit minimalem Einfluss auf die Qualität verbessert werden kann. Als zukünftige Arbeiten wird vorgeschlagen, FAME auf Transformer-Architekturen und Objekterkennungsaufgaben zu erweitern.