⚡ electrical engineering

CAMAL: Improving Attention Alignment and Faithfulness with Segmentation Masks

Dieser Artikel stellt CAMAL vor, eine effiziente und skalierbare Methode, die Segmentierungsmasken als zusätzlichen Regularisierer nutzt, um sowohl die räumliche Genauigkeit (Ausrichtung) als auch die kausale Sinnhaftigkeit (Verlässlichkeit) der Aufmerksamkeit in Sehmodellen über Deep-Learning- und Deep-Reinforcement-Learning-Paradigmen hinweg signifikant zu verbessern und damit die Erklärbarkeit zu erhöhen, ohne die Inferenzkosten zu steigern.

Ursprüngliche Autoren: Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, eine Katze auf einem Foto zu erkennen. Sie zeigen ihm Tausende von Bildern, und schließlich wird der Roboter sehr gut darin zu sagen: „Das ist eine Katze!" Doch hier liegt das Problem: Warum dachte er das?

Vielleicht betrachtet er die flauschigen Ohren der Katze. Oder vielleicht schaut er einfach nur auf das grüne Gras im Hintergrund, weil alle Katzenfotos zufällig auf Rasenflächen aufgenommen wurden. Wenn der Roboter nur aufgrund des Grases rät, lernt er nicht wirklich etwas über Katzen; er nimmt einen Abkürzungsweg.

Dieser Artikel stellt eine neue Methode namens CAMAL (Class Activation Map Attention Learning) vor, um dies zu beheben. Betrachten Sie CAMAL als einen strengen, aber hilfsbereiten Lehrer, der nicht nur die endgültige Antwort des Roboters überprüft, sondern auch wohin der Roboter schaut, während er denkt.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: „Der Roboter schaut auf das Falsche"

In der Vergangenheit versuchten Forscher, Roboter beizubringen, auf die richtigen Stellen zu schauen, indem sie ihnen „Hinweise" von anderen KI-Modellen gaben (wie ein Modell, das weiß, wie eine Katze klingt oder wie sie normalerweise aussieht). Der Artikel nennt diese „pseudo-diskriminierende Regionen".

Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, eine bestimmte Person in einer Menge zu finden, indem Sie ihm eine unscharfe, niedrig aufgelöste Skizze dieser Person zeigen. Der Schüler mag die richtige Person erraten, aber er könnte auch verwirrt werden und auf jemanden zeigen, der zufällig einen ähnlichen Hut trägt. Der Hinweis war zu vage.

2. Die Lösung: „Die Goldstandard-Karte"

Die Autoren stellten fest, dass viele moderne Datensätze Segmentierungsmasken enthalten.

Die Analogie: Anstatt einer unscharfen Skizze haben Sie eine perfekt nachgezeichnete Umrandung (wie eine Seite aus einem Malbuch), die genau zeigt, wo die Katze ist, Pixel für Pixel. Dies ist die „Grundwahrheit". Es ist eine vom Menschen verifizierte Karte, die sagt: „Die Katze ist genau hier, und nirgendwo sonst."

CAMAL nutzt diese perfekten Karten, um den Roboter zu unterrichten. Es sagt: „Wenn du das Bild betrachtest, muss dein 'Aufmerksamkeitsschwerpunkt' (dein mentaler Scheinwerfer) hell auf die Bereiche innerhalb dieser Umrandung scheinen und überall sonst dunkel bleiben."

3. Wie CAMAL funktioniert (Die „Strafe des Lehrers")

Der Artikel beschreibt eine zweigeteilte Regel für den Roboter während des Trainings:

Das Gute belohnen: Wenn die Aufmerksamkeit des Roboters auf die Katze scheint (innerhalb der Maske), gibt der Lehrer einen Daumen hoch.
Das Schlechte bestrafen: Wenn die Aufmerksamkeit des Roboters auf das Gras oder den Hintergrund scheint (außerhalb der Maske), gibt der Lehrer einen Daumen runter.

Der Artikel nennt dies „Attention Alignment" (Blick auf die richtige Stelle) und „Attention Faithfulness" (Sicherstellen, dass der Blick auf diese Stelle dem Roboter tatsächlich hilft, die Entscheidung zu treffen). CAMAL zwingt den Roboter, beides zu tun.

4. Der „Batch"-Trick (Es schnell machen)

Normalerweise erfordert das Überprüfen, wohin ein Roboter für jedes einzelne Bild schaut, viel Rechenleistung und Zeit. Es ist wie ein Lehrer, der aufhört, die Hausaufgaben jedes einzelnen Schülers einzeln zu korrigieren, bevor er zum nächsten übergeht.

Die Innovation: Die Autoren fanden einen cleveren mathematischen Trick, um die ganze Klasse auf einmal zu überprüfen. Anstatt 32 Schüler einzeln zu benoten, benoten sie die ganze Gruppe auf einmal. Dies macht den Prozess viel schneller und ermöglicht es ihnen, diese Methode auf riesige Datensätze anzuwenden, ohne dass der Computer abstürzt.

5. Was sie herausfanden

Die Forscher testeten dies bei zwei Arten von Aufgaben:

Standard-Vision (DL): Identifizieren von Blumen, Haustieren und medizinischen Bildern.
Videospiele (DRL): Einen Roboter beibringen, ein Ego-Shooter-Spiel zu spielen (ViZDoom).

Die Ergebnisse:

Besserer Fokus: Die mit CAMAL trainierten Roboter schauten viel genauer auf die tatsächlichen Objekte (die Katze, die Blume, den Feind) als Roboter, die mit den alten „unscharfen Skizzen"-Hinweisen oder gar keinen Hinweisen trainiert wurden.
Vertrauenswürdiger: Als die Forscher testeten, ob der Fokus des Roboters tatsächlich wichtig war, stellten sie fest, dass CAMAL-trainierte Roboter „treu" waren. Wenn Sie den Teil abdeckten, auf den der Roboter schaute, geriet der Roboter in Verwirrung. Wenn Sie den Hintergrund abdeckten, kümmerte sich der Roboter nicht darum. Dies beweist, dass der Roboter tatsächlich auf das Wichtige schaute.
Keine Geschwindigkeitsstrafe: Die Roboter wurden nicht langsamer, als sie später tatsächlich spielten oder Dinge identifizierten. Die zusätzliche Arbeit geschah nur während des Lernens.

Das Fazit

Der Artikel argumentiert, dass wir, um KI vertrauenswürdig zu machen, ihre Aufmerksamkeit auf zuverlässige, vom Menschen verifizierte Karten (Segmentierungsmasken) gründen müssen, anstatt auf vage Vermutungen anderer KI-Modelle. CAMAL ist ein Werkzeug, das diese Karten nutzt, um KI zu trainieren, auf die richtigen Dinge zu schauen, wodurch die Entscheidungen der KI logischer werden und weniger wahrscheinlich auf zufälligen Abkürzungen basieren.

Kurz gesagt: CAMAL lehrt KI, auf die „Katze" und nicht auf das „Gras" zu schauen, wobei eine perfekte Umrandung als Leitfaden dient, und tut dies effizient, ohne das Endergebnis zu verlangsamen.

Technische Zusammenfassung: CAMAL

Problemstellung

In realen Anwendungen eingesetzte Vision-Modelle benötigen Interpretierbarkeit, um die Vertrauenswürdigkeit ihrer Entscheidungen sicherzustellen. Class Activation Maps (CAMs) werden weit verbreitet genutzt, um die Aufmerksamkeit eines Modells zu visualisieren und Regionen hervorzuheben, die das Modell als diskriminierend wahrnimmt. Allerdings leiden bestehende Ansätze unter zwei kritischen Einschränkungen:

Fehlende Ausrichtung der Aufmerksamkeit: Modelle lenken die Aufmerksamkeit oft auf zufällige Regionen statt auf die tatsächlichen diskriminierenden Regionen, ein Phänomen, das als „Shortcut Learning" bekannt ist.
Fehlende Verlässlichkeit der Aufmerksamkeit: Selbst wenn die Aufmerksamkeit mit einer Region übereinstimmt, garantiert dies nicht, dass die Aufmerksamkeit die Entscheidung des Modells kausal beeinflusst.

Neuere Versuche, dies durch „Aufmerksamkeitsüberwachung" (Attention Supervision) zu adressieren, haben sich auf pseudo-diskriminierende Regionen verlassen, die von vortrainierten Zero-Shot-Modellen (z. B. CLIP) abgeleitet wurden, als Referenzsignale. Die Autoren argumentieren, dass diese Priors unzuverlässig sind, da sie für eine breite Generalisierung und nicht für eine präzise räumliche Lokalisierung optimiert sind, was häufig zu fragmentierten oder zufälligen Referenzregionen führt. Darüber hinaus scheitern bestehende Methoden oft daran, effizient auf große Datensätze skalieren zu können, da sie eine auf Gradienten basierende Aufmerksamkeitsextraktion pro Stichprobe erfordern, was einen prohibitiven rechnerischen Overhead verursacht.

Methodik: CAMAL

Die Autoren schlagen Class Activation Map Attention Learning (CAMAL) vor, eine Methode, die Segmentierungsmasken als vertrauenswürdige Referenzregionen nutzt, um die Modell-Aufmerksamkeit zu steuern.

1. Vertrauenswürdige Referenzregionen

Im Gegensatz zu früheren Arbeiten, die CLIP-basierte Priors verwenden, nutzt CAMAL Segmentierungsmasken (oft vom Menschen verifiziert oder von Tools wie SAM generiert), um tatsächliche diskriminierende Regionen zu definieren. Diese Masken bieten strukturierte, vollständige und genaue räumliche Informationen.

2. Maskengeführte auxiliäre Regularisierung

CAMAL formuliert ein auxiliäres Regularisierungsziel, das zwei Metriken gemeinsam optimiert, die aus dem Aufmerksamkeits-Heatmap $H_c$ des Modells und der Segmentierungsmaske $M_c$ abgeleitet werden:

$\alpha$ (Aufmerksamkeit innerhalb der Maske): Die mittlere Aufmerksamkeit innerhalb der tatsächlichen diskriminierenden Regionen.
$\beta$ (Aufmerksamkeit außerhalb der Maske): Die mittlere Aufmerksamkeit außerhalb dieser Regionen.

Die Zielfunktion minimiert die Differenz $(\beta - \alpha)$ und ermutigt das Modell effektiv, die Aufmerksamkeit innerhalb der Maske zu erhöhen ( $\alpha \uparrow$ ) und die Aufmerksamkeit in zufälligen Regionen zu unterdrücken ( $\beta \downarrow$ ). Dies wird als Regularisierer zur Standard-Cross-Entropy-Verlustfunktion hinzugefügt:
$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$
wobei $\lambda$ die Stärke der Regularisierung steuert.

3. Effiziente Aufmerksamkeitsextraktion auf Batch-Ebene

Ein wesentlicher technischer Beitrag ist die Auflösung des Skalierbarkeitsengpasses bei der auf Gradienten basierenden Aufmerksamkeitsextraktion (z. B. Grad-CAM). Standardmethoden erfordern einen separaten Rückwärtspass für jede Stichprobe in einem Mini-Batch (Komplexität $O(B)$ ). CAMAL führt eine effiziente Formulierung ein, bei der die Logits für alle Stichproben in einem Mini-Batch vor der Durchführung eines einzigen Rückwärtspasses zu einem einzigen Skalar summiert werden.

Theoretische Garantie: Aufgrund der Linearität der Differentiation und der Unabhängigkeit der Stichproben innerhalb eines Batches liefert dieser einzelne Rückwärtspass Gradienten, die identisch mit denen sind, die durch individuelle Berechnung erhalten werden (Komplexität $O(1)$ ).
Auswirkung: Dies reduziert den Trainings-Overhead erheblich und macht Aufmerksamkeitsüberwachung für groß angelegte Trainingsregime machbar.

4. Architektur- und Aufgabenunabhängigkeit

CAMAL ist so konzipiert, dass es unabhängig von der Netzwerkarchitektur ist (anwendbar auf CNNs, Transformer wie ViT und hybride Modelle) und von Lernparadigmen. Im Deep Reinforcement Learning (DRL), wo tatsächliche Labels fehlen, verwendet CAMAL die Werteschätzung $V(s)$ des Critics als Ziel für die Aufmerksamkeitsberechnung, was Überwachung in schwach überwachten Settings ermöglicht.

Hauptbeiträge

Prinzipielle Aufmerksamkeitsüberwachung: Einführung von CAMAL, das Aufmerksamkeitslernen auf vertrauenswürdigen Segmentierungsmasken statt auf unverifizierten Pseudo-Regionen verankert.
Neuartiges Regularisierungsziel: Eine Formulierung, die gleichzeitig Aufmerksamkeit innerhalb tatsächlicher Regionen fördert und sie anderweitig unterdrückt, wodurch die Einschränkungen von „nur-unterdrückenden" Regularisierern adressiert werden.
Skalierbare Extraktionsmethode: Eine effiziente Aufmerksamkeitsextraktionsmethode auf Batch-Ebene, die die rechnerische Komplexität von $O(B)$ auf $O(1)$ reduziert und skalierbare Überwachung ermöglicht.
Umfassende Evaluation: Eine statistisch rigorose Evaluation über Deep-Learning (DL) und Deep-Reinforcement-Learning (DRL) Paradigmen hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten CAMAL gegen zwei Baselines: Vanilla (keine Aufmerksamkeitsüberwachung) und Prior (Aufmerksamkeitsüberwachung unter Verwendung von CLIP-basierten Pseudo-Regionen).

Ausrichtung der Aufmerksamkeit

Metrik: Intersection-over-Union (IoU) zwischen Modell-Aufmerksamkeit und tatsächlichen Masken.
DL-Ergebnisse: CAMAL erzielte statistisch signifikante Verbesserungen des IoU über alle 6 Modelle hinweg (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) und 3 Datensätze (BUSI, Oxford-IIIT-Pet, Oxford-Flower). Die IoU-Scores von CAMAL waren deutlich höher als die von Vanilla und Prior (z. B. ~33-42% für CAMAL vs. ~2-12% für Prior auf verschiedenen Datensätzen).
DRL-Ergebnisse: In ViZDoom-Umgebungen zeigte CAMAL einen signifikant höheren mittleren IoU im Vergleich zu Vanilla, wobei die statistische Signifikanz durch Stratifizierte Bootstrap-Konfidenzintervalle (SBCI) und die Wahrscheinlichkeit der Verbesserung (POI) bestätigt wurde.

Verlässlichkeit der Aufmerksamkeit

Metrik: Kausaler Einfluss, gemessen durch Entfernen/Einfügen von Pixeln basierend auf der Wichtigkeit der Aufmerksamkeit und Beobachtung der Änderungen der Modellkonfidenz.
Ergebnisse: CAMAL zeigte eine verlässlichere Aufmerksamkeit als Prior. Beim Entfernen von Pixeln sank die Modellkonfidenz von CAMAL schneller, was darauf hindeutet, dass seine Aufmerksamkeit kritische Merkmale korrekt identifiziert hat. Beim Einfügen von Pixeln erholte sich die Konfidenz schneller. CAMAL erzielte in Einfüge-Szenarien eine 35,3% höhere Fläche unter der Kurve (AUC) als Prior.

Generalisierungsleistung

DL: CAMAL übertraf Vanilla in der Klassifikationsgenauigkeit über die meisten Modell-Datensatz-Kombinationen hinweg konsistent, mit statistisch signifikanten Gewinnen in der Mehrheit der Fälle.
DRL: CAMAL zeigte einen Trend zu einer verbesserten mittleren Rendite im Vergleich zu Vanilla, obwohl die Gewinne nicht in allen Umgebungen statistisch signifikant waren, was darauf hindeutet, dass Aufmerksamkeitsüberwachung die Generalisierung verbessert, aber für komplexe DRL-Dynamiken möglicherweise verfeinert werden muss.
Vergleich mit Prior: CAMAL schnitt in der Generalisierung gleichauf mit oder besser als Prior ab, was darauf hindeutet, dass der Hauptvorteil der Aufmerksamkeitsüberwachung in der Verbesserung der Qualität der Aufmerksamkeit liegt und nicht in einer drastischen Steigerung der Aufgabenleistung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CAMAL demonstriert, dass räumliche Informationen in Segmentierungsmasken effektiv genutzt werden können, um die Modell-Aufmerksamkeit zu steuern. Die Autoren betonen, dass:

Vertrauenswürdigkeit ist entscheidend: Aufmerksamkeitsüberwachung muss auf vertrauenswürdigen Referenzregionen (Segmentierungsmasken) basieren, um zuverlässig zu sein; das Verlassen auf Pseudo-Regionen aus Zero-Shot-Modellen führt zu unzuverlässigen Korrekturen.
Qualität vor Quantität: Der Hauptvorteil der Aufmerksamkeitsüberwachung liegt in der Verbesserung der Qualität des erlernten Aufmerksamkeitsverhaltens (Ausrichtung und Verlässlichkeit), wobei Leistungssteigerungen bei der Aufgabe bescheiden und kontextabhängig sind.
Skalierbarkeit: Die vorgeschlagene Extraktionsmethode auf Batch-Ebene macht Aufmerksamkeitsüberwachung für modernes, groß angelegtes Training praktikabel, ohne die Inferenzkosten zu erhöhen.

Die Autoren schließen, dass CAMAL eine zuverlässige Basislinie für zukünftige Methoden der Aufmerksamkeitsüberwachung etabliert und hervorhebt, dass die Verwirklichung des vollen Potenzials solcher Methoden erfordert, sie in genaue, tatsächliche räumliche Informationen zu verankern.