💻 computer science

Sparse Attention for Dense Open-Vocabulary Prediction in CLIP

Dieses Paper schlägt vor, die Standard-Softmax-Funktion in den finalen visuellen Self-Attention-Layern von CLIP durch die spärliche $\alpha$ -Entmax-Transformation zu ersetzen, um Rauschen aus irrelevanten Token zu eliminieren, wodurch die Leistung bei dichten Open-Vocabulary-Vorhersageaufgaben wie semantischer Segmentierung und feingranularer Retrieval-Suche signifikant verbessert wird.

Ursprüngliche Autoren: Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „übermotivierte“ KI-Assistent

Stellen Sie sich vor, Sie haben einen sehr intelligenten KI-Assistenten (genannt CLIP), der Millionen von Büchern gelesen und Millionen von Fotos betrachtet hat. Er ist großartig darin, die allgemeine „Vibe“ eines Bildes zu verstehen. Wenn Sie ihm das Bild eines Pferdes zeigen, weiß er: „Ah, das ist ein Pferd!“

Dieses Paper weist jedoch auf ein spezifisches Problem hin: CLIP ist zu nett.

Wenn die KI ein Bild betrachtet, um spezifische Details zu finden (wie zum Beispiel: „Wo genau befindet sich der Huf des Pferdes?“), versucht sie, alles im Bild gleichzeitig zu beachten. Es ist wie ein Schüler, der eine Prüfung ablegt und, anstatt sich auf die spezifische Frage zu konzentrieren, versucht, jedes einzelne Wort im gesamten Lehrbuch gleichzeitig zu lesen. Das Ergebnis? Die wichtigen Details werden in einem Meer aus irrelevantem Hintergrundrauschen (wie dem Himmel, dem Gras oder dem Reiter) ertränkt.

Das Problem: Die „Softmax“-Kontrollinstanz

In das Gehirn der KI ist ein Mechanismus namens Softmax eingebaut. Betrachten Sie Softmax als einen strengen Lehrer, der die KI dazu zwingt, ihre „Aufmerksamkeits-Punkte“ (wie ein Budget von 100 Dollar) auf jeden einzelnen Teil des Bildes zu verteilen.

Das Problem: Selbst wenn ein Teil des Bildes nur ein verschwommener blauer Fleck des Himmels ist, sagt der Lehrer: „Du musst ihm mindestens einen Cent Aufmerksamkeit schenken.“
Das Ergebnis: Der Fokus der KI wird „diffus“. Sie verteilt ihr Geld so dünn, dass sie es sich nicht leisten kann, sich wirklich auf den Huf des Pferdes zu konzentrieren. Das Signal geht im Rauschen verloren.

Die Lösung: Der „Entmax“-Filter

Die Autoren schlagen vor, den strengen Lehrer (Softmax) durch einen neuen zu ersetzen, der $\alpha$ -entmax (oder einfach Entmax) genannt wird.

Betrachten Sie Entmax als einen intelligenten Türsteher oder ein Noise-Cancelling-Kopfhörer-System.

Anstatt die KI zu zwingen, auf alles zu achten, schaut Entmax auf die Liste der Dinge, auf die man sich konzentrieren soll.
Es sagt: „Okay, dieser blaue Himmel-Patch hat einen sehr niedrigen Score. Er ist nicht wichtig. Null Aufmerksamkeit.“
Es schneidet den „Schwanz“ (Tail) der irrelevanten Elemente komplett ab.
Dann nimmt es alle Aufmerksamkeits-Punkte, die an den Hintergrund verschwendet wurden, und verteilt sie neu auf die Dinge, die tatsächlich wichtig sind (das Pferd).

Die Magie: Dies geschieht automatisch. Die KI muss nicht neu trainiert oder neue Lektionen beigebracht bekommen. Wir ändern lediglich das Regelwerk dafür, wie sie am Ende ihres Denkprozesses aufmerksam ist.

Die Analogie: Das „volle Zimmer“ vs. die „stille Bibliothek“

Der alte Weg (Softmax): Stellen Sie sich vor, Sie sind in einem überfüllten Raum und versuchen, einen Freund sprechen zu hören. Alle reden, und der Raum ist so laut, dass Sie Ihren Freund nicht klar verstehen können. Sie versuchen, jedem zuzuhören, also hören Sie gar nichts.
Der neue Weg (Entmax): Stellen Sie sich nun einen Filter vor, der augenblicklich alle verstummen lässt, die nicht Ihr Freund sind. Plötzlich ist der Raum ruhig und die Stimme Ihres Freundes ist kristallklar. Sie haben Ihren Freund nicht verändert; Sie haben nur das Hintergrundrauschen entfernt.

Was haben sie herausgefunden?

Die Forscher haben dies an zwei Hauptaufgaben getestet:

Pixel-genaues Bemalen (Segmentierung): Der Versuch, exakt einzufärben, wo sich ein Objekt in einem Foto befindet.
Feingranulares Suchen: Das Finden eines spezifischen Objekts basierend auf einem winzigen Detail (z. B. „das rote Pferd“ vs. „das braune Pferd“).

Die Ergebnisse:

Es funktioniert am besten, wenn die KI verwirrt ist: Wenn die KI ihre Aufmerksamkeit bereits überallhin verteilt hatte (wie ein unordentliches Zimmer), hat Entmax das Ganze wunderbar aufgeräumt und die KI viel besser darin gemacht, Objekte zu finden.
Es hilft nicht viel, wenn die KI bereits fokussiert ist: Wenn die KI bereits an der richtigen Stelle hinsah, half es nicht viel, sie „spärlicher“ (sparser) zu machen.
Größer ist besser: Je detaillierter das Bild ist (höhere Auflösung), desto mehr „Rauschen“ gibt es. Entmax glänzt am stärksten bei hochauflösenden Bildern, weil es dort mehr Rauschen zu eliminieren hat.

Der „Selbst-Korrelation“-Twist

Das Paper hat auch einen cleveren Trick ausprobiert. Anstatt die KI zu fragen: „Wie sieht dieser Patch im Vergleich zu allem anderen aus?“ (was das Rauschen verursacht), fragten sie: „Wie sieht dieser Patch im Vergleich zu sich selbst und seinen Nachbarn aus?“

Als sie diese „selbst-fokussierte“ Sichtweise mit dem neuen „Entmax“-Filter kombinierten, waren die Ergebnisse sogar noch besser. Es ist, als würde man der KI sagen: „Schau nicht auf die ganze Menge; schau nur auf deine eigene Gruppe und ignoriere den Rest.“

Zusammenfassung

Das Paper zeigt, dass weniger mehr ist. Indem wir die KI dazu zwingen, irrelevantes Hintergrundrauschen zu ignorieren und sich nur auf die wichtigsten Teile eines Bildes zu konzentrieren, können wir sie viel besser in detaillierten Aufgaben machen – wie dem Finden spezifischer Objekte oder dem präzisen Ausmalen von Umrissen – ohne die KI neu trainieren oder neue Teile in ihr Gehirn einbauen zu müssen. Sie haben lediglich den „Lautstärkeregler“ gedreht, um das statische Rauschen leiser zu machen.

Technisches Resümee: Sparse Attention für dichte Open-Vocabulary-Prädiktion in CLIP

Problemstellung

Contrastive Language–Image Pre-training (CLIP) und seine großskaligen Varianten (z. B. EVA-CLIP, SigLIP) sind aufgrund ihrer kontrastiven Trainingsziele exzellent in der globalen bildweiten Semantik. Wenn sie jedoch auf Aufgaben der dichten Prädiktion angewendet werden, wie etwa semantische Segmentierung oder feingranulare Regionen-Retrieval, leiden sie unter einer mangelhaften räumlichen Lokalisierung. Das Kernproblem liegt im Mechanismus der dichten Softmax-basierten Self-Attention, der in den finalen Schichten des visuellen Encoders verwendet wird.

Softmax weist jedem Token-Paar eine strikt positive Wahrscheinlichkeitsmasse zu, einschließlich semantisch irrelevanter Hintergrund-Token. Während dies während des Pre-trainings effektiv ist, um einen breiten Kontext zu erfassen, verteilt diese „dichte“ Verteilung die Aufmerksamkeit über Tokens mit geringer Salienz, was Rauschen erzeugt, das die feingranularen, räumlich lokalisierten Merkmale für Aufgaben auf Pixel- oder Regionenebene verschleiert. Bestehende, trainingsfreie Methoden, die die Quelle der Aufmerksamkeit modifizieren (z. B. der Wechsel von Query-Key zu Selbst-Korrelation wie $Q-Q$ oder $V-V$ ), verbessern zwar die Lokalisierung, adressieren aber nicht die fundamentale Rolle des Softmax-Normalisierers, der die Masse global über alle Tokens verteilt.

Methodik

Die Autoren schlagen eine trainingsfreie Substitution zur Inferenzzeit des zeilenweisen Softmax-Normalisierers in den finalen visuellen Self-Attention-Schichten eines gefrorenen CLIP-Encoders durch die $\alpha$ -entmax-Transformation vor.

Die $\alpha$ -entmax-Transformation

Im Gegensatz zu Softmax, welches die Lösung eines mit Shannon-Entropie regularisierten Objekts ist, leitet sich $\alpha$ -entmax aus einem Tsallis- $\alpha$ -Entropie-Regularisierer ( $\alpha \in (1, 2]$ ) ab.

Mechanismus: Es wendet einen datenabhängigen Schwellenwert $\tau$ auf die Attention-Scores an. Scores unterhalb dieses Schwellenwerts werden exakt auf Null abgebildet, während die verbleibenden Scores so renormiert werden, dass sie eins ergeben.
Effekt: Dies funget als impliziter Denoiser, der kontextuell irrelevante Abhängigkeiten (den „Long Tail“ von irrelevanten Hintergrund-Tokens) auf Null setzt und die Wahrscheinlichkeitsmasse auf die relevantesten Tokens umverteilt.
Parameter: Die Methode führt keine lernbaren Parameter ein und lässt die Architektur sowie die vortrainierten Gewichte unverändert. Sie generalisiert Softmax glatt (indem sie zu $\alpha \to 1$ zu Softmax konvergiert).

Experimentelles Setup

Die Studie evaluiert diese Substitution über zwei primäre Aufgaben hinweg:

Dichte semantische Segmentierung: Pixel-basierte Prädiktion auf Pascal VOC, Pascal Context und ADE20K.
Feingranulare Open-Vocabulary-Detektion (FG-OVD): Regionale Erkennung mit Fokus auf Attribut-Diskriminierung (Farbe, Material, Muster).

Die Autoren testen verschiedene Quellen der Attention-Scores:

Standard ( $QK^\top$ ): Native Query-Key-Attention.
Selbst-Korrelation ( $SS^\top$ ): Ersetzung des Query-Key-Produkts durch Selbst-Produkte von Query ( $Q$ ), Key ( $K$ ) oder Value ( $V$ ) Projektionen (z. B. $Q-Q$ , $K-K$ , $V-V$ und deren Kombinationen).

Die Experimente werden auf gefrorenen CLIP ViT-B/16 und ViT-L/14 Backbones durchgeführt.

Zentrale Beiträge

Trainingsfreie Sparsifizierung: Die Arbeit evaluiert empirisch den Ersatz von Softmax durch $\alpha$ -entmax in den finalen Schichten gefrorener CLIP-Encoder, um die Dichte der Attention als einzelne Variable zu isolieren, ohne die Modellarchitektur oder die Gewichte zu modieren.
Analyse der Attention-Sparsity: Die Autoren stellen eine zentrale Erkenntnis fest: Der Leistungsgewinn durch Sparsifizierung ist proportional zur Diffusität der Baseline-Attention.
- Wenn die Baseline-Attention bereits auf die Zielklasse konzentriert ist, bietet entmax wenig Nutzen oder kann die Leistung verschlechtern, indem es nützliche Masse verwirft.
- Wenn die Baseline-Attention diffus ist (Masse über Nicht-Klassen-Tokens verteilt), verbessert entmax die Leistung signifikant, indem es den irrelevanten „Tail“ beschneidet.
Auflösung und Backbone-Skalierung: Die Studie zeigt, dass die Vorteile der Sparsifizierung mit höheren Eingangsauflösungen und größeren Backbones (z. B. ViT-L/14) zunehmen, da diese Bedingungen die Anzahl der Tokens und das Ausmaß des durch entmax zu eliminierenden „verrauschten Tails“ erhöhen.

Ergebnisse

Die Evaluierung zeigt unterschiedliche Verhaltensweisen in Abhängigkeit von der Attention-Verteilung:

Selbst-Korrelation + Entmax: Die Kombination aus Selbst-Korrelations-Attention (z. B. $Q-Q$ $Q - Q$ , $K-K$ $K - K$ , $V-V$ $V - V$ ) mit $\alpha$ $α$ -entmax liefert konsistente und signifikante Gewinne.
- Auf ADE20K (ViT-B/16, $Q-Q$ ) verbesserte sich das mIoU von 5,69 auf 12,90.
- Auf FG-OVD (ViT-B/16, $Q-Q$ ) verbesserte sich das mHME von 9,96 auf 17,50.
- Die Gewinne verlaufen monoton über Datensätze und Modellskalen hinweg.
Standard $QK$ Attention: Obwohl entmax die Standard-$QK$-Attention verbessert, bleiben die absoluten Werte niedriger als bei Selbst-Korrelationsmethoden. Dies liegt daran, dass die Standard-$QK$-Attention ihrer Natur nach global diffus ist; entmax kann lediglich den Tail einer bereits verrauschten Verteilung reduzieren, aber der zugrunde liegende Gruppierungsoperator bleibt suboptimal für die Lokalisierung.
Value-Only ( $V-V$ ) Anomalie: Beim kleineren ViT-B/16 Backbone konzentriert die $V-V$ Verteilung die Masse bereits gut auf relevante Tokens. Die Anwendung von entmax verschlechtert hier die Leistung (z. B. -2,8 mIoU auf VOC), da die Schwellenwertbildung nützliche Masse verwirft. Auf dem diffuseren ViT-L/14 profitiert $V-V$ jedoch von entmax, was die Hypothese des „Gewinns proportional zur Diffusität“ bestätigt.
Auflösungs-Skalierung: Mit steigender Auflösung (224 $\to$ 448) vergrößert sich die Lücke zwischen Softmax und entmax für Selbst-Korrelations-Verteilungen monoton, da die erhöhte Token-Anzahl den verrauschten Tail erweitert, den entmax entfernt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Attention-Sparsity ein relevanter, jedoch weitgehend übersehener Faktor ist, um die Limitationen von CLIP für die dichte Prädiktion anzugehen.

Denoising vs. Sparsifying: Die Autoren betonen, dass der Nutzen nicht bloß aus der Sparsifizierung der Verteilung resultiert, sondern aus einer inhaltsbewussten Rauschunterdrückung. Eine zufällige Maske mit demselben Sparsifizierungsgrad liefert keine vergleichbaren Gewinne; der spezifische, datenabhängige Schwellenwert von entmax ist entscheidend, um irrelevante Tokens zu identifizieren und auf Null zu setzen.
Trennung der Variablen: Durch das Beibehalten der gefrorenen Architektur und die Änderung lediglich des Normalisierers trennt die Studie den Effekt der Score-Quelle (z. B. $QK$ vs. $VV$) vom Normalisierungsfunktions-Typ (Softmax vs. entmax). Dies verdeutlicht, dass Selbst-Korrelation zwar die Lokalisierung verbessert, der Softmax-Normalisierer jedoch die Masse weiterhin global verteilt, und entmax notwendig ist, um das Potenzial lokalisierter Merkmale voll auszuschöpfen.
Moderater Umfang: Die Autoren positionieren diese Arbeit als systematische Analyse statt als neue State-of-the-Art-Trainingspipeline. Die Methode ist strikt auf die Inferenzzeit beschränkt und trainingsfrei, konzipiert, um zu erklären, wo und warum Attention-Sparsification hilft, anstatt ein neues Trainingsparadigma vorzuschlagen.