Vision Transformers Need Better Token Interaction
Dieser Artikel identifiziert „semantische Diffusion" als Ursache für die Verschlechterung von Patch-Repräsentationen in Vision Transformern während langwierigen Trainings und schlägt vor, Softmax-Aufmerksamkeit durch Entmax-1.5 zu ersetzen, um selektive Token-Interaktionen zu ermöglichen, was die Leistung bei dichten Vorhersagen erheblich verbessert und gleichzeitig den globalen Kontext bewahrt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Der „zu viel preisgebende" Schüler
Stellen Sie sich einen Vision Transformer (ViT) als ein Klassenzimmer voller Schüler (genannt Tokens) vor. Jeder Schüler betrachtet ein winziges Stück eines Fotos (ein Patch).
- Das Ziel: Der Lehrer möchte, dass die Klasse zwei Dinge tut:
- Das ganze Bild identifizieren (z. B. „Das ist ein Hund").
- Eine perfekte Umrandung um jeden Teil des Hundes zeichnen (z. B. „Dieses Pixel ist das Ohr, dies ist der Schwanz"). Dies nennt man dichte Vorhersage.
Das Problem:
Je länger die Klasse studiert, desto besser werden sie darin, den Hund zu identifizieren. Allerdings wird ihre Fähigkeit, die Umrandung zu zeichnen, unübersichtlich. Die Schüler beginnen, „zu viel zu preisgeben".
Das Papier nennt dies Semantische Diffusion. Es ist wie ein Schüler in der hinteren Reihe, der weiß, dass die Antwort „Hund" lautet, und diese Tatsache allen zuruft, sogar den Schülern, die auf das Gras oder den Himmel schauen.
- Das Ergebnis: Die Schüler, die auf das Gras schauen, beginnen zu denken: „Oh, ich muss auch Teil des Hundes sein!", weil sie die globalen Informationen gehört haben.
- Die Folge: Die „Umrandung" wird verschwommen. Das Modell denkt, der Hintergrund sei Teil des Objekts, was es bei Aufgaben wie der Segmentierung (Zeichnen von Grenzen) schlecht macht.
Die alten Lösungen vs. die neue Idee
Frühere Forscher versuchten, dies zu beheben, indem sie:
- „Notiznehmer" hinzufügten: Sie gaben der Klasse spezielle Schüler (Register-Tokens), die nur das zusätzliche Rauschen aufnehmen sollten, damit die anderen nicht verwirrt werden.
- Strenge Regeln aufstellten: Sie sagten den Schülern: „Sprich nur mit der Person, die neben dir sitzt" (Lokale Fenster).
Die Erkenntnis des Autors:
Der Autor argumentiert, dass wir das globale Gespräch nicht verbieten oder zusätzliche Schüler hinzufügen sollten. Der Hintergrund hat nützlichen Kontext. Das Problem ist nicht, dass sie mit allen sprechen; es ist, dass sie mit jedem gleichermaßen sprechen, auch wenn es keinen Sinn ergibt.
Die Lösung: „Selektives Gespräch" (Sparse Attention)
Anstatt die Schüler zu zwingen, nur mit ihren Nachbarn zu flüstern, schlägt der Autor vor, das Abstimmungssystem zu ändern.
- Altes System (Softmax): Stellen Sie sich eine Abstimmung vor, bei der jeder Schüler eine winzige, nicht-null Aufmerksamkeit erhält. Selbst wenn ein Schüler auf eine Wolke schaut, erhält er immer noch 0,1 % der Aufmerksamkeit der Klasse. Dies hält das „Rauschen" am Leben.
- Neues System (Entmax-1.5): Dies ist ein intelligenteres Abstimmungssystem. Wenn ein Schüler auf eine Wolke schaut, sagt das System: „Du erhältst 0 % Aufmerksamkeit. Du wirst ignoriert."
- Es hindert die Schüler nicht daran, den ganzen Raum zu sehen (die globale Konnektivität bleibt erhalten).
- Es stellt lediglich sicher, dass, wenn eine Verbindung nicht nützlich ist, sie vollständig unterbrochen wird (Null-Gewicht).
Denken Sie daran wie an einen Filter. Anstatt zu erlauben, dass ein wenig „Hund"-Information in den „Gras"-Bereich sickert, blockiert der Filter sie vollständig. Das Gras bleibt Gras, und der Hund bleibt Hund.
Was passierte, als sie es ausprobierten?
Die Forscher testeten dies an einem Standardmodell (DINOv1), das auf ImageNet trainiert wurde. Sie tauschten einfach das „Abstimmungssystem" (Softmax) gegen den „selektiven Filter" (Entmax-1.5) aus und fügten keine neuen Teile oder zusätzlichen Trainingsdaten hinzu.
Die Ergebnisse:
- Globale Erkennung (Das „Was"): Das Modell wurde etwas besser darin, einfach zu sagen: „Das ist ein Hund." (Die Genauigkeit stieg von 69,50 % auf 70,06 %).
- Dichte Vorhersage (Das „Wo"): Das Modell wurde viel besser darin, die Umrandungen zu zeichnen.
- Auf dem VOC-Datensatz (ein Standardtest für Objektgrenzen) sprang die Punktzahl erheblich (von 42,80 auf 48,78).
- Es verbesserte sich auch auf anderen komplexen Karten wie ADE20K und Cityscapes.
- Visuelle Darstellung: Als sie die „mentale Karte" des Computers des Bildes betrachteten, hatte das neue Modell viel sauberere, schärfere Grenzen. Der Hintergrund floss nicht mehr in das Objekt hinein.
Das Fazit
Das Papier behauptet, dass Vision Transformer beim Zeichnen von Grenzen unübersichtlich werden, weil sie globale Informationen zu frei verbreiten lassen, wie ein Gerücht, das sich verzerrt, wenn es von Person zu Person weitergegeben wird.
Durch den Wechsel zu einem Sparse-Attention-Mechanismus (Entmax-1.5) lernt das Modell, selektiv zu sein. Es behält das große Ganze im Hinterkopf, verhindert aber, dass das „Rauschen" in Bereiche gelangt, in die es nicht gehört. Dies macht das Modell besser darin, sowohl Objekte zu identifizieren als auch sie präzise zu lokalisieren, alles ohne eine komplexere Architektur zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.