🤖 machine learning

Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness

Diese Arbeit zeigt auf, dass Positionskodierungen in Vision Transformern essenziell sind, um eine stabile, indexverankerte räumliche Struktur zu etablieren, die Robustheit gegenüber inhaltlich disruptiven Verteilungsverschiebungen gewährleistet, unabhängig vom jeweils verwendeten Kodierungsmechanismus.

Ursprüngliche Autoren: Mahmoud Mannes

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahmoud Mannes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Vision Transformer (ViT) wie ein Team von Detektiven vor, die versuchen, ein Rätsel zu lösen, indem sie ein Foto untersuchen. Das Foto wurde in viele kleine Puzzleteile zerlegt (genannt „Tokens“). Die Detektive können miteinander sprechen, um Hinweise auszutauschen, aber es gibt ein Problem: Das Team weiß nicht, wo jedes Teil im Originalbild hingehört. Wenn man ihnen die Teile in einer zufälligen Reihenfolge überreicht, könnten sie die Szene missverstehen.

Um dies zu beheben, geben wir jedem Detektiv normalerweise ein „Namensschild“ oder eine „Sitznummer“ (eine sogenannte Positional Encoding). Dies sagt ihnen: „Du bist das Teil aus der oberen linken Ecke“ oder „Du bist aus der unteren rechten Ecke“.

Dieses Paper stellt eine einfache, aber tiefgründige Frage: Spielen diese Namensschilder tatsächlich eine Rolle für die Leistungsfähigkeit des Teams bei der Lösung des Rätsels, insbesondere wenn das Foto unscharf oder verzerrt ist?

Hier ist die Geschichte dessen, was die Forscher herausgefunden haben, erklärt durch Alltagsanalogien:

1. Die „Geister“-Karte (Was passiert ohne Namensschilder?)

Die Forscher versuchten zuerst herauszufinden, ob die Detektive den Aufbau des Raumes allein durch das Betrachten der Bildteile selbst herausfinden könnten, ohne jegliche Namensschilder.

Das Ergebnis: Überraschenderweise konnten sie das. Wenn die Detektive ein Teil mit einer „Himmel“-Textur sehen, wissen sie, dass es wahrscheinlich nach oben gehört. Wenn sie „Gras“ sehen, gehört es nach unten.
Der Haken: Diese „Geister-Karte“ ist sehr zerbrechlich. Wenn man die Teile durcheinanderwürfelt (wie beim Mischen eines Kartendecks), verlieren die Detektive sofort ihr Orientierungsvermögen. Ihre interne Karte bricht zusammen, weil sie ausschließlich auf dem Inhalt der Teile aufgebaut war, nicht auf deren Position.

2. Der „Anker“-Effekt (Was passiert mit Namensschildern?)

Als Nächstes gaben sie den Detektiven verschiedene Arten von Namensschildern (einige, die vom Team gelernt wurden, andere vorbedruckte oder rotierende).

Das Ergebnis: Als die Detektive Namensschilder hatten, geschah etwas Magisches. Selbst wenn man die Teile durcheinanderwürfelte, konnte das Team sich noch erinnern: „Hey, Teil #4 sollte eigentlich in der oberen linken Ecke sein, auch wenn es gerade neben Teil #10 liegt.“
Die Metapher: Denken Sie an die Namensschilder als Anker. Ohne sie ist das Team ein Boot, das mit der Strömung treibt (der Bildinhalt). Mit ihnen ist das Boot an einem Dock festgebunden (der Index/die Position). Selbst wenn das Wasser unruhig wird oder sich die Umgebung verändert, bleibt das Boot an seinem Platz.

3. Der „Shuffle-Test“ (Wie sie dies gemessen haben)

Um dies zu beweisen, führten die Forscher einen Trick namens Random Permutation durch.

Sie nahmen ein trainiertes Team, würfelten die Reihenfolge der Puzzleteile durcheinander, ließen aber die Namensschilder an ihren ursprünglichen Sitzen.
Ergebnis: Die Teams mit Namensschildern konnten die räumliche Anordnung immer noch rekonstruieren. Die Teams ohne Namensschilder (oder mit kaputten Namensschildern) verloren völlig die Orientierung.
Zentrale Erkenntnis: Es spielte keine Rolle, welche Art von Namensschild sie hatten (gelernt, mathematisch oder rotierend). Was entscheidend war, war, dass sie einen stabilen Referenzrahmen besaßen. Solange das Team wusste: „Sitz 1 ist immer oben links“, konnten sie mit dem Chaos umgehen.

4. Robustheit: Warum die Anker den Tag retten

Die Forscher testeten dann, wie gut diese Teams mit „schlechten Fotos“ (wie stark komprimierten oder unscharfen Fotos) umgingen.

Der „Zerbrechlichkeits“-Score: Sie maßen, wie leicht das Team scheiterte.
Das Ergebnis: Die Teams mit stabilen Ankern (Namensschildern) waren viel widerstandsfähiger. Sie konnten das Objekt immer noch erkennen, selbst wenn das Foto verzerrt war. Die Teams ohne Anker (oder mit vertauschten Ankern) brachen viel schneller zusammen.
Die Wendung: Es stellte sich heraus, dass die Art des Namensschildes kaum eine Rolle spielte. Ob das Tag eine einfache Nummer oder eine komplexe Rotation war, die Teams waren gleichermaßen robust. Die Geheimzutat war nicht das Tag selbst; es war die Stabilität der Karte.

5. Das „Lautstärkeregler“-Experiment

Schließlich versuchten sie, die Lautstärke der Namensschilder „herunterzudrehen“ (sie schwächer zu machen), ohne das Team neu zu trainieren.

Das Ergebnis: Als sie die Lautstärke herunterdrehten, begann die Fähigkeit des Teams, ihre räumliche Karte zusammenzuhalten, zu bröckeln.
Die Verbindung: Sobald der „Anker“ zu schwach wurde, um das Team an Ort und Stelle zu halten, sank die Fähigkeit, verzerrte Fotos zu verarbeiten, drastisch. Dies bewies einen direkten Zusammenhang: Eine starke, stabile Positionskarte = Ein robustes, widerstandsfähiges Modell.

Das Fazit

Dieses Paper zeigt uns, dass Positional Encodings nicht nur eine schicke Art sind, der KI zu sagen, „wo“ Dinge sind. Sie fungieren als strukturelles Rückgrat.

Ohne sie: Baut die KI eine Karte basierend darauf, wie Dinge aussehen. Wenn sich das Aussehen ändert (Unschärfe, Rauschen), bricht die Karte zusammen.
Mit ihnen: Baut die KI eine Karte basierend darauf, wo Dinge sind. Selbst wenn sich das Aussehen ändert, hält die Karte stand, weil die „Adresse“ des Teils unverändert bleibt.

Die wichtigste Erkenntnis ist, dass Konsistenz der Schlüssel ist. Es spielt keine Rolle, ob das Adresssystem komplex oder einfach ist; es muss nur stabil und konsistent sein, damit die KI sich nicht verirrt, wenn die Welt um sie herum chaotisch wird.

Technisches Resümee: Positionskodierungen verankern die räumliche Struktur in Vision Transformern

Problemstellung

Vision Transformer (ViTs) fehlt die eingebaute induktive Bias für Lokalität und Translationsäquivarianz, die in faltenden neuronalen Netzen (CNNs) zu finden sind. Folglich verlassen sie sich auf Positionskodierungen (Positional Embeddings, PEs), um räumliche Informationen zu injizieren, was es dem Modell ermöglicht, Token basierend auf ihrer Position zu unterscheiden. Die funktionale Rolle von PEs bleibt jedoch mehrdeutig. Vorherige Arbeiten deuten darauf hin, dass ViTs auch dann eine beträchtliche Leistung beibehalten können, wenn PEs entfernt oder degradiert werden, was darauf hindeutet, dass die räumliche Struktur teilweise allein aus dem Patch-Inhalt hervorgehen kann.

Dies erzeugt ein zentrales Rätsel: Wenn räumliche Struktur ohne explizite Positionsführung entstehen kann, welche spezifische Rolle spielen dann PEs? Bestehende Studien haben dies weitgehend durch Vergleiche der Downstream-Leistung oder architektonische Variationen adressiert, wobei die mechanistische Auswirkung von PEs auf die interne Repräsentationsgeometrie und deren spezifische Beziehung zur Robustheit unter Verteilungsverschiebungen weitgehend unerforscht geblieben ist.

Methodik

Die Autoren nehmen eine geometrische Perspektive ein, um zu analysieren, wie PEs die Token-Repräsentationen über den Transformer-Stack hinweg formen. Die Methodik stützt sich auf drei Kernkomponenten:

Spatial Similarity Distance Correlation (SSDC):
Ein neu eingeführter Metrik zur Quantifizierung der räumlichen Struktur. SSDC berechnet die Spearman-Rangkorrelation zwischen der Token-Ähnlichkeitsmatrix ( $S$ ) und der negativen räumlichen Distanzmatrix ( $D$ ) zwischen Token-Paaren.
$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$
Höhere SSDC-Werte deuten darauf hin, dass räumlich benachbarte Token ähnlichere Repräsentationen aufweisen. Die Autoren nutzen SSDC als komparativen Proxy, um Veränderungen über die Tiefe und die Sensitivität gegenüber Interventionen zu verfolgen, anstatt es als absolutes Maß für einen spezifischen Mechanismus zu verwenden.
Permutations-Interventionen:
Um zwischen index-basierter (an die Token-Position gebunden) und inhalts-basierter (getrieben durch den visuellen Patch-Inhalt) räumlicher Organisation zu unterscheiden, setzen die Autoren zwei Interventionen ein:
- Random Permutation at Inference (RPI): Die Token-Reihenfolge wird während der Inferenz vertauscht, während die Positionsindizes fix bleiben. Dies bricht die Verbindung zwischen Token-Inhalt und räumlicher Lage. Wenn die räumliche Struktur bestehen bleibt, ist sie index-verankert; wenn sie kollabiert, ist sie inhalts-getrieben.
- Random Permutation Training (RPT): Die Token werden bei jedem Vorwärtspass während des Trainings vertauscht, während die PEs fest an die ursprünglichen Indizes gebunden bleiben. Dies verhindert, dass das Modell eine konsistente Index-zu-Lage-Abbildung lernt, und zerstört effektiv den stabilen Positionsreferenzrahmen.
Robustheits-Evaluierung:
Die Autoren evaluieren Modelle unter inhalts-störenden Verteilungsverschiebungen (JPEG-Kompression und Gaußscher Weichzeichner) mittels eines Fragility Scores (FS), definiert als der relative Abfall der Genauigkeit ( $1 - A_{shift}/A_{normal}$ ).
Positions-Skalierung:
Um den kausalen Zusammenhang zwischen räumlicher Organisation und Robustheit zu untersuchen, wird die Magnitude der gelernten absoluten Positionskodierungen (APE) während der Inferenz mit einem Faktor $\alpha \in [0, 1]$ skaliert. Dies ermöglicht die kontinuierliche Degradierung des index-basierten räumlichen Signals ohne erneutes Training.

Wichtigste Beiträge und Ergebnisse

1. Emergenz von inhalts-getriebener Struktur ohne PEs

Selbst in Modellen, die ohne PEs trainiert wurden („ablated“ Modelle), entsteht während des Trainings eine nicht-triviale räumliche Struktur. Diese Struktur ist jedoch inhalts-getrieben. Unter RPI kollabiert der SSDC von ablated Modellen über alle Schichten hinweg auf nahezu Null, was darauf hindeutet, dass ihre räumliche Organisation vollständig auf dem Patch-Inhalt basiert und versagt, wenn die Korrespondenz zwischen Inhalt und Ort unterbrochen wird.

2. PEs induzieren index-verankerte räumliche Organisation

Modelle, die mit PEs trainiert wurden (Learned Absolute, Sinusoidal und Rotary/RoPE), zeigen eine deutliche Verschiebung hin zu einer index-verankerten räumlichen Organisation.

Unter RPI zeigen diese Modelle eine substanzielle SSDC-Erholung, was darauf hindeutet, dass ihre Repräsentationen auch dann teilweise an die Token-Indizes gebunden bleiben, wenn der Patch-Inhalt permutiert wird.
Tiefen-Trajektorien: Während alle PE-Typen diese Verschiebung induzieren, unterscheiden sie sich darin, wie sich die Struktur entwickelt:
- APE und Sinusoidal: Zeigen einen schnellen Anstieg des SSDC in frühen Schichten, was auf eine frühe Injektion der räumlichen Struktur via additiver Signale hindeutet.
- RoPE: Zeigt eine graduelle, kontinuierliche Akkumulation von Struktur über die Tiefe hinweg, was konsistent mit seiner multiplikativen Integration in die Attention-Mechanismen ist.

3. Die Primat eines stabilen Referenzrahmens

Die Studie zeigt, dass die Anwesenheit eines stabilen Positionsreferenzrahmens der entscheidende Faktor für die Robustheit ist, nicht der spezifische Kodierungsmechanismus.

RPT-Modelle: Trotz der Anwesenheit von PEs scheitern Modelle, die mit RPT trainiert wurden (wo die Index-Lage-Abbildung inkonsistent ist), bei der SSDC-Erholung unter RPI und weisen Fragility Scores auf, die denen der ablated Modelle ähneln.
Fazit: Die bloße Anwesenheit von PEs ist unzureichend; das Modell muss eine konsistente Abbildung zwischen Token-Indizes und räumlichen Lokalisationen lernen, um Robustheit zu erreichen.

4. Robustheit korreliert mit index-basierter Organisation

Es besteht eine starke Korrelation zwischen der Stabilität der index-basierten räumlichen Organisation und der Robustheit gegenüber inhalts-störenden Verschiebungen:

Fragility Scores: Modelle mit stabiler index-verankerter Organisation (APE, Sinusoidal, RoPE) sind gegenüber JPEG-Kompression (Fragility $\sim 0,30–0,43$ ) signifikant robuster als ablated oder RPT Modelle (Fragility $\sim 0,66$ ).
Sekundäre Variation: Während alle PE-basierten Modelle robust sind, erreicht RoPE konsistent die niedrigste Fragility, was darauf hindeutet, dass der Kodierungsmechanismus eine sekundäre Rolle spielt, möglicherweise aufgrund seiner progressiven tiefenweisen Integration.
Skalierungs-Experimente: Wenn die Magnitude von APE ( $\alpha$ ) reduziert wird, kollabiert $\Delta SSDC$ (die Erholung der räumlichen Struktur) und die Fragility steigt scharf an. Sobald die räumliche Organisation vollständig gestört ist ( $\alpha \le 0,4$ ), stagniert die Fragility. Dies bestätigt, dass die Degradierung der Robustheit der dem Verlust der räumlichen Struktur folgt.

Bedeutung und Behauptungen

Das Paper liefert eine geometrische Erklärung dafür, wie Positionskodierungen in Vision Transformern funktionieren. Die Autoren behaupten:

Robustheit hängt vom Referenzrahmen ab: Der primäre Treiber der Robustheit gegenüber inhalts-störenden Verschiebungen ist die Etablierung einer stabilen, index-verankerten räumlichen Organisation, nicht die spezifische mathematische Form der PE (gelernt vs. fixiert, additiv vs. multiplikativ).
Interventions-basierte Evidenz: Die Beziehung zwischen räumlicher Organisation und Robustheit wird durch kontrollierte Interventionen (RPI, RPT, Skalierung) identifiziert. Die Autoren stellen explizit klar, dass die Beweise zwar stark sind, aber eine Beziehung und keinen strikt isolierten kausalen Mechanismus identifizieren.
Design-Implikationen: Zukünftige Kodierungsschemata sollten die Fähigkeit priorisieren, einen konsistenten Positionsreferenzrahmen zu etablieren. Der spezifische Kodierungsmechanismus ist weniger wichtig als die Stabilität der während des Trainings gelernten Index-zu-Lage-Abbildung.

Die Autoren bleiben hinsichtlich der Generalisierbarkeit bescheiden und merken an, dass diese Befunde auf ViT-S Modellen basieren, die von Grund auf auf ImageNet-100 trainiert wurden, und dass die Robustheitsbewertung spezifisch für inhalts-störende Perturbationen gilt und nicht notwendigerweise auf adversarielle Verschiebungen oder semantische Verteilungsänderungen übertragbar ist.