What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

Diese Arbeit zeigt, dass durch das Fine-Tuning von Vision-Transformern mit ALiBi-Positionscodierung die unerwünschte Positionsverzerrung reduziert werden kann, wodurch die Modelle für semantisch neutrale Anwendungen wie die Segmentierung von Mikroskopiebildern besser geeignet sind, ohne ihre allgemeinen semantischen Fähigkeiten zu verlieren.

Das Wesentliche

Das Problem: Der "Sehfehler" der KI

Stell dir vor, du hast einen sehr klugen Roboter-Künstler namens DINOv2. Dieser Roboter hat Millionen von Fotos gesehen und gelernt, Dinge wie Hunde, Autos oder Bäume zu erkennen. Er ist so gut, dass er diese Fähigkeiten auch auf ganz andere Bilder anwenden kann, zum Beispiel auf mikroskopische Aufnahmen von Batterien oder Metallstrukturen.

Aber DINOv2 hat einen kleinen, aber lästigen Sehfehler: Er ist ein bisschen "faul" und schaut nicht nur auf das, was auf dem Bild ist, sondern auch darauf, wo es ist.

• Die Analogie: Stell dir vor, du siehst ein Foto von einem Hund. Ein normaler Mensch denkt: "Das ist ein Hund." DINOv2 denkt aber unbewusst: "Das ist ein Hund, und weil er auf der linken Seite des Bildes steht, ist er links."
• Das Problem: Wenn du dieses Bild jetzt auf ein Materialwissenschafts-Labor anwendest (wo es oft nur gleichmäßige Strukturen gibt, ohne einen klaren "Hund" oder "Baum"), gerät der Roboter in Panik. Er versucht verzweifelt, Muster zu finden, die gar nicht da sind, weil er denkt: "Oh, hier ist links etwas anderes als rechts!" Das führt zu falschen Ergebnissen, wenn man versucht, Risse in Batterien oder Poren in Metallen zu erkennen.

Die Forscher haben herausgefunden, dass dieser Fehler tief im "Gehirn" des Roboters sitzt, genauer gesagt in einem Bauteil namens Positional Encoding (Positions-Kodierung). Das ist wie ein unsichtbares Lineal, das dem Roboter sagt: "Token A ist bei Position 1, Token B bei Position 2." Bei DINOv2 ist dieses Lineal so verdrahtet, dass es den Roboter dazu bringt, künstliche Gradienten (Verläufe) zu sehen, wo eigentlich nur eine gleichmäßige Fläche ist.

Die Lösung: Ein neues "Gedächtnis" (ALiBi)

Die Forscher wollten DINOv2 nicht komplett neu erfinden (das wäre zu teuer und würde seine Intelligenz verlieren), sondern sie wollten ihm nur diesen einen Sehfehler ausheilen.

Sie haben eine Methode namens ALiBi (Attention with Linear Biases) verwendet.

• Die Analogie: Stell dir vor, DINOv2 hat ein altes, verstaubtes Notizbuch, in das er die Positionen aller Dinge eingezeichnet hat. Dieses Notizbuch ist schief und führt ihn in die Irre.
  • Die Forscher haben dieses alte Notizbuch weggenommen.
  • Stattdessen haben sie ihm ein neues, dynamisches System gegeben. Anstatt zu sagen "Du bist bei Position 50", sagt das neue System: "Du bist so weit weg von deinem Nachbarn."
  • Es ist wie der Unterschied zwischen einem starren Stadtplan (wo du genau weißt, dass die Bank immer an der 5. Ecke ist) und einem Gefühl für Entfernungen ("Die Bank ist 10 Schritte von dir entfernt"). Wenn du dich bewegst, funktioniert das Gefühl für Entfernungen immer noch, egal wo du bist.

Was haben sie gemacht?

1. Diagnose: Sie haben getestet, wie stark DINOv2 auf Positionen reagiert. Das Ergebnis war schockierend: Der Roboter konnte sogar auf völlig zufälligen "Rauschen"-Bilder (wie TV-Grauschnee) sagen, wo oben und unten ist. Das beweist, dass er nicht wirklich hinsieht, sondern nur das Lineal abliest.
2. Die Operation: Sie haben DINOv2 genommen, das alte "schiefe Lineal" entfernt und das neue "ALiBi-System" eingebaut.
3. Das Training: Sie haben den Roboter dann ein bisschen nachtrainiert, damit er lernt, mit dem neuen System zu arbeiten. Wichtig: Sie haben ihm die alten, korrekten Antworten von DINOv2 als Vorbild gegeben, damit er nicht vergisst, wie man einen Hund erkennt.

Das Ergebnis: Ein fairer Blick

Nach der "Operation" war der Roboter immer noch super intelligent (er kannte immer noch Hunde, Autos und Batteriematerialien), aber er war fairer.

• Vorher: Wenn man versuchte, eine Batterie zu analysieren, sah der Roboter links mehr Poren als rechts, nur weil das Bild links war. Das war falsch.
• Nachher: Der Roboter schaut wirklich auf die Struktur. Links und rechts sind gleichwertig.

Warum ist das wichtig?
In der Materialwissenschaft (z. B. bei der Entwicklung besserer Batterien) sind die Bilder oft riesig und völlig gleichmäßig. Es gibt keinen "Himmel" oben und "Erde" unten. Wenn der Roboter hier einen künstlichen Unterschied macht, können Ingenieure falsche Schlüsse ziehen. Mit dem neuen, "positionsfreien" Modell können sie jetzt genau sehen, wo Risse sind oder wie die Partikel verteilt sind, ohne dass der Roboter durch sein eigenes Lineal getäuscht wird.

Zusammenfassung in einem Satz

Die Forscher haben einem sehr klugen KI-Modell das "Lineal" aus dem Kopf genommen, das es dazu brachte, künstliche Muster zu sehen, und durch ein besseres System ersetzt, damit es nun wirklich nur auf das schaut, was auf dem Bild ist – egal wo es sich befindet.

Technische Zusammenfassung

1. Problemstellung

Vision Transformer (ViT) Modelle, insbesondere Feature-Foundation-Modelle wie DINOv2, haben sich als äußerst leistungsfähig für viele Downstream-Aufgaben erwiesen. Allerdings weisen diese Modelle einen signifikanten Positional Bias (Positionsverzerrung) auf.

• Das Phänomen: Die von ViTs gelernten Merkmale enthalten starke, lineare Abhängigkeiten von der Position im Bild (z. B. Rampenfunktionen von links nach rechts oder oben nach unten), die unabhängig vom semantischen Inhalt des Bildes sind.
• Die Konsequenz: Dies führt zu Artefakten in den Merkmalskarten. Während dies bei natürlichen Bildern (mit klaren Objekten und Hintergründen) oft tolerierbar ist, stellt es ein kritisches Problem in der Materialwissenschaft dar.
• Der Kontext: Materialwissenschaftliche Bilder (z. B. aus Rasterelektronenmikroskopie SEM oder Transmissionselektronenmikroskopie TEM) sind oft homogene Querschnitte ohne bevorzugte Richtung oder zentrales Objekt. Wenn ein Modell trainiert wird, um diese Bilder zu segmentieren (z. B. Poren von Partikeln zu unterscheiden), lernt es fälschlicherweise die Positionsverzerrung des Modells statt der tatsächlichen Mikrostruktur. Dies führt zu fehlerhaften Segmentierungen, insbesondere bei „Trainable Segmentation" (interaktive Pixelklassifizierung) mit wenigen Labels.

2. Methodik

Die Autoren verfolgen einen dreistufigen Ansatz, um dieses Problem zu analysieren und zu lösen:

A. Charakterisierung des Bias (Lineare Probing)

Um den Bias zu quantifizieren, trainierten die Autoren lineare Probes (lineare Regressoren), um aus den Ausgabe-Features der ViTs 1D-Rampenfunktionen (horizontal, vertikal, diagonal, radial) vorherzusagen.

• Ergebnis: Sie stellten fest, dass bestimmte Kanäle der Ausgabe-Features fast rein positionale Rampenfunktionen abbilden, unabhängig vom Eingabebild.
• Vergleich: Dieser Bias ist in selbstüberwachten Modellen (DINO, MAE) stark ausgeprägt, auch bei Verwendung von relativen Positional Encodings wie RoPE (DINOv3). Überwachte Modelle (z. B. DEiT, CLIP) zeigen deutlich weniger Bias.

B. Entwicklung von ALiBi-Dv2

Um den Bias zu eliminieren, wurde ein DINOv2-Checkpoint neu trainiert (Fine-Tuning) unter Verwendung einer modifizierten Architektur:

• Entfernung des gelernten PE: Das ursprünglich gelernte Positional Encoding (PE) wurde entfernt und auf Null gesetzt.
• Einführung von ALiBi: Stattdessen wurde ALiBi (Attention with Linear Biases) implementiert. ALiBi fügt lineare Verzerrungen basierend auf der relativen Distanz zwischen Tokens direkt in die Attention-Scores hinzu, anstatt Positionen in den Token-Zustand zu kodieren.
• 2D-Bewusstsein: Die Autoren passten ALiBi für 2D-Bilder an, indem sie euklidische Abstände und zylindrische Randbedingungen (wrap boundary conditions) verwendeten, um Asymmetrien zu vermeiden.
• Zielsetzung (Teacher-Student): Das Fine-Tuning erfolgte durch Minimierung des Abstands zu den Embeddings des originalen (verzerrten) DINOv2-Modells. Die Hypothese war, dass das neue Modell die semantischen Informationen des Lehrers übernehmen kann, ohne die Positionsverzerrung zu replizieren, da die ALiBi-Architektur diese Bias-Struktur nicht ausdrücken kann.
• Multi-Scale Training: Um die Generalisierung auf verschiedene Bildgrößen zu verbessern, wurde ein kurzer Multi-Scale-Trainingsschritt eingeführt.

C. Evaluierung

Die Leistung des neuen Modells (ALiBi-Dv2) wurde auf drei Ebenen getestet:

1. Lineare Probing: Messung der verbleibenden Positionsverzerrung.
2. Semantische Segmentierung: Benchmark auf Standard-Datensätzen (VOC, ADE20K) mittels linearer Probes.
3. Trainable Segmentation: Anwendung auf komplexe Materialwissenschafts-Bilder (Batterie-Elektroden, Nickel-Superlegierungen) mit schwacher Überwachung.

3. Wichtige Ergebnisse

• Reduktion des Positional Bias:

  • Die linearen Probing-Scores ($R^2$) für Positionsrampe fielen drastisch von ca. 0,83 (DINOv2) auf -0,23 (ALiBi-Dv2) auf Mikroskopie-Bildern. Negative Werte deuten darauf hin, dass das Modell nicht einmal zufällige Korrelationen lernt.
  • Im Gegensatz zu DINOv2 (wo der Bias in späteren Schichten abnimmt) und DINOv3 (wo der Bias mit der Schichttiefe zunimmt), zeigt ALiBi-Dv2 über alle Schichten hinweg eine homogene Verteilung ohne dominante Positionskanäle.

• Qualität der Merkmale (PCA & Ähnlichkeit):

  • PCA-Visualisierungen zeigen, dass ALiBi-Dv2 Merkmale erzeugt, die semantisch reichhaltig sind (z. B. klare Trennung von Kopf und Körper bei Hunden), aber frei von den typischen Rand- und Gradientenartefakten von DINOv2 sind.
  • Bei homogenen Out-of-Distribution-Bildern (z. B. Batterie-Kathoden) reagiert ALiBi-Dv2 viel einheitlicher als DINOv2, der fälschlicherweise auf Positionen reagiert.

• Benchmark-Leistung:

  • Auf Standard-Segmentierungsbenchmarks (VOC, ADE20K) bleibt die Leistung von ALiBi-Dv2 gleich oder verbessert sich leicht gegenüber DINOv2 und einem Modell ohne Positional Encoding (NoPE). Dies beweist, dass die Semantik erhalten bleibt.

• Anwendung in der Materialwissenschaft:

  • Bei der „Trainable Segmentation" von Batteriematerialien (z. B. Unterscheidung von Poren vs. Bindemittel) scheitern DINOv2 und DVT (Denoising ViT) oft aufgrund von Positionsverzerrungen (z. B. werden Poren nur am Bildrand erkannt).
  • ALiBi-Dv2 liefert hier deutlich homogenere und genauere Segmentierungen, da es keine falschen Korrelationen zwischen Bildposition und Materialklasse lernt. Dies ist besonders wichtig bei „Pore-Back"-Effekten in porösen Materialien.

4. Hauptbeiträge

1. Analyse des Bias: Umfassende Charakterisierung des Positional Bias in verschiedenen ViT-Architekturen (DINO, MAE, RoPE-basierte Modelle) mittels linearer Probing, die zeigt, dass dieser Bias ein inhärentes Problem selbstüberwachter Modelle ist.
2. Architektur-Lösung: Demonstration, dass das Ersetzen des gelernten PE durch 2D-ALiBi während des Fine-Tunings ausreicht, um einen homogenen Merkmalsraum zu erzeugen, ohne die Semantik zu verlieren.
3. Praktische Anwendbarkeit: Nachweis, dass ALiBi-Dv2 die Leistung bei schwach überwachter Segmentierung in der Materialwissenschaft signifikant verbessert, wo herkömmliche ViTs aufgrund von Positionsartefakten versagen.
4. Open Source: Bereitstellung des Codes und der Modelle zur Reproduzierbarkeit.

5. Bedeutung und Ausblick

Die Arbeit adressiert ein fundamentales, aber oft übersehenes Problem bei der Anwendung von Foundation Models auf wissenschaftliche Daten. Sie zeigt, dass die „Off-the-Shelf"-Nutzung von DINOv2 für homogene Materialbilder aufgrund von Positionsverzerrungen suboptimal ist.

Die vorgeschlagene Methode (Fine-Tuning mit ALiBi) bietet einen effizienten Weg, um die Vorteile großer selbstüberwachter Modelle zu nutzen, während gleichzeitig die architektonischen Verzerrungen eliminiert werden. Dies ermöglicht zuverlässigere quantitative Analysen in der Materialwissenschaft, Biologie und anderen Domänen mit homogenen oder isotropen Strukturen.

Die Autoren merken an, dass sie zwar das Fine-Tuning untersucht haben, aber nicht, ob ein Modell wie DINOv2 von Grund auf (from scratch) mit ALiBi trainiert werden könnte. Zudem bleibt die genaue Ursache, warum selbstüberwachte Modelle stärkeren Bias zeigen als überwachte, ein Thema für zukünftige Forschung.