What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

Dit onderzoek toont aan dat het finetunen van Vision Transformers met ALiBi-positional encoding de ongewenste positionele bias vermindert, waardoor deze modellen beter geschikt worden voor zero-shot toepassing in domeinen zoals materiaalkunde waar beelden geen voorkeursrichting hebben.

De kern

Wat DINO zag: Hoe we een slimme camera leerden om niet naar de randen te kijken

Stel je voor dat je een zeer slimme robotkijker hebt, genaamd DINO. Deze robot is getraind op miljoenen foto's van honden, auto's en bloemen. Hij is zo goed dat hij in één oogopslag kan zeggen: "Dat is een hond!" of "Dat is een boom!". Hij is een "fundamentmodel", wat betekent dat hij de basis is voor heel veel andere slimme toepassingen.

Maar er zit een klein, maar vervelend mankement aan deze robot.

Het probleem: De robot is gek op de randen

Hoewel DINO heel slim is, heeft hij een rare gewoonte ontwikkeld. Hij kijkt niet alleen naar wat er op de foto staat, maar ook naar waar het staat.

• Als er iets links in beeld staat, denkt hij: "Ah, dit is links, dus dit is waarschijnlijk belangrijk."
• Als er iets rechts staat, denkt hij: "Oh, rechts is anders dan links."

In de echte wereld (met foto's van honden en auto's) is dat niet zo erg. Maar in de materialenwetenschap (waar deze onderzoekers mee werken) is dit een ramp.

Stel je voor dat je een foto maakt van een stukje metaal of een batterij onder een microscoop. Dit is vaak een heel egaal, grijs vlak zonder een duidelijk "boven" of "onder", "links" of "rechts". Het is als een oneindig tapijt.
Als je DINO hierop laat kijken, gaat hij gek doen. Omdat hij gewend is dat "links" iets anders betekent dan "rechts", denkt hij dat er aan de linkerkant van het metaal iets anders is dan aan de rechterkant. Hij ziet patronen die er niet zijn, puur omdat hij naar de randen van de foto kijkt. Dit noemen de onderzoekers positie-bias (vooringenomenheid voor de positie).

De oplossing: De "ALiBi" bril

De onderzoekers wilden DINO fixen. Ze dachten: "Laten we die robot een nieuwe bril geven die hem dwingt om te kijken naar de inhoud, niet naar de positie."

Ze gebruikten een techniek genaamd ALiBi.

• De oude manier: DINO kreeg een lijstje met nummers bij elke foto: "Dit is stukje 1, dit is stukje 2, dit is stukje 3..." Hij leerde dat stukje 1 altijd linksboven zat.
• De nieuwe manier (ALiBi): In plaats van nummers, kregen de stukjes een regel: "Kijk naar je buren." Als stukje A dicht bij stukje B zit, is dat belangrijk. Als ze ver weg zijn, is dat minder belangrijk. Het maakt niet uit of ze links of rechts zijn; het gaat alleen om de afstand.

Het is alsof je een kind leert te tellen (1, 2, 3) versus een kind leert om afstanden te voelen (dichtbij vs. ver weg). Het tweede kind begrijpt beter dat een egaal tapijt overal hetzelfde is, ongeacht waar je op kijkt.

Wat deden ze precies?

1. Ze namen een getrainde DINO: Een robot die al heel goed was, maar die de "randen-krankzinnigheid" had.
2. Ze haalden zijn oude bril eraf: Ze verwijderden de oude nummers (de positie-codes) die hem vertelden waar hij was.
3. Ze zetten de ALiBi-bril op: Ze gaven hem de nieuwe regels over afstanden.
4. Ze lieten hem opnieuw leren: Ze gaven hem dezelfde foto's, maar nu moest hij leren om de oude, slimme kennis te houden, maar zonder die rare voorkeur voor de randen.

Het resultaat: Een eerlijke robot

Toen ze de nieuwe robot (ALiBi-Dv2) testten, gebeurde er iets wonderlijks:

• Hij zag nog steeds wat hij moest zien: Hij kon nog steeds een hond van een boom onderscheiden. Zijn "slimheid" was niet weg.
• Maar hij zag geen fantasieën meer: Op de foto's van de batterijen en metalen zag hij nu egaal grijs vlakken waar dat hoorde. Hij zag geen valse patronen meer aan de randen.

Waarom is dit belangrijk?

In de wetenschap willen onderzoekers vaak heel kleine details zien in materialen, zoals barstjes in een batterij of poriën in metaal. Als je een robot gebruikt die denkt dat de linkerkant van de foto "anders" is dan de rechterkant, dan gaat hij die barstjes verkeerd interpreteren. Hij denkt dat het een rand-effect is, terwijl het echt een barst is.

Met deze nieuwe, eerlijke robot kunnen onderzoekers nu:

• Betere analyses maken van batterijen en nieuwe materialen.
• Minder handmatig werk doen (want de robot maakt minder fouten).
• Betere producten bouwen, van snellere auto's tot langere batterijlevensduur.

Kort samengevat:
De onderzoekers hebben een slimme robotkijker "ontwikkeld" die te veel naar de randen van de foto keek. Door hem een nieuwe manier van kijken te geven (waarbij afstand belangrijker is dan positie), is hij nu eerlijker. Hij ziet de waarheid in de foto, in plaats van wat hij denkt dat er zou moeten zijn. Dit helpt wetenschappers om betere materialen te bouwen voor de toekomst.

Technische samenvatting

Probleemstelling

Vision Transformers (ViTs), en met name fundamentele modellen voor beeldherkenning zoals DINOv2, hebben zich bewezen als krachtige tools voor downstream taken. Echter, deze modellen vertonen een significant positioneel bias (positievooroordeel) in hun leergedrag.

• De Oorzaak: De architectuur van ViTs, specifiek de gebruikte Positional Encodings (PE), zorgt ervoor dat de output-features niet alleen semantische informatie bevatten, maar ook sterke correlaties met de fysieke positie van de token in het beeld.
• De Impact: In domeinen zoals de materialenwetenschap (bijv. elektronenmicroscopie/SEM/TEM) zijn afbeeldingen vaak homogene doorsneden zonder een voorkeursrichting of centraal focus. Wanneer ViT-features worden gebruikt voor "zero-shot" segmentatie of trainbare segmentatie in deze context, leidt het positionele bias tot artefacten. De modellen leren bijvoorbeeld dat een bepaald materiaaltype aan de linkerkant van het beeld hoort, in plaats van op basis van textuur of structuur. Dit resulteert in slechte segmentaties van complexe microstructuren.
• Bestaande Oplossingen: Bestaande methoden om dit te verhelpen (zoals het toevoegen van "register tokens" of het gebruik van denoising netwerken) zijn onvoldoende of elimineren het bias niet volledig. Zelfs modellen met relatieve positionele encoding (zoals DINOv3 met RoPE) vertonen nog steeds bias.

Methodologie

De auteurs stellen een nieuwe aanpak voor om dit probleem op te lossen door het trainen van een DINOv2-model met een specifiek type positionele encoding: ALiBi (Attention with Linear Biases).

1. Analyse van Bias (Linear Probing):

   • De auteurs gebruiken lineaire probes om de output-features van verschillende ViT-modellen (DINO, DINOv2, DINOv3, MAE, enz.) te analyseren.
   • Ze trainen lineaire regressoren om de features te mappingen naar 1D "ramp"-functies (bijv. van links naar rechts, van boven naar beneden, radiaal).
   • Resultaat: Ze vinden dat bepaalde kanalen in de output-features bijna puur positionele rampen zijn, ongeacht de inhoud van de afbeelding. Dit bias is sterk aanwezig in zelftoezicht (self-supervised) modellen, maar veel minder in toezicht (supervised) modellen.

2. Ontwikkeling van ALiBi-Dv2:

   • In plaats van de bestaande geleerde PE te proberen te corrigeren (wat faalde), vervangen ze de geleerde PE volledig door 2D-bewuste ALiBi encoding.
   • ALiBi Mechanisme: In plaats van posities aan tokens toe te voegen, worden lineaire bias-termen toegevoegd aan de attention-scores op basis van de relatieve afstand tussen tokens. Dit bevordert een inductief bias naar "recentie" (dichtbijzijnde tokens).
   • Training Setup:
     • Ze finetunen een bestaand DINOv2-checkpoint.
     • De oorspronkelijke (bevooroordeelde) embeddings van DINOv2 worden gebruikt als leraar (teacher) voor het nieuwe model. Het idee is dat deze embeddings de gewenste semantiek bevatten, maar het nieuwe model kan deze semantiek leren zonder de positionele bias te kopiëren, omdat de ALiBi-encoding dit structureel verhindert.
     • Er worden cilindrische randvoorwaarden (cylindrical boundary conditions) gebruikt om asymmetrieën in de afstandsmatrix te voorkomen.
     • Tijdens training worden de vier meest positionele kanalen (geïdentificeerd in de analyse) op nul gezet om het model te dwingen semantiek te leren.

Belangrijkste Bijdragen

1. Systematische Karakterisering: Het paper biedt een uitgebreide analyse van positioneel bias in diverse ViT-architecturen via lineaire probing, wat aantoont dat dit een fundamenteel probleem is bij zelftoezicht-modellen, zelfs bij die met relatieve encoding (RoPE).
2. ALiBi-Dv2 Model: Het introduceren van een gefinetuned DINOv2-model dat ALiBi gebruikt. Dit model behoudt de rijke semantische eigenschappen van DINOv2 maar elimineert de positionele bias.
3. Validatie in Materialenwetenschap: Het succesvol toepassen van dit model op trainbare segmentatie van microscopie-afbeeldingen, waar eerdere modellen faalden door hun bias.

Resultaten

De resultaten worden getoetst op drie fronten:

1. Lineaire Probing Scores (Bias Meting):

   • De $R^2$ scores voor het voorspellen van posities (x, y) uit de features dalen drastisch voor ALiBi-Dv2 (bijv. van 0.83 naar -0.23 op micrografie-datasets) vergeleken met standaard DINOv2. Dit bevestigt dat de features nu vrij zijn van positionele informatie.
   • Zelfs DINOv3 (met RoPE) vertoont nog steeds hoge bias, wat aantoont dat ALiBi superieur is voor het elimineren van dit specifieke probleem.

2. Semantische Segmentatie (Benchmarks):

   • Op standaard benchmarks zoals VOC en ADE20K presteert ALiBi-Dv2 vergelijkbaar met of zelfs beter dan DINOv2 en NoPE (geen positionele encoding).
   • Dit bewijst dat het verwijderen van de positionele encoding de algemene semantische capaciteit van het model niet schaadt.

3. Toepassing op Microscopie (Trainable Segmentation):

   • Bij het segmenteren van complexe materialen (zoals batterij-elektroden en nikkel-superlegeringen) vertonen DINOv2 en DVT (Denoising Vision Transformer) duidelijke positionele fouten (bijv. het missen van structuren in het midden of de onderkant van het beeld).
   • ALiBi-Dv2 levert homogene, nauwkeurige segmentaties zonder deze positionele artefacten. Het kan complexe concepten zoals "pore-back" effecten (materiaal dat verder in het monster zit maar in de doorsnede zichtbaar is) correct onderscheiden, wat cruciaal is voor kwantitatieve analyse.

Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen de kracht van grote foundation modellen en de specifieke eisen van wetenschappelijke beeldanalyse.

• Oplossing voor een specifiek domein: Het lost een fundamenteel probleem op dat het gebruik van ViTs in de materialenwetenschap beperkte: de mismatch tussen de architecturale bias van het model en de homogene, richting-onafhankelijke aard van microscopie-afbeeldingen.
• Efficiëntie: Het toont aan dat je geen model van nul hoeft te trainen om bias te verwijderen; het finetunen van een bestaand model met een andere encoding (ALiBi) is voldoende, zelfs als de leraar (teacher) nog steeds bias heeft.
• Toekomstperspectief: Het paper suggereert dat positioneel bias een algemene eigenschap is van zelftoezicht (self-supervision) en niet alleen beperkt tot DINO. Het opent de deur voor het ontwikkelen van "homogene" foundation modellen die beter geschikt zijn voor toepassingen waar ruimtelijke consistentie cruciaal is, zoals in de wetenschap en industriële inspectie.

Kortom, de auteurs hebben een methode ontwikkeld om Vision Transformers "eerlijk" te maken ten opzichte van de positie in het beeld, waardoor ze veel betrouwbaarder worden voor complexe, real-world toepassingen buiten de standaard computer vision benchmarks.