What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

Questo lavoro dimostra che l'uso dell'encoding posizionale ALiBi nei Vision Transformer riduce i bias posizionali, preservando le semantica generali e migliorando l'adattamento zero-shot per la segmentazione di immagini microscopiche complesse.

L'essenziale

Il Titolo: Cosa ha visto DINO? (E cosa ha visto male)

Immagina che DINOv2 sia un artista geniale, un pittore digitale addestrato a guardare milioni di foto (gatti, paesaggi, persone) per imparare a riconoscere gli oggetti. È diventato così bravo che i suoi "occhi" (i suoi dati interni) sono usati da scienziati per analizzare cose molto complesse, come le immagini al microscopio di materiali per batterie o metalli.

Il problema? Questo artista geniale ha un difetto di prospettiva.

Il Problema: L'Artista che guarda sempre dall'alto

Quando DINOv2 guarda un'immagine naturale (come un cane), capisce perfettamente che la testa è sopra e la coda sotto. Ma quando guarda un'immagine di un materiale scientifico (come un pezzo di metallo tagliato a metà), che è uniforme e non ha un "alto" o un "basso" preferenziale, DINOv2 si confonde.

L'analogia del "Righello Fantasma":
Immagina che DINOv2 abbia un righello invisibile stampato sulla sua retina.

• Se guardi un paesaggio, il righello non dà fastidio.
• Ma se guardi un muro di mattoni identici (un materiale omogeneo), il righello dice: "Ehi, questo mattone qui è diverso perché è più a sinistra!" o "Questo è diverso perché è più in basso!".

In realtà, il mattone è uguale a tutti gli altri. Ma l'artista (il modello) è così abituato a usare la posizione per capire le cose che, quando non c'è una vera differenza, inventa differenze. Questo porta a errori quando gli scienziati provano a tagliare o analizzare queste immagini: il computer pensa che una parte del materiale sia diversa solo perché è posizionata in un angolo dell'immagine.

La Soluzione: Il "Trucco dell'Alibi"

Gli autori del paper hanno deciso di correggere questo errore senza distruggere l'arte dell'artista. Hanno usato una tecnica chiamata ALiBi (che sta per Attention with Linear Biases, ma pensala come un "Alibi Posizionale").

Ecco come funziona, con una metafora:

1. Il Vecchio Metodo (Posizione Assoluta): Immagina di insegnare a un bambino a riconoscere le persone dicendogli: "Quello è Mario perché è sempre seduto al posto 1, quello è Luigi al posto 2". Se sposti Mario al posto 2, il bambino non lo riconosce più. È rigido.
2. Il Nuovo Metodo (ALiBi - Relativo): Invece, insegniamo al bambino: "Mario è vicino a Luigi, e Luigi è lontano da Anna". Non importa dove sono seduti nella stanza, importa solo la distanza tra loro.

Gli scienziati hanno preso il modello DINOv2, gli hanno tolto il "righello fisso" (la vecchia posizione) e gli hanno dato questo nuovo "senso della distanza relativa". Hanno poi fatto un piccolo "ripasso" (fine-tuning) insegnandogli a guardare le vecchie immagini di DINOv2 e a dire: "Sì, questo è un cane, ma non perché è in alto a sinistra, ma perché ha le orecchie e la coda".

Il Risultato: Un Occhio più Giusto

Cosa è successo dopo questo intervento?

• Prima: Se guardavi un'immagine di una batteria al microscopio, il modello vedeva gradienti di colore che non esistevano, solo perché l'immagine era larga e alta. Era come se il modello vedesse un'ombra finta.
• Dopo: Il nuovo modello (chiamato ALiBi-Dv2) vede l'immagine per quello che è davvero. Se il materiale è uniforme, lo vede uniforme. Se c'è una crepa, la vede come una crepa, non come un artefatto della posizione.

L'esempio della "Polvere di Stelle":
Immagina di dover contare le stelle in una foto del cielo notturno.

• Il vecchio modello pensava che le stelle in alto a sinistra fossero "più stelle" di quelle in basso a destra, solo per via della loro posizione.
• Il nuovo modello guarda la foto e dice: "Sono tutte stelle uguali, indipendentemente da dove si trovano".

Perché è importante?

Questo lavoro è fondamentale per la scienza dei materiali. Gli scienziati usano questi modelli per progettare batterie migliori, metalli più resistenti e farmaci. Se il computer sbaglia a interpretare l'immagine perché è "distorto" dalla posizione, le batterie potrebbero non funzionare o i metalli potrebbero rompersi.

Grazie a questo "aggiustamento dell'alibi", ora possiamo usare l'intelligenza artificiale più potente del mondo (DINOv2) anche su immagini strane e scientifiche, sapendo che non ci starà raccontando bugie basate sulla posizione.

In sintesi: Hanno preso un genio dell'arte che era un po' troppo fissato con la posizione degli oggetti, gli hanno insegnato a guardare le relazioni tra le cose invece che la loro coordinate, e ora vede il mondo (e i materiali) in modo molto più onesto e preciso.

Sommario tecnico

1. Il Problema: Bias Posizionale nei Vision Transformers (ViT)

I Vision Transformers (ViT), in particolare i modelli fondazione per le caratteristiche (feature foundation models) come DINOv2, hanno dimostrato prestazioni eccezionali in molte attività a valle grazie alle loro rappresentazioni ricche apprese tramite apprendimento auto-supervisionato (SSL). Tuttavia, il paper identifica un difetto critico: il bias posizionale.

• Natura del problema: Le architetture ViT tendono a sviluppare caratteristiche (feature) che sono fortemente correlate alla posizione spaziale del token nell'immagine, indipendentemente dal contenuto semantico. Questo si manifesta come gradienti lineari (ramp) o artefatti nelle mappe delle caratteristiche.
• Impatto sui materiali: Questo bias è particolarmente dannoso nel campo della scienza dei materiali (es. microscopia elettronica SEM/TEM). Le immagini di materiali sono spesso sezioni trasversali omogenee, privi di una direzione preferenziale o di un "centro" naturale. Quando un modello con bias posizionale viene utilizzato per la segmentazione (specialmente in modalità zero-shot o con pochi dati), il classificatore impara a riconoscere la posizione invece della struttura del materiale, portando a segmentazioni errate (es. fallimenti nel centro o ai bordi dell'immagine).
• Limiti delle soluzioni esistenti: Tentativi precedenti di mitigare questo problema, come l'uso di token "register" o reti denoiser, non hanno eliminato completamente il bias. Inoltre, modelli più recenti come DINOv3 (che usa RoPE, Rotary Positional Encoding) mostrano ancora un forte bias posizionale, che addirittura aumenta con la profondità dei layer.

2. Metodologia

Gli autori hanno sviluppato un approccio in due fasi: caratterizzazione del bias e mitigazione tramite finetuning con un nuovo schema di codifica posizionale.

A. Caratterizzazione del Bias (Linear Probing)

Per quantificare il problema, gli autori hanno utilizzato linear probing:

• Hanno addestrato regressori lineari per mappare le feature in uscita del ViT verso funzioni a rampa 1D (orizzontali, verticali, diagonali, radiali).
• Hanno testato modelli su immagini omogenee (micrografie, rumore bianco, texture) per evitare che gradienti semantici reali (come un tramonto) distorcessero i risultati.
• Risultato: Hanno scoperto che canali specifici delle feature sono quasi puramente funzioni di posizione, indipendentemente dal contenuto dell'immagine. Questo bias è presente in modelli DINO, MAE e persino in DINOv3, ma è assente o minimo nei modelli supervisionati (es. ViT addestrati su ImageNet).

B. Soluzione Proposta: ALiBi-Dv2

Per risolvere il problema, gli autori hanno proposto di sostituire la codifica posizionale appresa (Learned PE) di un checkpoint DINOv2 pre-addestrato con ALiBi (Attention with Linear Biases).

• ALiBi: Invece di aggiungere vettori posizionali agli input, ALiBi aggiunge un offset lineare ai punteggi di attenzione in base alla distanza relativa tra i token. Questo impone un pregiudizio induttivo verso la "recentezza" (o vicinanza spaziale) senza codificare la posizione assoluta nello stato nascosto del token.
• Configurazione 2D: Gli autori hanno implementato una versione 2D-aware di ALiBi con condizioni al contorno cilindriche (wrap-around) per evitare asimmetrie nella matrice delle distanze.
• Strategia di Addestramento:
  1. Hanno congelato i pesi del modello DINOv2 originale.
  2. Hanno sostituito la PE appresa con ALiBi (impostando la PE appresa a zero).
  3. Hanno finetunato il modello utilizzando le embedding del DINOv2 originale (biased) come target di insegnamento (teacher).
  4. Ispirazione chiave: È sufficiente usare le embedding "biased" come target perché il nuovo modello, vincolato dall'ALiBi, non può esprimere quei bias specifici, costringendolo a preservare solo la semantica generale.
  5. Durante l'addestramento, hanno anche azzerato i 4 canali più "posizionali" identificati nell'analisi preliminare.

3. Contributi Chiave

1. Dimostrazione dell'ubiquità del Bias: Hanno provato che il bias posizionale è una proprietà intrinseca dei modelli ViT auto-supervisionati (DINO, MAE) e non si risolve semplicemente cambiando l'obiettivo di training o usando RoPE.
2. Metodo di Mitigazione Efficace: Hanno dimostrato che è possibile "ripulire" un modello fondazione esistente (DINOv2) sostituendo la PE e facendo un breve finetuning con un target semantico, ottenendo un modello con feature omogenee.
3. Validazione in Scienza dei Materiali: Hanno applicato con successo il modello risultante (ALiBi-Dv2) alla segmentazione di micrografie complesse (es. elettrodi di batterie agli ioni di litio), risolvendo il problema del "pore-back" (materiale fuori piano che appare nello stesso piano) che i modelli precedenti gestivano male a causa del bias posizionale.

4. Risultati

• Analisi Quantitativa (Linear Probing):
  • Il modello ALiBi-Dv2 mostra un punteggio $R^2$ estremamente basso (negativo in alcuni casi) quando si tenta di prevedere la posizione dalle feature, indicando l'assenza di bias posizionale.
  • Al contrario, DINOv2, DINOv3 e modelli denoiser (DVT) mantengono $R^2$ alti (0.6 - 0.9), confermando la presenza di bias.
• Qualità delle Feature (PCA e Similarità):
  • Le visualizzazioni PCA mostrano che ALiBi-Dv2 produce feature più omogenee e prive di gradienti artificiali (bordi, rami radiali) rispetto a DINOv2.
  • La similarità coseno su immagini omogenee è più uniforme, mentre DINOv2 mostra variazioni legate alla posizione.
• Prestazioni di Segmentazione Semantica (Benchmark):
  • Su dataset standard (VOC, ADE20K), ALiBi-Dv2 mantiene o migliora leggermente le prestazioni rispetto a DINOv2, dimostrando che la semantica generale non è stata persa.
  • Il modello è più robusto alle trasformazioni geometriche (rotazioni, flip) rispetto ai modelli bas.
• Segmentazione Trainable (Scienza dei Materiali):
  • In scenari di segmentazione interattiva con pochi dati (usando XGBoost su feature ViT + feature classiche), ALiBi-Dv2 supera nettamente DINOv2 e DVT.
  • Mentre DINOv2 fallisce nel segmentare correttamente strutture omogenee (confondendo la posizione con la classe), ALiBi-Dv2 produce segmentazioni coerenti e accurate, essenziali per l'analisi quantitativa dei materiali.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

1. Colma un divario critico: Permette l'uso efficace dei potenti modelli fondazione ViT in domini scientifici (come la scienza dei materiali e la biologia) dove le immagini sono omogenee e prive di contesto semantico globale, un settore in cui i modelli attuali fallivano a causa del bias posizionale.
2. Semplifica l'adattamento: Dimostra che non è necessario addestrare un modello da zero per ottenere feature prive di bias; un approccio di finetuning mirato su un checkpoint esistente è sufficiente ed efficiente.
3. Impatto sulla ricerca futura: Suggerisce che il bias posizionale è un problema generale dell'apprendimento auto-supervisionato nei ViT e che l'uso di codifiche posizionali relative come ALiBi potrebbe essere preferibile per applicazioni che richiedono invarianza spaziale o analisi di strutture omogenee.

In sintesi, il paper offre una soluzione pratica e teoricamente fondata per "vedere" attraverso il bias posizionale dei DINO, rendendo le loro feature affidabili per l'analisi quantitativa di microstrutture complesse.