Locating and Editing Figure-Ground Organization in Vision Transformers

Lo studio individua come il modello Vision Transformer BEiT risolva l'ambiguità figura-sfondo favorendo la completamento convesso, un processo guidato da unità funzionali identificabili come l'attenzione L0H9 che risolve il conflitto percettivo negli strati finali.

L'essenziale

🎨 Il Grande Dibattito: Cosa vede l'occhio dell'AI?

Immagina di guardare un'immagine strana: un triangolo che ha un "bordo" mancante, come se fosse stato morso da un insetto.

• La tua mente umana tende a vedere due cose diverse: o un triangolo solido (la parte mancante è solo uno sfondo) oppure una forma strana e concava (il "morso" è reale).
• Gli esseri umani hanno un trucco nel cervello: tendono a vedere le forme "gonfie" o convesse come oggetti principali (il "figura") e le parti "incavate" come sfondo. È come se il nostro cervello dicesse: "Se è rotondo e sporge, è un oggetto! Se è scavato, è solo il vuoto dietro".

Gli autori di questo studio, Stefan e Rene, si sono chiesti: anche le Intelligenze Artificiali (in particolare i "Vision Transformers") hanno questo stesso trucco nel cervello? E se sì, dove esattamente, nel loro "cervello digitale", avviene questa decisione?

🔍 L'Esperimento: Il "Dardo" Confuso

Per scoprirlo, hanno creato un esperimento ingannevole usando delle forme chiamate "dardi" (quadrilateri non convessi).
Hanno preso queste forme e hanno coperto con un cerchio grigio la parte che crea il conflitto: quella zona che potrebbe essere interpretata sia come un triangolo pieno (convesso) sia come un buco (concavo).

Poi hanno chiesto all'AI (un modello chiamato BEiT): "Riempi il buco grigio. Cosa vedi?"

• Se l'AI disegna un triangolo perfetto, significa che ha scelto la convessità (ha ignorato il "morso").
• Se l'AI disegna la forma originale con il "morso", significa che ha scelto la concavità (ha seguito la forma locale).

🧠 La Scoperta: Il "Cervello" dell'AI è un Teatro

Hanno scoperto che l'AI, proprio come noi, preferisce quasi sempre vedere il triangolo perfetto (la convessità). Ma la parte affascinante è come arriva a questa decisione.

Hanno usato una sorta di "raggi X" digitali (chiamati Logit Attribution) per guardare dentro gli strati del cervello dell'AI, strato per strato.

1. Gli Strati Iniziali (Il Caos): All'inizio, il cervello dell'AI è confuso. È come un'aula scolastica dove tutti gli studenti stanno discutendo. Alcuni dicono "è un triangolo!", altri "è un morso!". Non c'è un vincitore chiaro.
2. Il "Seme" Segreto (L0H9): Hanno scoperto che c'è un unico piccolo gruppo di neuroni (chiamato testa di attenzione L0H9) che agisce quasi subito, all'inizio del processo. Questo gruppo è come un seme velenoso o un cattivo consigliere che sussurra all'AI: "Ehi, guarda, è più probabile che sia un triangolo!".
   • Questo seme non è un ordine forte, è solo un piccolo bias (un pregiudizio) che si pianta all'inizio.
3. La Competizione Finale: Man mano che l'informazione passa attraverso gli strati successivi, questo piccolo seme cresce. Alla fine, il "triangolo" vince la competizione contro il "morso".

🎚️ L'Intervento: Spegnere il "Seme"

La parte più magica è che hanno potuto manipolare questo processo.
Hanno preso quel singolo "seme" (la testa L0H9) e hanno abbassato il volume del suo segnale (come se lo stessero zittendo).

Risultato?
L'AI ha cambiato idea!

• Prima: vedeva un triangolo perfetto.
• Dopo aver zittito il seme: ha iniziato a vedere il "morso" reale.

È come se avessero tolto il bias dall'AI, permettendole di vedere la realtà locale (il buco) invece di imporre la sua regola globale (il triangolo).

💡 Perché è Importante? (La Metafora del Filtro)

Immagina che l'AI sia un detective.

• Il detective ha una regola fissa: "Se vedi una forma strana, è quasi sicuramente un oggetto rotondo".
• Questo è utile per la maggior parte delle cose, ma in casi speciali (come in medicina, per vedere un tumore che ha una forma strana e irregolare), questa regola può essere pericolosa. Il detective potrebbe ignorare il tumore perché "non sembra un oggetto rotondo".

Questo studio ci dice che non dobbiamo accettare le regole dell'AI come leggi immutabili della natura. Possiamo trovare esattamente dove e come queste regole vengono applicate e, se necessario, spostarle. Possiamo "sintonizzare" l'AI per essere più attenta ai dettagli locali quando serve, invece di accecarla con le sue generalizzazioni.

In Sintesi

Gli autori hanno dimostrato che l'AI non "vede" magicamente le forme come noi, ma esegue una serie di calcoli in cui un piccolo gruppo di neuroni all'inizio lancia un piccolo pregiudizio verso le forme "gonfie". Se spegniamo quel piccolo gruppo, l'AI smette di essere "testarda" e inizia a vedere la realtà così com'è. È un passo enorme per rendere l'intelligenza artificiale più controllabile e sicura.

Sommario tecnico

1. Il Problema

I Vision Transformer (ViT) hanno dimostrato una capacità superiore rispetto ai modelli convoluzionali nel rappresentare forme globali, riducendo il bias verso le texture. Tuttavia, rimane un dibattito aperto su come questi modelli internalizzino i principi fondamentali dell'organizzazione percettiva, in particolare le leggi della Gestalt.
Uno dei principi chiave è l'organizzazione figura-sfondo, dove il sistema visivo deve decidere quale parte di un contorno appartiene all'oggetto (figura) e quale allo sfondo. Negli esseri umani, esiste un forte pregiudizio (prior) verso la convessità: le regioni convesse sono percepite come figure, mentre i confini concavi sono relegati allo sfondo.
Il problema centrale affrontato dal paper è: dove e come i ViT risolvono l'ambiguità percettiva quando le evidenze geometriche locali (una forma concava) entrano in conflitto con i prior organizzativi globali (la convessità)? Inoltre, è possibile identificare le unità funzionali interne che governano questa decisione e manipolarle?

2. Metodologia

Gli autori hanno utilizzato il modello BEiT (un ViT basato su mascheramento e codice vettoriale discreto) e hanno sviluppato un approccio basato sull'interpretabilità meccanicistica.

• Stimolo di Conflitto Percettivo:

  • È stato creato uno stimolo sintetico basato su forme a "dardo" (quadrilateri non convessi).
  • La regione di conflitto è definita come la differenza tra l'involucro convesso (convex hull) della forma e la forma stessa. Questa area viene mascherata.
  • Il modello deve completare la parte mascherata: se chiude il triangolo, indica una preferenza per la convessità (prior globale); se mantiene la forma a dardo, indica una preferenza per la concavità (evidenza locale).
  • A differenza dei modelli che ricostruiscono pixel continui (come MAE), BEiT mappa le patch mascherate a un codicebook discreto, trasformando il problema in una classificazione tracciabile.

• Attribuzione dei Logit (Logit Attribution):

  • Per isolare i componenti del modello responsabili della preferenza, gli autori hanno applicato la tecnica di logit attribution.
  • Sfruttando la natura additiva del flusso residuo (residual stream) nei transformer, hanno decompreso il contributo di ogni sottolivello (attention heads e MLP) sui logit finali.
  • Hanno definito una direzione latente come la differenza tra i vettori del codicebook corrispondenti alla "figura" (completamento convesso) e allo "sfondo" (completamento concavo).

• Lente di Attenzione (Attention Lens):

  • Hanno decomposto l'effetto diretto delle attention heads proiettando le loro attivazioni nello spazio del residual stream per calcolare il "voto" logit verso convessità o concavità.

• Intervento tramite Scaling delle Attivazioni:

  • Per provare la causalità, hanno applicato uno scaling moltiplicativo ($\alpha$) alle attivazioni di specifiche attention heads identificate come critiche, osservando come questo modifichi la distribuzione delle probabilità e la ricostruzione visiva.

3. Contributi Chiave

Il paper offre due contributi principali:

1. Decomposizione Meccanicistica: Hanno mappato la risoluzione del conflitto figura-sfondo su un insieme discreto di attention heads all'interno dello spazio di attenzione, dimostrando che l'organizzazione figura-sfondo è un'operazione identificabile e non un fenomeno emergente vago.
2. Intervento Causale: Hanno dimostrato che è possibile modificare attivamente la preferenza percettiva del modello (da convessa a concava) agendo su una singola unità neurale, provando che il prior di convessità non è un artefatto passivo ma una forza attiva governata da unità meccaniche specifiche.

4. Risultati Principali

• Dinamica Temporale della Risoluzione:

  • Attraverso gli strati iniziali e intermedi, il flusso residuo mantiene uno stato di ambiguità/bistabilità: non c'è una preferenza dominante (l'attribuzione è vicina allo zero).
  • La risoluzione avviene bruscamente negli strati finali, dove il flusso residuo viene spinto oltre una soglia decisionale verso la convessità.

• Identificazione del "Seme" (Seed):

  • L'analisi delle attention heads ha rivelato che la preferenza non è unanime.
  • La testa L0H9 (Layer 0, Head 9) agisce come un seme precoce: introduce immediatamente un debole bias verso la convessità appena l'input entra nel modello.
  • Altre teste negli strati successivi (es. L9H6) agiscono come "contro-voce" favorendo la concavità, ma l'effetto d'insieme (ensemble) delle teste a favore della convessità prevale.

• Manipolazione del Comportamento:

  • Riducendo l'attivazione della testa L0H9 (impostando $\alpha = 0.3$), il modello ha attraversato la frontiera decisionale continua.
  • Invece di completare la figura come un triangolo solido (convesso), il modello ha rispettato la forma concava originale (il dardo).
  • Questo dimostra che il prior di convessità è modificabile e dipende causalmente dall'attività di questa specifica testa di attenzione.

5. Significato e Implicazioni

• Interpretabilità della Gestalt: Il lavoro sposta la comprensione delle leggi della Gestalt nei modelli di visione da una descrizione comportamentale a una spiegazione meccanicistica, identificando le operazioni computazionali specifiche (testa L0H9) che implementano il prior di convessità.
• Robustezza e Sicurezza: Comprendere come i prior globali possano sovrascrivere le evidenze locali è cruciale per la sicurezza in domini critici come la diagnostica medica o il rilevamento di anomalie. Se un modello ignora un dettaglio concavo critico a causa di un prior di convessità, l'intervento meccanico (scaling delle teste) potrebbe correggere questo errore.
• Controllo del Processo Decisionale: Lo studio dimostra che è possibile "guidare" (steer) il processo decisionale latente dei ViT, calibrando il peso dato ai prior globali rispetto alle evidenze locali, offrendo un nuovo strumento per la progettazione di modelli più affidabili in contesti ambigui.

In sintesi, il paper conferma che i Vision Transformer non solo imitano l'organizzazione percettiva umana, ma lo fanno attraverso meccanismi interni identificabili che possono essere localizzati, compresi e modificati.