Spatial Autoregressive Modeling of DINOv3 Embeddings for Unsupervised Anomaly Detection

Questo lavoro propone un metodo efficiente per la rilevazione di anomalie non supervisionata che utilizza un modello autoregressivo spaziale parametrico sui embedding di DINOv3 per catturare le dipendenze contestuali, eliminando la necessità di costose banche di memoria e riducendo significativamente il tempo e la memoria di inferenza.

L'essenziale

Immagina di essere un ispettore di qualità in una fabbrica di mattonelle perfette. Il tuo compito è trovare subito quelle storte, rotte o colorate diversamente (le "anomalie") tra milioni di mattonelle perfette.

Il Problema: Come riconoscere l'errore?

Fino a poco tempo fa, gli ispettori (gli algoritmi) facevano due cose principali:

1. Cercavano di ricostruire l'immagine: Provavano a ridisegnare la mattonella perfetta. Se la ridisegnavano male, pensavano che fosse rotta. Ma a volte, anche se la mattonella era rotta, l'ispettore era così bravo a ridisegnarla che la "aggiustava" mentalmente, perdendo l'errore.
2. Avevano un "Album di Foto": Memorizzavano milioni di foto di mattonelle perfette. Quando arrivava una nuova mattonella, la confrontavano una per una con tutte quelle nell'album per vedere quale assomigliava di più.
   • Il problema: Questo richiede un enorme armadio (memoria) e ci vuole molto tempo per cercare nel catalogo. È lento e pesante.

La Soluzione: Il "Modello Autoregressivo Spaziale"

Gli autori di questo studio (Ertunc Erdil e colleghi) hanno pensato: "E se invece di guardare ogni mattonella da sola o confrontarla con un album, insegnassimo al computer a capire come le mattonelle si parlano tra loro?"

Ecco come funziona la loro idea, passo dopo passo:

1. Gli "Occhi" del Computer (DINOv3)

Prima di tutto, usano un super-intelligente occhio artificiale chiamato DINOv3. Questo occhio non guarda l'immagine come un pixel singolo, ma la divide in piccoli pezzi (chiamati "patch"), come se fosse un mosaico. Per ogni pezzo, crea una descrizione molto ricca che contiene sia i dettagli locali che il contesto globale (come se ogni tessera sapesse cosa c'è intorno).

2. La Regola del "Gioco della Catena" (Modellazione Autoregressiva)

Qui entra in gioco la magia. Invece di guardare tutte le tessere insieme o confrontarle con un album, il computer gioca a un gioco di previsione sequenziale, come leggere un libro da sinistra a destra e dall'alto in basso.

• Immagina che il computer guardi la prima tessera.
• Poi guarda la seconda e si chiede: "Dato quello che ho visto nella prima, cosa mi aspetto di vedere nella seconda?"
• Poi la terza: "Dato che ho visto la prima e la seconda, cosa dovrebbe essere la terza?"

Se il computer si aspetta una tessera "blu" e ne trova una "rossa", BAM! Ha trovato un'anomalia. Non ha bisogno di confrontarla con un album di foto; sa già cosa dovrebbe succedere perché ha imparato le regole di come le tessere si collegano tra loro.

3. Il Trucco della "Lente d'Ingrandimento" (Convoluzioni Dilate)

C'è un piccolo rischio: se il computer guarda solo la tessera vicina, potrebbe dire: "Oh, questa è rossa, ma la tessera accanto è rossa, quindi va bene" (anche se entrambe sono sbagliate). È come guardare solo il naso di una persona per capire se ha la febbre.

Per evitare questo, gli autori hanno aggiunto una lente d'ingrandimento speciale (chiamata convoluzione dilatata). Invece di guardare solo il vicino immediato, il computer guarda un po' più lontano, saltando alcune tessere, per capire il contesto più ampio.

• Metafora: È come se, invece di chiedere al tuo vicino di casa se fa caldo, chiedessi anche al vicino del vicino e a quello del vicino del vicino per capire se c'è un'ondata di calore in tutto il quartiere.

Perché è Geniale? (I Vantaggi)

1. Niente Armadi Giganti: Non devono salvare milioni di foto di "normalità". Imparano le regole del gioco in un modello piccolo e compatto. Risparmiano tantissima memoria.
2. Velocità Lampo: Una volta addestrato, per controllare un'immagine basta un solo "passo" veloce (una sola lettura da sinistra a destra). Non devono cercare nel catalogo. È come passare da un'ispezione manuale di ogni mattonella a un scanner che passa sopra tutto in un secondo.
3. Funziona Bene: Hanno testato questo metodo su immagini mediche (cervelli, fegati, occhi) e ha funzionato benissimo, trovando le anomalie quasi quanto i metodi più complessi, ma molto più velocemente.

In Sintesi

Hanno creato un sistema che non "memorizza" cosa è normale, ma impara la grammatica dello spazio. Capisce che in un cervello sano, certe strutture devono essere in certi posti e collegarsi in certi modi. Se la "grammatica" viene violata (una tessera non si adatta alla storia che le tessere precedenti hanno scritto), il sistema suona l'allarme.

È come avere un detective che non ha bisogno di un archivio di criminali, ma basta che conosca perfettamente come funziona la città per sapere immediatamente quando qualcosa non va.

Sommario tecnico

1. Il Problema

L'obiettivo è la Rilevazione di Anomalie Non Supervisionata (UAD) in immagini mediche, ovvero identificare regioni anomale (es. lesioni) senza utilizzare dati anomali durante l'addestramento.
Le limitazioni degli approcci esistenti basati su modelli fondazionali come DINO (in particolare DINOv2 e DINOv3) includono:

• Ignorare le relazioni spaziali: I metodi attuali trattano gli embedding delle patch come campioni indipendenti, ignorando la struttura bidimensionale e le dipendenze contestuali tra le patch vicine. Si assume erroneamente che l'attenzione self-attention e i codici di posizione all'interno di DINO siano sufficienti a catturare il contesto congiunto.
• Inefficienza computazionale e memoria: Molti metodi (come PatchCore o AnomalyDINO) utilizzano "banche di memoria" (memory banks) o modelli di miscele per memorizzare un gran numero di embedding di addestramento. Durante l'inferenza, richiedono costose ricerche dei vicini più prossimi (nearest-neighbor search), portando a un elevato consumo di memoria e tempi di inferenza lenti, poco adatti a contesti clinici reali.

2. Metodologia Proposta

Gli autori propongono un framework semplice ed efficiente basato su un modello autoregressivo (AR) spaziale applicato direttamente agli embedding delle patch di DINOv3.

• Modellazione della Distribuzione Normativa:

  • Si estraggono gli embedding delle patch da un'immagine sana utilizzando un Vision Transformer pre-addestrato (DINOv3), ottenendo una griglia 2D di feature $F \in \mathbb{R}^{H_p \times W_p \times D}$.
  • Invece di modellare la distribuzione marginale delle feature, si modella la distribuzione congiunta della griglia di embedding utilizzando una fattorizzazione autoregressiva:
    $$p(F) = \prod_{i,j} p(F_{i,j} | F_{<i,j})$$
    dove $F_{<i,j}$ rappresenta le patch precedenti secondo un ordinamento a scansione raster (da sinistra a destra, dall'alto in basso).
  • Ogni distribuzione condizionata è modellata come una Gaussiana isotropa, dove la media $\mu_{i,j}$ è predetta da una rete neurale.

• Architettura CNN Autoregressiva:

  • Per garantire che la previsione di una patch dipenda solo dalle patch precedenti (vincolo AR) permettendo al contempo il calcolo parallelo (evitando la valutazione sequenziale), viene utilizzata una CNN con convoluzioni mascherate (masked convolutions).
  • I pesi della convoluzione vengono mascherati per impedire l'accesso a future posizioni spaziali nella scansione raster.
  • Convoluzioni Dilate: Per mitigare il rischio che il modello impari solo interpolazioni a corto raggio (dato che gli embedding DINO sono già globalmente contestualizzati), vengono introdotte convoluzioni dilate. Questo amplia il campo ricettivo senza aumentare il numero di parametri, permettendo al modello di catturare dipendenze spaziali a lungo raggio.

• Inferenza:

  • Il punteggio di anomalia per ogni patch è calcolato come il negativo del log-verosimiglianza condizionata ($-\log p(F_{i,j} | F_{<i,j})$).
  • L'intera mappa di anomalie è ottenuta in un singolo passaggio in avanti (forward pass) attraverso la rete, eliminando la necessità di memorizzare grandi banche di dati o eseguire ricerche iterative.

3. Contributi Chiave

1. Modellazione Esplicita delle Dipendenze Spaziali: È il primo approccio che applica esplicitamente la modellazione densità congiunta spaziale agli embedding di DINO, sfruttando la struttura a griglia 2D che i metodi precedenti ignoravano.
2. Efficienza Estrema: Sostituisce i costosi meccanismi di ricerca dei vicini (memory banks) con un modello parametrico compatto. Questo riduce drasticamente il consumo di memoria e il tempo di inferenza.
3. Architettura Leggera: L'uso di una CNN autoregressiva con convoluzioni mascherate e dilate permette un addestramento e un'inferenza paralleli ed efficienti.
4. Validazione su Benchmark Medico: Il metodo è stato valutato su BMAD, un benchmark che include tre dataset medici diversi (MRI cerebrale, TC epatica, OCT retinico), dimostrando robustezza su diverse modalità di imaging.

4. Risultati Sperimentali

Il metodo è stato testato su tre dataset: BraTS2021 (MRI cervello), BTCV+LiTs (TC fegato) e RESC (OCT retinico), confrontandolo con stati dell'arte come AnomalyDINO, PatchCore, RD4AD e DPMM.

• Prestazioni di Rilevazione:
  • Su BraTS2021, la variante con convoluzioni dilate raggiunge un AUROC del 98.35% e un AUPR del 72.42%, superando o pareggiando i migliori metodi esistenti (incluso AnomalyDINO v3-S).
  • Su BTCV+LiTs, la variante standard ottiene il miglior AUROC assoluto (97.32%).
  • Su RESC, i risultati sono competitivi, sebbene leggermente inferiori a PatchCore (che però è molto più lento e pesante).
• Efficienza Computazionale:
  • Il metodo proposto è significativamente più veloce: il tempo di inferenza è nell'ordine di 20 ms per immagine, contro i 500-1000 ms di AnomalyDINO o i 60-200 ms di altri metodi basati su feature.
  • Il consumo di memoria GPU è minimo (~0.2 GB) rispetto ai >10 GB richiesti da metodi basati su memory bank o da modelli più grandi.
• Analisi delle Varianti:
  • Le convoluzioni dilate migliorano le prestazioni su MRI cerebrale (dove le correlazioni a lungo raggio sono utili) ma offrono benefici minori o nulli su TC epatica e OCT retinico, dove le strutture locali sono più dominanti.
  • L'uso di un backbone DINOv3 più grande (7B) non porta a guadagni significativi nelle prestazioni, suggerendo che il modello AR è il fattore limitante principale piuttosto che la capacità del backbone.

5. Significato e Impatto

Questo lavoro dimostra che è possibile ottenere prestazioni di rilevazione anomalie di livello state-of-the-art senza la necessità di costose infrastrutture di memoria o tempi di inferenza lenti.

• Impatto Clinico: La riduzione drastica del tempo di inferenza e del consumo di memoria rende la tecnologia immediatamente deployabile in ambienti clinici reali con risorse hardware limitate.
• Paradigma Shift: Sposta il focus dalla semplice estrazione di feature e ricerca di similarità alla modellazione esplicita delle relazioni spaziali strutturate, offrendo un nuovo approccio per l'utilizzo efficiente di modelli fondazionali (Foundation Models) in compiti di visione artificiale medica.
• Riproducibilità: Il codice è stato reso pubblico, facilitando l'adozione e il miglioramento futuro di queste tecniche.

In sintesi, il paper propone una soluzione elegante che combina la ricchezza semantica di DINOv3 con l'efficienza computazionale dei modelli autoregressivi, risolvendo il compromesso tra accuratezza e velocità nella rilevazione di anomalie non supervisionata.