🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

ReFP-AD introduce una riparametrizzazione geometrica tramite un flusso rettificato accoppiato al trasporto ottimale per stabilizzare l'addestramento dei modelli basati sull'energia negli spazi di token ad alta dimensionalità, raggiungendo prestazioni allo stato dell'arte per il rilevamento unificato delle anomalie sui dataset MVTec-AD e VisA.

Autori originali: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Pubblicato 2026-08-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di individuare un falso dipinto in una galleria. Hai passato anni a studiare migliaia di capolavori autentici, quindi sai esattamente come dovrebbero apparire le pennellate, i colori e le texture. Ma non hai mai visto un falso. Il tuo compito è entrare in una stanza piena di nuovi dipinti e indicare istantaneamente quello che non c'entra nulla. Questa è la sfida dell' "anomaly detection" (rilevamento delle anomalie) nel mondo dell'intelligenza artificiale. L'IA deve imparare cosa significa "normale" senza essergli mai stato mostrato un esempio "cattivo".

Per fare questo, i moderni modelli di IA utilizzano spesso i "foundation models" (modelli di base), che sono come cervelli super intelligenti addestrati su tutto internet. Questi modelli scompongono le immagini in piccoli pezzi chiamati "token" e le trasformano in lunghe liste di numeri (embedding) che catturano il significato dell'immagine. Tuttavia, queste liste di numeri sono disordinate. Sono come un gomitolo di lana aggrovigliato dove alcuni fili sono tesi e altri sono lusi, e sono tutti annodati insieme in modi complicati. Se provi a usare queste liste disordinate per misurare matematicamente quanto sia "strana" una nuova immagine, la matematica si confonde e diventa instabile. È come cercare di camminare su una fune senza funi mentre la corda continua a torcersi sotto i tuoi piedi. Questo articolo affronta proprio questo problema: come raddrizzare quella corda aggrovigliata in modo che l'IA possa individuare i falsi in modo affidabile.

Il Problema della Corda Aggrovigliata

I ricercatori dietro questo articolo, Camile Lendering e il suo team dell'Università di Tecnologia di Eindhoven, hanno notato un glitch frustrante nel modo in cui l'IA rileva le anomalie. Utilizzavano un potente tipo di matematica chiamata Energy-Based Models (EBM - Modelli basati sull'energia). Pensa a un EBM come a un paesaggio di colline e valli. Le immagini "normali" (come un componente di fabbrica perfetto o una foglia sana) si trovano comodamente in valli profonde e lisce. Le "anomalie" (come un graffio o un difetto) dovrebbero trovarsi in alto, sulle vette frastagliate.

Il problema è che l'IA cercava di esplorare questo paesaggio usando un metodo chiamato "dinamica di Langevin", che è essenzialmente una passeggiata casuale per trovare il punto più basso. Ma poiché i dati provenivano da quei modelli di base disordinati e aggrovigliati, il paesaggio non era una valle liscia; era un incubo torcente e anisotropo (allungato in una direzione). La passeggiata casuale rimaneva bloccata, rimbalzava contro le pareti o sfuggiva al controllo. Era come cercare di far rotolare una biglia lungo uno scivolo che era stato accartocciato in una pallina. I tentativi precedenti di risolvere il problema consistevano nel schiacciare i dati in una forma più piccola e semplice, ma questo eliminava troppi dettagli, rendendo l'IA cieca di fronte ai difetti sottili.

La Soluzione per Raddrizzare: ReFP-AD

Il team ha proposto un trucco intelligente chiamato ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection). Invece di cercare di costringere i dati disordinati a comportarsi, hanno costruito un "raddrizzatore geometrico".

Immagina di avere un pezzo di carta stropicciato con sopra un disegno. Se provi a misurare il disegno mentre è accartocciato, il tuo righello darà risposte errate. ReFP-AD è come una macchina magica che distende delicatamente la carta, stendendola perfettamente piatta senza strappare il disegno o perdere l'inchiostro. In termini tecnici, utilizzano un "rectified flow" (un tipo di mappa matematica) per trasformare le liste di token disordinate e ad alta dimensionalità in uno spazio latente pulito e ben organizzato.

In questo nuovo spazio "raddrizzato", le "colline e le valli" del paesaggio delle anomalie diventano lisce e prevedibili. Ora, quando l'IA compie la sua passeggiata casuale per trovare il punto più basso (il dato normale), scivola dolcemente invece di rimanere bloccata. Ciò consente all'IA di utilizzare tutto il ricco dettaglio del modello di base originale senza doverlo rimpicciolire in una versione meno accurata.

Cosa hanno scoperto

I risultati sono stati impressionanti. Il team ha testato il loro metodo su due importanti dataset industriali: MVTec-AD (con 15 categorie di oggetti) e VisA (con 12 categorie). Hanno utilizzato un protocollo "unificato" rigoroso, il che significa che hanno addestrato un singolo modello di IA per gestire tutti questi diversi oggetti contemporaneamente, invece di addestrare un modello separato per ciascuno.

Sul dataset MVTec-AD, ReFP-AD ha ottenuto un AUROC dell'immagine del 98,6% e un AUROC dei pixel del 97,9%.
Sul dataset VisA, ha ottenuto il 97,3% per le immagini e il 99,0% per i pixel.

Per mettere le cose in prospettiva, i precedenti modelli unificati che cercavano di fare questo senza il trucco del "raddrizzamento" incontravano difficoltà significative. L'articolo nota che ReFP-AD ha superato i migliori modelli basati sull'energia precedenti di ben +10,8% nell'accuratezza della rilevazione dell'immagine.

I ricercatori hanno condotto diversi esperimenti per dimostrare che la loro idea era la chiave. Quando hanno rimosso il passaggio di "raddrizzamento" e hanno provato ad addestrare l'IA sui dati grezzi e disordinati, le prestazioni sono crollate (scendendo all'87,0% su VisA). Hanno anche scoperto che, poiché lo spazio era ora così ben organizzato, l'IA non aveva bisogno di centinaia di passaggi per trovare la risposta; aveva solo bisogno di circa 20 passaggi per ottenere il risultato corretto, mentre prima avrebbe avuto bisogno di molti più passaggi o sarebbe fallita del tutto.

Perché è importante

Questo articolo suggerisce che il collo di bottiglia nel rendere l'IA più intelligente nel rilevare i difetti non riguarda la costruzione di cervelli più grandi o modelli più complessi. Si tratta di come si preparano i dati affinché quei modelli possano pensare. Correggendo prima la geometria dei dati, i ricercatori hanno sbloccato il pieno potenziale degli esistenti modelli di base.

Sebbene il metodo sia attualmente un po' più lento di alcuni rilevatori più semplici perché deve eseguire questa matematica di "raddrizzamento" prima di prendere una decisione, dimostra che possiamo costruire un'unica IA unificata che sia incredibilmente brava a individuare i difetti in molti diversi tipi di oggetti. È un passo verso un futuro in cui un unico detective intelligente può pattugliare un'intera fabbrica, individuando un graffio su un ingranaggio metallico e un strappo in un rotolo di tessuto con lo stesso alto livello di precisione, il tutto senza aver mai bisogno di vedere un esempio rotto per imparare cosa significhi "rotto".

Riepilogo Tecnico: ReFP-AD

Problema

Il rilevamento visivo delle anomalie (VAD) mira a identificare deviazioni da una distribuzione di dati normali senza avere accesso ad esempi anomali durante l'addestramento. Nel setting unificato, un singolo modello deve generalizzare su diverse categorie di oggetti, texture e variazioni di aspetto. Sebbene i modelli di fondazione come DINOv2 forniscano rappresentazioni di token ricche e ad alta dimensionalità (ad esempio, vettori a 1536 dimensioni) che organizzano i dati visivi in varietà semanticamente strutturate, sfruttare questi spazi per la stima esplicita della densità rimane problematico.

I Modelli Basati sull'Energia (EBM) offrono un framework rigoroso per tali compiti, assegnando uno scalare energia $E(x)$ agli input, dove le anomalie corrispondono a stati ad alta energia. Tuttavia, l'addestramento degli EBM in spazi di token ad alta dimensionalità è notoriamente instabile. Questa instabilità è identificata come fondamentalmente geometrica piuttosto che architettonica:

Anisotropia e Correlazione: Le distribuzioni dei token dei Transformer sono altamente anisotrope e presentano forti correlazioni cross-dimensionali.
Discrepanza Metrica: La dinamica di Langevin standard (usata per il campionamento di esempi negativi) assume una metrica euclidea isotropa con rumore isotropo. La discrepanza tra questa ipotesi e la geometria reale dei token porta a traiettorie mal condizionate.
Instabilità del Campionamento: Sotto il campionamento MCMC a passi finiti (ad esempio, la Divergenza Contrastiva Persistente), questa discrepanza geometrica causa un mixing lento, traiettorie oscillatorie a "zig-zag" e fasi negative instabili, costringendo spesso i metodi precedenti a comprimere le rappresentazioni in colli di bottiglia a bassa dimensionalità per stabilizzare l'addestramento.

Metodologia: ReFP-AD

Gli autori propongono ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection), un framework che disaccoppia la geometria della rappresentazione dalla stima della densità. Invece di modificare il modello di energia o comprimere le feature, ReFP-AD apprende una riparametrizzazione geometrica per precondizionare lo spazio di campionamento.

1. Rappresentazione Unificata dei Token

Il metodo utilizza un backbone DINOv2 ViT congelato per estrarre i token dei patch. Per gestire le disparità di scala tra le categorie in un setting unificato, i token vengono standardizzati tramite Z-score per categoria utilizzando le statistiche dei dati di addestramento normali. Questo funge da passaggio di pre-elaborazione affine fisso prima dell'applicazione dei modelli unificati.

2. Precondizionamento Geometrico tramite Optimal Transport Flow

L'innovazione principale consiste nell'apprendere una mappa di trasporto che rimodella la distribuzione anisotropa dei token in uno spazio latente ben condizionato e approssimativamente isotropo.

Rectified Flow: Una mappa di trasporto a tempo continuo è parametrizzata da una rete neurale $v_\theta(t, x_t)$ , definita da un'equazione differenziale ordinaria (ODE).
Accoppiamento OT: I token sorgente $z$ e le variabili gaussiane isotrope target $u \sim \mathcal{N}(0, \tau^2 I)$ sono accoppiati tramite un accoppiamento di Optimal Transport (OT) entropico, calcolato mediante iterazioni Sinkhorn stabili nel dominio logaritmico.
Obiettivo di Addestramento: Il flow viene addestrato per minimizzare la perdita di matching tra la velocità predetta dalla rete e il vettore di interpolazione lineare $(u-z)$ .
Validazione: I checkpoint sono selezionati in base a diagnostiche di SGLD-fitness (condizionamento, correlazione residua e stabilità della coda) calcolate su un sottospazio proiettato, garantendo che la mappa di trasporto migliori specificamente il comportamento MCMC a passi finiti senza far collassare la topologia della varietà.

3. EBM Senza Vincoli con SGLD Precondizionato

Una volta che i token sono trasportati nello spazio latente $u$ , viene addestrato un Modello Basato sull'Energia non vincolato (un MLP residuo).

Addestramento: Il modello utilizza la Divergenza Contrastiva Persistente (PCD). Gli esempi negativi vengono aggiornati utilizzando la Stochastic Gradient Langevin Dynamics precondizionata (pSGLD). Il precondizionatore $M_k$ è calcolato da una media mobile dei gradienti al quadrato (stile RMSProp), adattandosi alla geometria locale del paesaggio energetico appreso.
Funzione di Perdita: L'obiettivo minimizza l'energia dei campioni positivi mentre la massimizza per i campioni negativi, con termini di regolarizzazione per l'ampiezza dell'energia e la fluidità del gradiente.

4. Scoring delle Anomalie

Durante l'inferenza, gli score delle anomalie sono derivati direttamente dal paesaggio energetico appreso. Lo score per un patch è la norma del gradiente $\|\nabla_u E_\phi(u)\|_2$ , che rappresenta l'entità della "forza di ripristino" necessaria per spostare il campione verso la varietà normale. Questi score dei patch vengono sovracampionati (upsampled) e smussati per generare mappe di anomalia a livello di pixel.

Contributi Chiave

Diagnosi Geometrica: Il paper identifica che l'instabilità degli EBM nei token-space unificati deriva dalla violazione delle assunzioni della metrica euclidea da parte delle distribuzioni anisotrope dei token di fondazione, piuttosto che dai limiti di capacità del modello.
Riparametrizzazione Geometrica: ReFP-AD introduce una nuova strategia utilizzando un rectified flow accoppiato con OT per mappare gli high-dimensional vision tokens in uno spazio latente isotropo. Ciò consente un campionamento MCMC stabile a passi finiti senza colli di bottiglia architettonici o riduzione della dimensionalità.
Valutazione Unificata: Il metodo è valutato sotto un rigoroso protocollo unificato (singolo flow e EBM condivisi per tutte le categorie) su MVTec-AD e VisA, dimostrando che la stima esplicita della densità può superare i baselines basati sulla ricostruzione o sulla similarità.

Risultati Sperimentali

Il metodo è stato valutato sui dataset MVTec-AD (15 categorie) e VisA (12 categorie).

Performance: ReFP-AD raggiunge risultati allo stato dell'arte tra i detector basati sulla densità:
- MVTec-AD: 98.6% Image AUROC / 97.9% Pixel AUROC.
- VisA: 97.3% Image AUROC / 99.0% Pixel AUROC.
Confronto: Supera i precedenti baselines EBM unificati (es. MPDR) fino a +10.8% in Image AUROC su VisA. Supera anche i principali metodi basati su normalizing flow (HGAD) su MVTec-AD.
Insight dalle Ablation:
- Necessità del Precondizionamento: Rimuovere il rectified flow causa un calo significativo delle prestazioni (ad esempio, l'Image AUROC di VisA scende dal 97.3% all'87.0%), confermando che i raw token spaces non sono adatti per la dinamica di Langevin a passi finiti.
- Efficienza di Campionamento: Lo spazio precondizionato permette un mixing MCMC rapido. Si ottiene una performance stabile con soli 20 passi SGLD, mentre la SGLD standard nello spazio grezzo fallisce nel mixare efficacemente.
- Unificato vs Per-Categoria: Il modello unificato segue i modelli dedicati per categoria di soli 0.4–0.6%, dimostrando la fattibilità di un singolo modello per dati eterogenei.

Significato e Claim

Il paper sostiene che la barriera principale alla scalabilità degli Energy-Based Models alle rappresentazioni di fondazione sia la geometria del campionamento, non la capacità del modello. Affrontando la discrepanza geometrica attraverso una mappa di trasporto appresa, ReFP-AD consente:

Addestramento ad Alta Dimensionalità Stabile: Gli EBM possono essere addestrati direttamente su rappresentazioni di token dense e ad alta dimensionalità (1536-D) senza farle collassare in colli di bottiglia a bassa dimensionalità.
Preservazione della Semantica: A differenza dei metodi che comprimono le feature, ReFP-AD preserva le ricche informazioni strutturate dei token necessarie per una localizzazione accurata e una modellazione multi-classe.
Principio Generale: Il lavoro suggerisce un paradigma generale per la modellazione basata sull'energia: prima si condiziona la geometria della rappresentazione, poi si apprende l'energia.

Gli autori riconoscono che, sebbene il metodo migliori la robustezza del rilevamento, il requisito dell'integrazione ODE (solver RK4 a 10 passi) e della valutazione del gradiente aumenta la latenza di inferenza rispetto ai detector feed-forward o basati su k-NN, rendendolo più adatto all'ispezione offline o a scenari in cui il modeling unificato prevale sui vincoli di tempo reale stretti.