🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

ReFP-AD introduceert een geometrische herparametrisatie via optimal transport-gekoppelde rectified flow om de training van Energy-Based Models in hoogdimensionale tokenruimtes te stabiliseren, waarmee het een state-of-the-art uniforme prestatie voor anomaliedetectie bereikt op de MVTec-AD en VisA datasets.

Oorspronkelijke auteurs: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die probeert een nep schilderij op te sporen in een galerie. Je hebt jarenlang duizenden echte meesterwerken bestudeerd, dus je weet precies hoe de penseelstreken, kleuren en texturen zouden moeten zijn. Maar je hebt nog nooit een vervalsing gezien. Je taak is om een kamer vol nieuwe schilderijen binnen te lopen en direct aan te wijzen welke er niet thuishoort. Dit is de uitdaging van "anomaliedetectie" in de wereld van kunstmatige intelligentie. De AI moet leren hoe "normaal" eruit ziet zonder ooit een "slecht" voorbeeld te hebben gezien.

Om dit te doen, gebruiken moderne AI vaak "foundation models" (fundamentele modellen), die als superintelligente breinen zijn getraind op het hele internet. Deze modellen breken afbeeldingen af in piepkleine stukjes die "tokens" worden genoemd en zetten ze om in lange lijsten met getallen (embeddings) die de betekenis van de afbeelding vastleggen. Echter, deze lijsten met getallen zijn rommelig. Ze zijn als een verwarde bol wol waarbij sommige draden strak gespannen zijn en andere loshangen, en ze zijn allemaal op ingewikkelde manieren met elkaar verknoopt. Als je probeert deze rommelige lijsten met getallen wiskundig te meten om te bepalen hoe "vreemd" een nieuwe afbeelding is, raakt de wiskunde in de war en wordt deze instabiel. Het is alsof je over een koord loopt terwijl het koord constant onder je voeten draait en wringt. Dit artikel pakt dat specifieke probleem aan: hoe je dat verwarde koord recht kunt trekken zodat de AI betrouwbaar vervalsingen kan opsporen.

Het Probleem van het Verwarde Koord

De onderzoekers achter dit artikel, Camile Lendering en haar team van de Eindhoven University of Technology, merkten een frustrerende fout op in de manier waarop AI anomalieën detecteert. Ze gebruikten een krachtig type wiskunde genaamd Energy-Based Models (EBMs). Denk aan een EBM als een landschap van heuvels en dalen. "Normale" afbeeldingen (zoals een perfect fabrieksonderdeel of een gezond blad) bevinden zich comfortabel in diepe, gladde dalen. "Anomalieën" (zoals een kras of een defect) horen hoog op de grillige pieken te zitten.

Het probleem is dat de AI dit landschap probeert te verkennen met een methode genaamd "Langevin dynamics", wat in feits een willekeurige wandeling (random walk) is om het laagste punt te vinden. Maar omdat de data afkomstig was van die rommelige, verwarde foundation models, was het landschap geen glad dal; het was een gedraaid, anisotroop (in één richting uitgerekt) nachtmerrie-landschap. De willekeurige wandeling zou vastlopen, tegen muren aanbotsen of volledig uit de hand lopen. Het was alsof je een knikker probeerde te rollen over een glijbaan die in een bal was gekreukeld. Eerdere pogingen om dit op te lossen bestonden uit het samendrukken van de data naar een kleinere, eenvoudigere vorm, maar dat gooide te veel details weg, waardoor de AI blind werd voor subtiele defecten.

De Oplossing van het Rechtzetten: ReFP-AD

Het team stelde een slimme nieuwe truc voor genaamd ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection). In plaats van te proberen de rommelige data te dwingen zich te gedragen, bouwden ze een "geometrische rechtzetter".

Stel je voor dat je een gekreukeld stuk papier hebt met een tekening erop. Als je de tekening probeert te meten terwijl het papier gekreukeld is, geeft je liniaal foutieve antwoorden. ReFP-AD is als een magische machine die het gekreukelde papier voorzichtig gladstrijkt, het perfect plat uitrolt zonder de tekening te scheuren of de inkt te verliezen. In technische termen gebruiken ze een "rectified flow" (een type wiskundige kaart) om de rommelige, hoog-dimensionale tokenlijsten te transformen naar een schone, goed georganiseerde "latente ruimte".

In deze nieuwe, rechtgetrokken ruimte worden de "heuvels en dalen" van het anomalie-landschap glad en voorspelbaar. Nu kan de AI zijn willekeurige wandeling maken om het laagste punt (de normale data) te vinden, en glijdt hij soepel voort in plaats van vast te lopen. Dit stelt de AI in staat om de volledige, rijke details van het oorspronkelijke foundation model te gebruiken, zonder dat hij het hoeft te verkleinen tot een kleinere, minder nauwkeurige versie.

Wat Ze Vonden

De resultaten waren indrukwekkend. Het team testte hun methode op twee belangrijke industriële datasets: MVTec-AD (met 15 categorieën objecten) en VisA (met 12 categorieën). Ze gebruikten een strikt "unified" (verenigd) protocol, wat betekent dat ze slechts één enkel AI-model trainden om al deze verschillende objecten tegelijkertijd te verwerken, in plaats van een apart model voor elk object te trainen.

Op de MVTec-AD dataset behaalde ReFP-AD een Image AUROC van 98,6% en een Pixel AUROC van 97,9%.
Op de VisA dataset scoorde het 97,3% voor afbeeldingen en 99,0% voor pixels.

Om dit in perspectief te plaatsen: eerdere unified modellen die dit probeerden te doen zonder de "rechtzet"-truc, hadden aanzienlijke problemen. Het artikel merkt op dat ReFP-AD de beste eerdere Energy-Based Model baselines met maar liefst +10,8% versloeg in de nauwkeurigheid van beelddetectie.

De onderzoekers voerden verschillende experimenten uit om te bewijzen dat hun idee de sleutel was. Wanneer ze de "rechtzet"-stap verwijderden en probeerden de AI te trainen op de ruwe, rommelige data, stortte de prestatie in (dalend naar 87,0% op VisA). Ze ontdekten ook dat omdat de ruimte nu zo goed georganiseerd was, de AI niet honderden stappen nodig had om het antwoord te vinden; het had slechts ongeveer 20 stappen nodig om het goed te doen, terwijl het daarvoor veel meer stappen nodig zou hebben gehad of zelfs helemaal zou falen.

Waarom Het Er Toe Doet

Dit artikel suggereert dat de flessenhals bij het slimmer maken van AI voor het opsporen van defecten niet ligt in het bouwen van grotere breinen of complexere modellen. Het gaat erom hoe we de data voorbereiden zodat die modellen kunnen denken. Door eerst de geometrie van de data te herstellen, hebben de onderzoekers het volledige potentieel van bestaande foundation models ontsloten.

Hoewel de methode momenteel iets langzamer is dan sommige simpelere detectoren omdat het deze "rechtzet"-wiskunde moet uitvoeren voordat het een beslissing neemt, bewijst het dat we één enkele, unified AI kunnen bouwen die ongelooflijk goed is in het opsporen van defecten bij veel verschillende soorten objecten. Het is een stap naar een toekomst waarin één slimme detective een hele fabriek kan patrouilleren en met dezelfde hoge mate van nauwkeurigheid een kras op een metalen tandwiel en een scheur in een rol stof kan opsporen, zonder ooit een kapot voorbeeld te hebben gezien om te leren wat "kapot" is.

Technische Samenvatting: ReFP-AD

Probleemstelling

Visuele anomaliedetectie (VAD) beoogt afwijkingen te identificeren van een distributie van normale data zonder toegang tot anomalieën tijdens de training. In de unificerende setting moet één enkel model generaliseren over diverse objectcategorieën, texturen en variaties in uiterlijk. Hoewel foundation models zoals DINOv2 rijke, hoogdimensionale token-representaties bieden (bijv. 1536-dimensionale vectoren) die visuele data organiseren in semantisch gestructureerde manifolds, blijft het benutten van deze ruimtes voor expliciete dichtheidschatting uitdagend.

Energy-Based Models (EBMs) bieden een principieel kader voor dergelijke taken door een scalaire energie $E(x)$ toe te kennen aan inputs, waarbij anomalieën overeenkomen met toestanden van hoge energie. Het trainen van EBMs in hoogdimensionale token-ruimtes is echter berucht instabiel. Deze instabiliteit is geïdentificeerd als fundamenteel geometrisch in plaats van architecturaal:

Anisotropie en Correlatie: De distributies van Transformer-tokens zijn sterk anisotroop en vertonen sterke cross-dimensionale correlaties.
Metrische Mismatch: Standaard Langevin-dynamica (gebruikt voor het samplen van negatieve voorbeelden) gaat uit van een isotrope Euclidische metriek met isotrope ruis. De mismatch tussen deze aanname en de werkelijke token-geometrie leidt tot slecht geconditioneerde trajecten.
Sampling Instabiliteit: Onder invloed van eindige-stap Markov Chain Monte Carlo (MCMC) sampling (bijv. Persistent Contrastive Divergence), veroorzaakt deze geometrische mismatch een trage menging, oscillerende "zig-zag" trajecten en instabiele negatieve fasen, wat voorheen gebruikte methoden ertoe dwong om representaties te comprimeren naar laagdimensionale bottlenecks om de training te stabiliseren.

Methodologie: ReFP-AD

De auteurs stellen ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection) voor, een framework dat de geometrie van de representatie ontkoppelt van de dichtheidschatting. In plaats van het energiemodel te wijzigen of de features te comprimeren, leert ReFP-AD een geometrische herparameterisering om de sampling-ruimte te preconditioneren.

1. Unificerende Token-representatie

De methode maakt gebruik van een bevroren DINOv2 ViT-backbone om patch-tokens te extraheren. Om schaalverschillen tussen categorieën in een unificerende setting op te vangen, worden tokens per categorie Z-score genormaliseerd met behulp van statistieken uit de normale trainingsdata. Dit dient als een vaste affine pre-processing stap voordat de unificerende modellen worden toegepast.

2. Geometrische Preconditioning via Optimal Transport Flow

De kerninnovatie is het leren van een transportmap die de anisotrope token-distributie vormgeeft naar een goed geconditioneerde, ongeveer isotrope latente ruimte.

Rectified Flow: Een continue-tijd transportmap wordt geparametriseerd door een neuraal netwerk $v_\theta(t, x_t)$ , gedefinieerd door een Ordinary Differential Equation (ODE).
OT-Coupling: Bron-tokens $z$ en doel-isotrope Gaussische variabelen $u \sim \mathcal{N}(0, \tau^2 I)$ worden gekoppeld via een entropische Optimal Transport (OT) koppeling, berekend met behulp van stabiele log-domein Sinkhorn-iteraties.
Trainingsdoel: De flow wordt getraind om de matching loss te minimaliseren tussen de voorspelde snelheid van het netwerk en de lineaire interpolatievector $(u-z)$ .
Validatie: Checkpoints worden geselecteerd op basis van SGLD-fitness diagnostiek (conditionering, residuele correlatie en staartstabiliteit) berekend op een geprojecteerde subspace, wat ervoor zorgt dat de transportmap specif gezien de eindige-stap MCMC-prestaties verbetert zonder de manifold-topologie te laten instorten.

3. Onbeperkte EBM met Preconditioned SGLD

Zodra de tokens naar de latente ruimte $u$ zijn getransporteerd, wordt een onbeperkt Energy-Based Model (een residual MLP) getraind.

Training: Het model gebruikt Persistent Contrastive Divergence (PCD). Negatieve samples worden bijgewerkt met behulp van Preconditioned Stochastic Gradient Langevin Dynamics (pSGLD). De preconditioner $M_k$ wordt berekend vanuit een voortschrijdend gemiddelde van gekwadrateerde gradiënten (RMSProp-stijl), die zich aanpast aan de lokale geometrie van het geleerde energielandschap.
Loss Functie: Het doel is om de energie van positieve samples te minimaliseren terwijl de energie voor negatieve samples wordt gemaximaliseerd, met regularisatietermen voor energiegrootte en gradiëntgladheid.

4. Anomalie Score

Tijdens de inferentie worden anomalie-scores direct afgeleid van het geleerde energielandschap. De score voor een patch is de gradiëntnorm $\|\nabla_u E_\phi(u)\|_2$ , die de grootte van de "herstellende kracht" vertegenwoordigt die nodig is om de sample naar de normale manifold te bewegen. Deze patch-scores worden upsampled en gladgestreken om pixel-niveau anomaliekaarten te genereren.

Belangrijkste Bijdragen

Geometrische Diagnose: Het paper identificeert dat de instabiliteit van unificerende token-ruimte EBMs voortkomt uit de schending van de Euclidische metriek-aannames door anisotrope foundation token-distributies, in plaats van beperkingen in modelcapaciteit.
Geometrische Herparameterisering: ReFP-AD introduceert een nieuwe strategie met behulp van OT-gekoppelde rectified flow om hoogdimensionale vision tokens te mappen naar een isotrope latente ruimte. Dit maakt stabiele, eindige-stap MCMC sampling mogelijk zonder architecturale bottlenecks of dimensionaliteitsreductie.
Unificerende Evaluatie: De methode wordt geëvalueerd onder een strikt unificerend protocol (één gedeelde flow en EBM voor alle categorieën) op de MVTec-AD en VisA datasets, waarbij wordt aangetoond dat expliciete dichtheidschatting kan presteren boven reconstructie-gebaseerde en gelijkenis-gebaseerde baselines wanneer de geometrie correct is geconditioneerd.

Experimentele Resultaten

De methode is geëvalueerd op de MVTec-AD (15 categorieën) en VisA (12 categorieën) datasets.

Prestaties: ReFP-AD bereikt state-of-the-art resultaten onder de dichtheidsgebaseerde detectoren:
- MVTec-AD: 98,6% Image AUROC / 97,9% Pixel AUROC.
- VisA: 97,3% Image AUROC / 99,0% Pixel AUROC.
Vergelijking: Het presteert beter dan eerdere unificerende EBM baselines (bijv. MPDR) met tot +10,8% in Image AUROC op VisA. Het overtreft ook leidende normalizing flow-gebaseerde methoden (HGAD) op MVTec-AD.
Ablatie Inzichten:
- Noodzaak van Preconditioning: Het verwijderen van de rectified flow veroorzaakt een significante daling in prestaties (bijv. VisA Image AUROC daalt van 97,3% naar 87,0%), wat bevestigt dat ruwe token-ruimtes ongeschikt zijn voor eindige-stap Langevin-dynamica.
- Sampling Efficiëntie: De geconditioneerde ruimte maakt snelle MCMC menging mogelijk. Stabiele prestaties worden bereikt met slechts 20 SGLD stappen, terwijl standaard SGLD in de ruwe ruimte niet effectief mixt.
- Unificerend vs. Per-Categorie: Het unificerende model volgt de specifieke per-categorie modellen slechts met 0,4–0,6%, wat de haalbaarheid aantoont van een enkel model voor heterogene data.

Betekenis en Claims

Het paper claimt dat de primaire barrière voor het schalen van Energy-Based Models naar foundation representaties de sampling-geometrie is, en niet de modelcapaciteit. Door de geometrische mismatch aan te pakken via een geleerde transportmap, maakt ReFP-AD het volgende mogelijk:

Stabiele Hoogdimensionale Training: EBMs kunnen direct worden getraind op dichte, hoogdimensionale token-representaties (1536-D) zonder ze te laten imploderen naar laagdimensionale bottlenecks.
Behoud van Semantiek: In tegenstelling tot methoden die features comprimeren, behoudt ReFP-AD de rijke, gestructureerde token-informatie die nodig is voor nauwkeurige lokalisatie en multi-class modellering.
Algemeen Principe: Het werk suggereert een algemeen paradigma voor energy-based modellering: conditioneer eerst de geometrie van de representatie, en leer dan de energie.

De auteurs erkennen dat hoewel de methode de robuustheid van detectie verbetert, de vereiste voor ODE-integratie (10-staps RK4 solver) en gradiëntevaluatie de inferentie-latentie verhoogt ten opzichte van feed-forward of k-NN gebaseerde detectoren, waardoor het beter geschikt is voor offline inspectie of scenario's waarin unificerende modellering zwaarder weegt dan strikte real-time beperkingen.