💻 computer science

Multi-view Patch Inference with Frozen DINOv3 for Industrial Anomaly Detection

Dit artikel stelt een raamwerk voor voor industriële anomaliedetectie dat een bevroren DINOv3-backbone combineert met een Multi-view Patch Inference-strategie om verlies van randinformatie te overwinnen en een Multi-scale Reconstruction Fusion Transformer om normale featureverdelingen te modelleren, waarmee state-of-the-art prestaties wordt behaald op meerdere benchmark-datasets.

Oorspronkelijke auteurs: Chaoqun Wang, Wenjing Zhang, Bo Qi, Xiaoyu Huang, Ning He

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chaoqun Wang, Wenjing Zhang, Bo Qi, Xiaoyu Huang, Ning He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kwaliteitsinspecteur bent in een fabriek, maar in plaats van met je ogen naar een lopende band te kijken, gebruik je een superintelligent robotbrein om minuscule krasjes, barsten of vreemde bultjes te ontdekken op producten zoals schroeven, chips en stof. Het doel is om deze "anomalieën" (defecten) te vinden zonder dat de robot eerst een miljoen foto's van kapotte dingen hoeft te zien.

Lama tijd waren de beste robotbreinen (genaamd Vision Transformers) erg goed, maar ze hadden een lastig blinde vlek. Stel je voor dat de robot naar een afbeelding kijkt door deze op te hakken in een raster van vierkante tegels, zoals een kruiswoordpuzzel. Als een klein krasje toevallig precies op de lijn ligt waar twee tegels elkaar raken, kan de robot het volledig missen omdat hij probeert het "gehele plaatje" van elke vierkant apart te begrijpen. Het is alsoer dat je een barst in een stoep probeert te spotten door alleen naar het midden van elke baksteen te kijken; als de barst op de rand zit, loop je er misschien zo aan voorbij.

Het Grote Idee: De "Overlappende Blik"
De auteurs van dit paper, onder leiding van Chaoqun Wang en zijn team, besloten deze blinde vlek te verhelpen met een slimme truc die ze Multi-view Patch Inference (MVPI) noemen.

In plaats van de afbeelding op te hakken in één net raster, laten ze de robot naar dezelfde afbeelding kijken, maar telkens verschuift ze het raster een klein beetje. Het is alsof je een foto maakt van een schilderij, en dan nog een foto maakt waarbij je een klein stapje naar links bent gegaan, en nog een waarbij je een klein stapje naar rechts bent gegaan. Nu zit die kleine kras op de rand van een tegel in de eerste weergave veilig in het midden van een tegel in de tweede weergave. De robot bekijkt al deze overlappende weergaven en combineert de bevindingen. Op deze manier komt een defect nooit meer vast te zitten op een "blinde vlek"-lijn.

Het "Geheugenvrije" Brein
Normaal gesproken moeten deze robots een enorme bibliotheek van "normale" afbeeldingen (een geheugenbank) bij zich dragen om te vergelijken met wat ze zien. Dit is zwaar en traag. De auteurs stellen dat je zo's zware bibliotheek niet nodig hebt. In plaats daarvan gebruiken ze een bevroren, vooraf getraind brein genaamd DINOv3. Denk aan DINOv3 als een genie in de kunst die al miljarden afbeeldingen heeft gezien en weet hoe "normaal" eruitziet zonder een fysiek fotoalbum bij zich te hoeven dragen.

Ze bevriezen dit brein (zodat het geen nieuwe dingen leert en niet in de war raakt) en gebruiken het enkel om kenmerken (features) te extraheren. Vervolgens gebruiken ze een lichtgewicht hulpmiddel genaamd de Multi-scale Reconstruction Fusion Transformer (MRFT). Dit hulpmiddel probeert de "normale" versie van de afbeelding te reconstrueren op basis van wat het genie-brein zag. Als de robot probeert een beeld van een perfecte schroef te reconstrueren, maar de echte afbeelding heeft een krasje, dan zal de reconstructie op die plek wazig of foutief zijn. Hoe groter het verschil tussen de "perfecte" reconstructie en de "echte" afbeelding, hoe groter de kans op een defect.

Wat Ze Vonden (en Wat Ze Niet Vonden)
Het team testte dit idee op drie verschillende sets industriële afbeeldingen:

MVTec AD: Een standaard testset met 15 categorieën zoals flessen, kabels en leer.
BTAD: Een set met real-world fabrieksruis en verlichtingsproblemen.
UltraChip: Een supermoeilijke set met microscopische defecten op halfgeleiderchips, waarbij de achtergrond zeer ruisig is.

De Resultaten:

Op de UltraChip-dataset: Hun methode behaalde een gemiddelde Image-AUC van 81,9%. Dit is een score die meet hoe goed de robot een goede chip van een slechte kan onderscheiden. Ze stelden vast dat dit beter was dan andere topmethoden zoals URD en SuperSimpleNet.
Op de MVec AD-dataset: Ze scoorden 99,5% voor detectie op beeldniveau en 99,2% voor detectie op pixelniveau (het exact aanwijzen waar het defect zit). Hiermee versloegen ze andere sterke tegenhangers zoals Dinomaly en Subspace.
Op de BTAD-dataset: Ze behielden een consistent voordeel met een gemiddelde Image-AUC van 97,3%.

Wat Ze Expliciet Uitsloten
Het paper spreekt zich uit tegen het gebruik van zware, complexe geheugenbanken die duizenden afbeeldingkenmerken opslaan, waarbij wordt opgemerkt dat deze duur en traag zijn. Ze spreken zich ook tegen het vertrouwen op een enkel raster van tegels, door aan te tonen dat deze methode defecten op grenzen mist. Ze gokten niet alleen; ze hebben het gemeten. Zo lieten ze bijvoorbeeld zien dat het gebruik van een enkel raster op de "schroef"-categorie hun score verlaagde, terwijl het gebruik van hun overlappende weergaven de score juist een boost gaf.

Hoe Zeker Zijn Ze?
De auteurs zijn behoorlijk zelfverzekerd over deze cijfers omdat ze hun methode hebben getest op echte benchmark-datasets, en niet alleen op gefingeerde simulaties. Ze merken op dat hoewel hun methode "lichtgewicht" is vergeleken met anderen, het gebruik van het gigantische DINOv3-brein nog steeds enige rekenkracht vereist, waardoor het niet direct (instant) gaat. Interessant genoeg merkt het paper op dat hun methode veelbelovend zero-shot generalisatiegedrag vertoont op de UltraChip-dataset, wat suggereert dat multi-view feature aggregatie met frozen vision transformers impliciet overdraagbare normaliteitsprioriteiten kan vastleggen. De auteurs verduidelijken echter voorzichtig dat hun huidige framework nog steeds opereert onder een conventioneel single-class trainingsparadigma, wat betekent dat het momenteel aparte modellen voor verschillende productcategorieën vereist in plaats van een echt zero-shot systeem uit de doos te zijn. Deze observatie opent een interessante richting voor het uitbreiden van het framework naar zero-shot of few-shot scenario's in de toekomst.

De Kern van het Verhaal
Door de robot de afbeelding vanuit meerdere overlappende hoeken te laten bekijken en een slim, vooraf getraind brein te gebruiken om te zien wat er niet klopt, heeft het team een systeem gecreëerd dat beter is in het vinden van kleine, lastige defecten dan eerdere methoden. Het is alsof je de inspecteur een bril geeft die de focus net genoeg verschuift om ervoor te zorgen dat geen enkele barst onopgemerkt blijft, terwijl de rugzak van de inspecteur licht genoeg blijft om snel te kunnen rennen.

De code voor dit systeem is beschikbaar voor iedereen om te controleren, en de auteurs zijn van plan om verder te werken om het sneller te maken en in staat te stellen om veel verschillende soorten producten tegelijkertijd te verwerken.

Technische Samenvatting: Multi-view Patch Inference met een bevroren DINOv3 voor Industriële Anomaliedetectie

Probleemstelling
Industriële anomaliedetectie (IAD) beoogt subtiele defecten te identificeren in geautomatiseerde visuele inspectiesystemen zonder te vertrouwen op grootschalige anomalie-annotaties. Hoewel vooraf getrainde Vision Transformers (ViTs) zoals DINO sterke representatiecapaciteiten hebben, vertrouwen bestaande methoden doorgaans op single-grid patch-partitionering tijdens de inferentie. Deze aanpak lijdt onder twee primaire beperkingen:

Verlies van Grensinformatie: Defecten die zich op de grenzen van patches bevinden, worden vaak gemist of verzwakt omdat de single-grid partitionering er niet in slaagt de volledige context van de anomalie te vatten.
Beperkte Lokale Contextmodellering: Single-view inferentie heeft moeite met kleinschalige, onregelmatige defecten ingebed in ruisachtige achtergronden, wat leidt tot een gedegradeerde prestatie bij robuuste defectlokalisatie.
Bovendien vereisen veel bestaande reconstructiegebaseerde frameworks complexe architecturen (bijv. zware encoder-decoders of masked image modeling) of memory banks die hoge opslagkosten en computationele overhead met zich meebrengen.

Methodologie
De auteurs stellen een lichtgewicht framework voor dat gebouwd is op een bevroren DINOv3-backbone en twee kerninnovaties integreert: Multi-view Patch Inference (MVPI) en een Multi-scale Reconstruction Fusion Transformer (MRFT).

Bevroren DINOv3 Backbone:
- Het model maakt gebruik van een vooraf getrainde DINOv3 (7B-schaal) als bevroren feature extractor, waarbij gebruik wordt gemaakt van de "Register Tokens" voor globale semantische verankering en de hoge capaciteit voor fijne texturen.
- Features worden geëxtraheerd uit drie specifieke lagen om hiërarchische informatie te vangen:
  - Laag 2: Laag-niveau features (randstructuren, fijne textuurgradiënten).
  - Laag 5: Mid-niveau features (onderdeel-niveau structuur, lokale geometrische consistentie).
  - Laag 8: Hoog-niveau features (semantische consistentie, object-niveau structuur).
Multi-view Patch Inference (MVPI):
- Om het verlies van grensinformatie te beperken, wordt de invoerafbeelding verwerkt via meerdere overlappende ruimtelijke views gegenereerd via een sliding-window mechanisme.
- Elke view wordt onafhankelijk gecodeerd door de bevroren DINOv3-backbone.
- Features uit overlappende regio's worden geaggregeerd middels gewogen averaging, waarbij gewichten impliciet worden bepaald door de frequentie van ruimtelijke dekking. Dit creëert een impliciet ensemble dat de grenconsistentie verbetert en ruimtelijke aliasing vermindert.
Multi-scale Reconstruction Fusion Transformer (MRFT):
- In plaats van complexe decoders voert een lichtgewicht transformer-module een hiërarchische feature-reconstructie uit.
- Het verwerkt features door drie stadia (shallow, intermediate, deep) om respectievelijk textuur, structuur en semantische informatie te verfijnen.
- De outputs van deze stadia worden gefuseerd om een stabiele reconstructie van normale feature-distributies te produceren.
- Jitter Regularisatie: Gaussische ruis wordt toegevoegd aan de input-features tijdens de training om overfitting op exacte normale patronen te voorkomen.
Anomalie Score:
- De anomalie score wordt berekend op basis van de cosinus-afstand tussen de input-features en de gereconstrueerde features ( $S = 1 - \cos(z, \hat{z})$ ).
- Image-level Aggregatie: Om ruis en uitschieters te beheersen, past de methode Gaussische smoothing toe gevolgd door Top-K pooling (het selecteren van de top 100 extreme waarden), in plaats van globale max- of average pooling. Dit balanceert ruisonderdrukking met het behoud van subtiele defectsignalen.

Belangrijkste Bijdragen

Multi-view Patch Inference (MVPI): Een strategie die overlappende ruimtelijke views construeert om het verlies van grensinformatie te elimineren, wat de detectie van kleine en op de grens gelegen defecten aanzienlijk verbetert.
Multi-scale Reconstruction Fusion Transformer (MRFT): Een lichtgewicht module die hiërarchische features uit meerdere transformer-lagen fuseert om normale distributies stabieler te modelleren dan single-scale benaderingen, zonder zware decoderstructuren te vereisen.
Efficiënt Bevroren Backbone Framework: Een systeem dat state-of-the-art prestaties bereikt met een bevroren DINOv3-backbone, waarbij de computationele overhead van memory banks of complexe distillatie-architecturen wordt vermeden terwijl een hoge deployment-efficiëntie behouden blijft.

Experimentele Resultaten
De methode werd geëvalueerd op drie benchmark-datasets: MVTec AD, BTAD en de uitdagende UltraChip dataset (gericht op micro-defecten in halfgeleiders).

UltraChip Dataset: De voorgestelde methode behaalde een gemiddelde Image-AUC van 81,9%, waarmee recente modellen zoals URD en SuperSimpleNet overtrof. Kwalitatieve resultaten toonden een precieze defect-highlighting zonder de wijdverspreide vals-positieve achtergrondruis die bij andere methoden voorkomt.
MVTec AD: De methode behaalde de hoogste scores over alle metrieken onder de vergeleken baselines, met 99,5% I-AUC, 99,2% P-AUC en 96,0% PRO. Het demonstreerde superieure prestaties ten opzichte van SOTA-methoden zoals Dinomaly en Subspace.
BTAD: Het framework behield een consistent voordeel met een gemiddelde I-AUC van 97,3%, wat robuustheid toont tegen variërende verlichting en complexe topologieën.
Ablatie-studies:
- De combinatie van lagen {2, 5, 8} werd geïdentificeerd als optimaal, waarbij een balans wordt gevonden tussen het vastleggen van fijne texturen en semantische stabiliteit.
- Top-K Pooling (K=100) bleek superieur aan Global Max-pooling (kwetsbaar voor ruis) en Global Average-pooling (over-smoothing), en bood de beste trade-off voor image-level scoring.

Betekenis en Claims
Het paper claimt dat het combineren van multi-view inferentie met bevroren vision transformer-representaties een robuuste oplossing biedt voor industriële anomaliedetectie. De betekenis ligt in:

Nauwkeurigheid vs. Efficiëntie: Het framework bereikt state-of-the-art detectienauwkeurigheid terwijl het het GPU-geheugengebruik en de computationele overhead drastisch vermindert in vergelijking met zware reconstructie- of memory-bank-gebaseerde methoden.
Robuustheid tegen Kleine Defecten: De MVPI-strategie adresseert specif kind de faalmodi van single-grid methoden, waardoor de detectie van subtiele defecten (bijv. minuscule krasjes op schroefpunten) mogelijk wordt die vaak door conventionele benaderingen worden gemist.
Minimalistisch Ontwerp: De aanpak houdt vast aan een "minimalistische pure reconstructie filosofie", die volledig opereert in de semantische feature-ruimte en de noodzaak voor complexe pseudo-anomalie generatie of identity mapping problemen omzeilt.

De auteurs merken op dat hoewel de bevroren backbone enige inferentie-latentie introduceert, de methode veelbelovende zero-shot generalisatiecapaciteiten vertoont, met name op de UltraChip-dataset, wat wijst op potentieel voor toekomstige expansie naar zero-shot of few-shot scenario's. Het huidige framework werkt onder een single-class training paradigma, wat door de auteurs wordt geïdentificeerd als een beperking voor toekomstige uniforme multi-class ontwikkeling.

Technische Samenvatting: Multi-view Patch Inference met een bevroren DINOv3 voor Industriële Anomaliedetectie

Meer zoals dit