Benchmarking and Stress-Testing Off-the-Shelf Vision Embeddings for Surface Re-Identification in Open-Source Intelligence

Technische Samenvatting: Benchmarking van Off-the-Shelf Visuele Embeddings voor Oppervlakte-Re-identificatie in OSINT

Probleemdefinitie
Open-source intelligence (OSINT) leunt steeds vaker op het matchen van fysieke oppervlakken (bijv. granieten aanrechtbladen, houtnerven, weefsels van stof) over foto's heen om anonieme afbeeldingen aan specifieke locaties te koppelen. Hoewel een populaire framing suggereert dat vooraf getrainde visuele modellen (zoals CLIP, DINOv2 of CNN's) deze matching met hoge zekerheid kunnen uitvoeren (vaak met citaten zoals "94,7% nauwkeurigheid"), missen deze claims vaak een rigoureuze benchmarking, duidelijke taakdefinities of negatieve controles. Dit artikel adresseert de kloof tussen anekdotische zekerheid en empirische prestaties door te meten wat deze off-the-shelf modellen daadwerkelijk bereiken op een precies gedefinieerde taak van oppervlakte-re-identificatie.

Methodologie
De studie definieert oppervlakte-re-identificatie als de taak van het ophalen van afbeeldingen van hetzelfde fysieke oppervlak-exemplaar uit een galerij die veel verschillende oppervlakken bevat. De evaluatie maakt gebruik van de KTH-TIPS2-b textuurdatabase, die bestaat uit 4.752 afbeeldingen van 44 fysieke oppervlakte-exemplaren (11 materialen, 4 verschillende monsters per materiaal). Cruciaal is dat de dataset "harde negatieven" bevat: afbeeldingen van verschillende monsters van hetzelfde materiaal (bijv. twee verschillende wollen stoffen) die van de query onderscheiden moeten worden.

De auteurs evalueren zeven varianten van off-the-shelf backbones als bevroren feature extractors (geen fine-tuning of metric learning):

• CLIP: ViT-B/32 en ViT-L/14.
• DINOv2: ViT-S/14, ViT-L/14, en ViT-S/14 op de native resolutie van 518px.
• CNN's: ResNet-50 en EfficientNet-B0.

Alle modellen werden getest op een gemeenschappelijke input van 224 pixels (behalve de native DINOv2 variant) met behulp van cosinus-gelijkenis op L2-genormaliseerde gepoolde embeddings. De evaluatie gebruikt standaard retrieval-metrieken (Rank-1, Recall@5, mean Average Precision [mAP]) en verificatie-metrieken (ROC-AUC, Equal-Error Rate [EER]). Een specifieke cross-scale analyse werd uitgevoerd om OSINT-scenario's te simuleren waarbij query- en match-afbeeldingen zijn genomen op verschillende zoomniveaus. Statistische significantie werd bepaald met behulp van gepaarde Wilcoxon signed-rank tests en 95% bootstrap betrouwbaarheidsintervallen.

Belangrijkste Resultaten

1. Ranking vs. Top-1 Prestaties: Hoewel de Rank-1 nauwkeurigheid hoog is voor alle modellen (variërend van 94,3% tot 98,1%) en de Recall@5 boven de 99,4% ligt, is de mean Average Precision (mAP) aanzienlijk lager (0,505 tot 0,646). Dit geeft aan dat hoewel de beste match vaak correct is, de diepere ranglijsten frequent onjuiste oppervlakken mengen, inclus_ief andere monsters van hetzelfde materiaal.
2. Superioriteit van Modelfamilies: DINOv2 modellen presteren beter dan alle andere families, inclusief CLIP. Opvallend is dat het kleinste DINOv2 model (ViT-S/14, mAP 0,604) de veel grotere CLIP ViT-L/14 (mAP 0,590) significant overtreft. De beste overall performer is DINOv2 ViT-L/14, met een Rank-1 van 98,1%, een mAP van 0,646 en een AUC van 0,973.
3. Beperkingen in Real-World Condities:
   • Cross-Scale Degradatie: Wanneer de query- en de galerij-afbeeldingen op verschillende zoomniveaus zijn, daalt de mAP voor alle modellen (bijv. DINOv2 ViT-L/14 daalt van 0,646 naar 0,631).
   • Materiaalafhankelijkheid: Prestaties variëren scherp per materiaal. Gladde, spiegelende oppervlakken (bijv. aluminiumfolie, wit brood) zijn aanzienlijk moeilijker te matchen (mAP zo laag als 0,489) dan sterk gestructureerde oppervlakken (bijv. een bladsla, mAP 0,840).
4. Verificatiebeperkingen: Zelfs het beste model heeft een Equal-Error Rate (EER) van 7,2%, wat betekent dat bij een gebalanceerd werkpunt ongeveer 1 op de 14 beslissingen onjuist is.

Belangrijkste Bijdragen

• Reproduceerbare Benchmark: Het artikel vestigt een reproduceerbare benchmark op KTH-TIPS2-b waarbij het fysieke monster de identiteitseenheid is, waarbij same-material-different-sample paren als harde negatieven worden gebruikt.
• Eerlijke Evaluatie: Het biedt een rigoureuze, statistisch gevalideerde evaluatie van CLIP, DINOv2, ResNet-50 en EfficientNet-B0 als bevroren embedders, waarbij retrieval- en verificatiemetrieken met betrouwbaarheidsintervallen worden gerapporteerd.
• Cross-Scale en Materiaal Analyse: De studie isoleert de impact van zoomveranderingen en materiaaleigenschappen, en laat zien waar oppervlaktematching betrouwbaar is en waar het faalt.
• Correctie van Veelvoorkomend Advies: De resultaten trekken het algemene advies om CLIP te gebruiken voor textuurmatching in twijfel, door aan te tonen dat zelfgesuperviseerde modellen (DINOv2) superieur zijn, ongeacht de modelgrootte.

Significantie en Claims
Het artikel concludeert dat off-the-shelf visuele embeddings bruikbaar zijn als lead-generators voor menselijke analisten, maar geen onvoorwaardelijke nauwkeurigheidsclaims ondersteunen voor automatische identificatie. De hoge Rank-1 nauwkeurigheid suggereert dat deze tools een sterke kandidaat kunnen presenteren voor een mens om te verifiëren, maar de lagere mAP en significante EER geven aan dat ze niet betrouwbaar genoeg zijn voor autonome bewijsvoering, met name bij verschillende zoomniveaus of op gladde oppervlakken.

De auteurs benadrukken dat een "94,7% nauwkeurigheid" figuur misleidend is zonder context; de passende samenvatting voor OSINT-praktijk is dat deze modellen leads genereren die menselijke verificatie vereisen. Bovendien, voor specifiek oppervlaktematching-taken, is het zelfgesuperviseerde model (DINOv2) de aanbevolen standaard boven tekst-gealigneerde modellen (CLIP), zelfs wanneer kleinere zelfgesuperviseerde modellen worden vergeleken met grotere tekst-beeld modellen. Alle gerapporteerde cijfers zijn geverifieerd als reproduceerbaar via vrijgegeven scripts en zijn hardware-onafhankelijk.