Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines

Technische Samenvatting: Unificatie van Closed-Open Industriële Detectiescenario's

Probleemstelling
Ondanks het opmerkelijke succes van grootschalige visuele-taalmodellen (Large-scale Visual-Language Models, LVLMs) bij natuurlijke visuele taken, stuit hun toepassing op industriële defectdetectie op twee fundamentele beperkingen. Ten eerste is er een tekort aan grootschalige industriële datasets die diverse defectcategorieën over meerdere domeinen dekken; bestaande datasets zijn doorgaans beperkt tot één specifiek veld (bijv. PCB's of textiel) en opereren in closed-set scenario's, wat de generalisatie naar open omgevingen beperkt. Ten tweede vertrouwen huidige LVLMs zwaar op handmatige prompts (punten, boxen, maskers) om objecten te segmenteren. In complexe industriële scènes die worden gekenmerkt door ruis en subtiele defecten, introduceren deze handmatige inputs subjectieve ruis en ontbreekt de noodzakelijke tekst-visuele interactie voor fijnmazig begrip. Bov�elijk faalt het simpelweg overdragen van kennis van natuurlijke scènes naar industriële domeinen in het aanpakken van significante verschuivingen in de feature-distributie.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een verenigd framework voor dat bestaat uit een nieuwe benchmark en een nieuwe netwerkarchitectuur.

1. MMIOC-1M Benchmark:
   De auteurs introduceren de Large-Scale Multi-Modal Industrial Open-Closed benchmark (MMIOC-1M). Deze dataset bevat meer dan één miljoen samples afgeleid van 31 verschillende industriële defectvelden. Het is hiërarchisch gestructureerd met 14 supercategorieën, 29 industriële scènes en 351 defect-subcategorieën. In tegenstelling tot eerdere datasets ondersteunt MMIOC-1M zowel open-vocabulary als closed-set detectietaken. De constructie bestond uit een proces van drie fasen: het definiëren van defect-attributen via expert-screening en GPT-4V semantische retrieval, beeld-screening en kalibratie met behulp van adversariële annotatiemethoden (GroundingDino en YOLOv8) gecombineerd met expert-verificatie, en de verdeling van open-closed subsets op basis van semantische gelijkenis in embedding-ruimtes.

2. RTVPNet (Refined Text-Visual Prompt Network):
   De auteurs stellen RTVPNet voor, een netwerk ontworpen om de capaciteiten van LVLMs in industriële scenario's te verbeteren door middel van drie kerninnovaties:

   • Expert-Assisted Domain Projection: Om de kloof tussen algemene visuele modellen en industriële domeinen te overbruggen, maakt het netwerk gebruik van een two-stream architectuur. Een getraind expert-model (bijv. C2F) biedt supervisie aan een Mobile-SAM backbone via een domein-bewust projectiemodule. Dit omvat het maskeren en reconstrueren van features om industriële kennis te injecteren, waarbij het expert-model tijdens de training dynamisch wordt bijgewerkt om continue adaptatie te waarborgen.
   • Energy-Based Sparse Sampling (Refined Visual Prompts): Om de noodzaak voor handmatige prompts te elimineren en achtergrondruis te verminderen, genereert het netwerk automatisch visuele prompts. Het berekent een onzekerheidsscore voor elke pixel op basis van een energie-functie afgeleid van grofmazige segmentatie-features. Een sparse sampling strategie selecteert vervolgens hoogfrequente pixels (pixels met waarden groter dan het gemiddelde in lokale patches) om verfijnde visuele prompts te vormen, waarbij de focus ligt op objectcontouren terwijl irrelevante achtergrond wordt onderdrukt.
   • Bidirectionale Text-Visual Interactie: Het netwerk implementeert een wederzijds interactiemechanisme. In de Text-to-Visual richting leiden tekst-embeddings de multi-scale visuele features via een Sigmoid attention mechanisme om zich te concentreren op defectlocaties. In de Visual-to-Text richting worden pixel-niveau gelijkenisscores tussen beeld- en tekstfeatures gebruikt om tekst-embeddings te verrijken met ruimtelijke details, wat het gebrek aan visuele informatie in eenvoudige tekstbeschrijvingen compenseert.

Belangrijkste Bijdragen

• MMIOC-1M Benchmark: De eerste grootschalige, verenigde benchmark voor industriële open-closed detectie, die uitgebreide multi-domein dekking biedt (1M+ samples, 351 subcategorieën) en gestandaardiseerde evaluatieprotocollen voor visual grounding, objectdetectie en visual question answering.
• RTVPNet Baseline: Een nieuwe architectuur op maat gemaakt voor industriële detectie die expert-assisted domain projection, geautomatiseerde verfijnde visuele promptgeneratie en bidirectionale cross-modale interactie integreert.
• Uitgebreide Evaluatie: De vestiging van gestandaardiseerde protocollen en uitgebreide experimenten die de moeilijkheidsgraad van de benchmark en de effectiviteit van de voorgestelde methode over MMIOC-1M, LVIS en COCO aantonen.

Experimentele Resultaten
Uitgebreide experimenten tonen aan dat RTVPNet een state-of-the-art prestatie levert terwijl de computationele efficiëntie behouden blijft:

• Open-Scene Prestaties: Op MMIOC-1M bereikt RTVPNet-S een AP50 van 26,7%, waarmee het YOLO-World-S met 2,7% en DOSOD-S met 3,4% verslaat, met aanzienlijk minder parameters (76M) en GFLOPs (17). Het overtreft ook grotere LVLMs (bijv. Qwen2.5-VL 3B) ondanks het feit dat het ongeveer 1/40e van het aantal parameters heeft.
• Closed-Scene Prestaties: Op MMIOC-1M closed scènes bereikt RTVPNet-L een AP van 41,3%, waarmee het traditionele expert-modellen (zoals YOLOv12L) met ongeveer 15% verslaat en grote LVLMs zoals Qwen3-VL 4B evenaart of overtreft.
• Generalisatie: Op de LVIS dataset verbetert RTVPNet de AP met 3,2% ten opzichte van YOLO-World, wat de bekwaamheid valideert om te generaliseren naar open-vocabulary scenario's. Op COCO verbetert het de multi-scale AP met ongeveer 1% ten opzichte van de YOLOv11 baseline.
• Kwalitatieve Analyse: t-SNE visualisaties laten zien dat RTVPNet compactere en consistentere feature-clusters produceert voor onzichtbare categorieën vergeleken met andere methoden. Visualisaties van detectieresultaten bevestigen een superieure robuustheid tegen achtergrondruis en schaalvariaties in zowel open als closed scenario's.

Betekenis
Het artikel stelt dat MMIOC-1M een kritieke kloof in industrieel LVLM-onderzoek vult door de eerste verenigde benchmark voor open-closed scenario's te bieden, wat de ontwikkeling van grootschalige industriële modellen katalyseert. De voorgestelde RTVPNet biedt een praktische oplossing voor de problemen van domain shift en prompt-subjectiviteit, waardoor LVLMs snel kunnen adapteren aan industriële omgevingen met hoge nauwkeurigheid en lage computationele kosten. Het werk suggereert dat de combinatie van expert-gestuurde domeinoverdracht en verfijnde tekst-visuele interactie essentieel is om de uitdagingen van inter-class gelijkenis, intra-class verschillen en long-tail distributies die inherent zijn aan industriële defectdetectie te overwinnen.