Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines

Sintesi Tecnica: Unificazione degli Scenari di Rilevamento Industriale Closed-Open

Definizione del Problema
Nonostante il straordinario successo dei Large-scale Visual-Language Models (LVLM) nei compiti visivi naturali, la loro applicazione al rilevamento dei difetti industriali affronta due limitazioni fondamentali. Primo, vi è una scarsità di dataset industriali su larga scala che coprano diverse categorie di difetti attraverso molteplici domini; i dataset esistenti sono tipicamente confinati a singoli settori (ad es. PCB o tessuti) e operano in scenari a set chiuso (closed-set), limitando la generalizzazione in ambienti aperti. Secondo, gli attuali LVLM si affidano pesantemente a prompt manuali (punti, box, maschere) per segmentare gli oggetti. In scene industriali complesse caratterizzate da rumore e difetti sottili, questi input manuali introducono un rumore soggettivo e mancano dell'interazione testo-visiva necessaria per una comprensione fine. Inoltre, il semplice trasferimento di conoscenza dalle scene naturali ai domini industriali non riesce ad affrontare i significativi spostamenti nella distribuzione delle caratteristiche (feature distribution shifts).

Metodologia
Per affrontare queste sfide, gli autori propongono un framework unificato che comprende un nuovo benchmark e una nuova architettura di rete.

1. Benchmark MMIOC-1M:
   Gli autori introducono il Large-Scale Multi-Modal Industrial Open-Closed benchmark (MMIOC-1M). Questo dataset contiene oltre un milione di campioni derivati da 31 diversi campi di difetti industriali. È strutturato gerarchicamente con 14 super-categorie, 29 scene industriali e 351 sottocategorie di difetti. A differenza dei dataset precedenti, MMIOC-1M supporta sia compiti di rilevamento a vocabolario aperto (open-vocabulary) che a set chiuso (closed-set). La costruzione ha previsto un processo in tre fasi: definizione degli attributi dei difetti tramite screening di esperti e recupero semantico tramite GPT-4V, screening e calibrazione delle immagini mediante metodi di annotazione avversaria (GroundingDino e YOLOv8) combinati con verifica da parte di esperti, e divisione dei subset open-closed basata sulla somiglianza semantica negli spazi di embedding.

2. RTVPNet (Refined Text-Visual Prompt Network):
   Gli autori propongono RTVPNet, una rete progettata per potenziare le capacità degli LVLM negli scenari industriali attraverso tre innovazioni chiave:

• Proiezione di Dominio Assistita da Esperti: Per colmare il divario tra modelli di visione generali e domini industriali, la rete impiega un'architettura a due rami. Un modello esperto pre-addestrato (ad es. C2F) fornisce supervisione a un backbone Mobile-SAM tramite un modulo di proiezione consapevole del dominio. Ciò comporta la mascheratura e la ricostruzione delle caratteristiche per iniettare conoscenza industriale, con il modello esperto aggiornato dinamicamente durante l'addestramento per garantire un adattamento continuo.
• Campionamento Sparso Basato sull'Energia (Refined Visual Prompts): Per eliminare la necessità di prompt manuali e ridurre il rumore di fondo, la rete genera automaticamente prompt visivi. Calcola un punteggio di incertezza per ogni pixel basandosi su una funzione di energia derivata da caratteristiche di segmentazione a grana grossa. Una strategia di campionamento sparso seleziona quindi pixel ad alta frequenza (quelli con valori superiori alla media nelle patch locali) per formare prompt visivi raffinati, concentrandosi sui contorni degli oggetti e sopprimendo lo sfondo irrilevante.
• Interazione Bidirezionale Testo-Visiva: La rete implementa un meccanismo di interazione reciproca. Nella direzione Text-to-Visual, gli embedding testuali guidano le caratteristiche visive multi-scala tramite un meccanismo di attenzione Sigmoid per concentrarsi sulle posizioni dei difetti. Nella direzione Visual-to-Text, i punteggi di similarità a livello di pixel tra le caratteristiche dell'immagine e del testo vengono utilizzati per potenziare gli embedding testuali con dettagli spaziali, compensando la mancanza di informazioni visive nelle semplici descrizioni testuali.

Contributi Chiave

• Benchmark MMIOC-1M: Il primo benchmark su larga scala e unificato per il rilevamento industriale open-closed, che offre una copertura multi-dominio completa (oltre 1M di campioni, 351 sottocategorie) e protocolli di valutazione standardizzati per il visual grounding, l'object detection e il visual question answering.
• Baseline RTVPNet: Una nuova architettura su misura per il rilevamento industriale che integra la proiezione di dominio assistita da esperti, la generazione automatica di prompt visivi raffinati e l'interazione cross-modale bidirezionale.
• Valutazione Completa: L'istituzione di protocolli standardizzati ed estesi esperimenti che dimostrano la difficoltà del benchmark e l'efficacia del metodo proposto su dataset MMIOC-1M, LVIS e COCO.

Risultati Sperimentali
Esperimenti estesi dimostrano che RTVPNet raggiunge prestazioni allo stato dell'arte mantenendo l'efficienza computazionale:

• Performance in Scene Aperte (Open-Scene): Su MMIOC-1M, RTVPNet-S raggiunge un AP50 del 26,7%, superando YOLO-World-S del 2,7% e DOSOD-S del 3,4%, con significativamente meno parametri (76M) e GFLOPs (17). Supera anche LVLM più grandi (ad es. Qwen2.5-VL 3B) nonostante abbia circa 1/40 del numero di parametri.
• Performance in Scene Chiuse (Closed-Scene): Nelle scene chiuse di MMIOC-1M, RTVPNet-L raggiunge un AP del 41,3%, superando i modelli esperti tradizionali (come YOLOv12L) di circa il 15% e eguagliando o superando grandi LVLM come Qwen3-VL 4B.
• Generalizzazione: Sul dataset LVIS, RTVPNet migliora l'AP del 3,2% rispetto a YOLO-World, validando la sua capacità di generalizzare in scenari a vocabolario aperto. Su COCO, migliora l'AP multi-scala di circa l'1% rispetto alla baseline YOLOv11.
• Analisi Qualitativa: Le visualizzazioni t-SNE mostrano che RTVPNet produce cluster di caratteristiche più compatti e coerenti per le categorie invisibili rispetto ad altri metodi. Le visualizzazioni dei risultati di rilevamento confermano una superiorità nella robustezza contro il rumore di fondo e le variazioni di scala sia in scenari aperti che chiusi.

Significatività
Il paper afferma che MMIOC-1M colma una lacuna critica nella ricerca sugli LVLM industriali fornendo il primo benchmark unificato per scenari open-closed, catalizzando lo sviluppo di modelli industriali su larga scala. Il proposto RTVPNet offre una soluzione pratica ai problemi dello spostamento di dominio e della soggettività dei prompt, consentendo agli LVLM di adattarsi rapidamente agli ambienti industriali con alta precisione e bassi costi computazionali. Il lavoro suggerisce che la combinazione di trasferimento di dominio guidato da esperti e interazione testo-visiva raffinata sia essenziale per superare le sfide della similarità inter-classe, delle differenze intra-classe e delle distribuzioni long-tail inerenti al rilevamento dei difetti industriali.