Sintesi Tecnica: Edges Before Embeddings: Un Gate di Sfocatura Consapevole della Confidenza per Pipeline Vision-Language

Problema

Le pipeline di visione in produzione operano spesso sotto l'assunto implicito che le immagini in input siano leggibili. Nella distribuzione nel mondo reale, tuttavia, gli input soffrono frequentemente di sfocatura da movimento (motion blur), defocus, artefatti di compressione o rumore da scarsa illuminazione. Quando queste immagini degradate entrano in componenti a valle come motori OCR, sistemi di retrieval o modelli Vision-Language (VLM), causano specifici modi di fallimento:

1. Corruzione Silenziosa dell'OCR: Il testo sfocato viene trascritto come token sintatticamente validi ma semanticamente privi di senso, che i motori di regole a valle non possono distinguere dal testo legittimo.
2. Spreco di Calcolo: Chiamate VLM costose consumano budget di per-token su frame che non producono alcun output utilizzabile.
3. Curatela Inefficiente: Filtrare manualmente immagini di bassa qualità da grandi dataset è impraticabile, mentre il feedback tramite round-trip in cloud per la cattura mobile è troppo lento.

Le soluzioni esistenti sono insufficienti: le pesanti reti di restauro (es. DeblurGANs) sono troppo costose dal punto di vista computazionale per il gating per upload, mentre le euristiche classiche (es. varianza del Laplaciano) sono veloci ma fragili, fallendo su scene con texture ma sfocate o scene lisce ma nitide. Il paper propone un "gate" leggero, eseguibile su CPU, che si posiziona a monte per decidere se passare un'immagine, rifiutarla o astenersi.

Metodologia

Architettura e Input

Il sistema utilizza un backbone MobileNetV3-Large (3,3 milioni di parametri) compilato in un artefatto ONNX da 17 MB. L'innovazione principale è il Modulo Edge Prior (EPM), che inietta evidenza spettrale classica direttamente nella rete:

• Meccanismo EPM: Il modulo converte l'input RGB in luminanza, applica un kernel Laplaciano fisso 3×3 e standardizza la mappa di magnitudo. Questa mappa di bordi (edge map) a singolo canale viene concatenata come quarto canale di input alla foto RGB.
• Inizializzazione: Il primo strato convoluzionale viene espanso da 3 a 4 canali. Il peso del nuovo canale viene inizializzato a $0,1\times$ la media dei filtri RGB per garantire un avvio stabile.
• Razionale: Ciò consente alla CNN di accedere all'evidenza nel dominio delle frequenze su cui si basano le euristiche di sfocatura classiche, invece di doverla ri-apprendere dalle statistiche dei pixel grezzi.

Addestramento e Dati

• Dataset: L'addestramento viene eseguito sul dataset GoPro Large, che fornisce frame nitidi e con sfocatura da movimento sintetica accoppiati. Gli autori includono la sottocartella blur_gamma (un secondo stile di sfocatura) per migliorare la robustezza.
• Configurazione: La ricetta finale utilizza una risoluzione di 384×384, addestrata per 25 epoche con AdamW ($lr=10^{-4}$), annealing del coseno e color jitter moderato.
• Spazio di Ricerca: Gli autori hanno condotto una ricerca empirica su 46 configurazioni (8 sweep), variando risoluzione, augmentation, capacità del backbone e strategie di ensemble.

Inferenza e Routing

Il sistema impiega un formalismo di routing consapevole della confidenza basato sulla teoria della predizione selettiva (regola di Chow).

• TTA Multi-scala: In fase di inferenza, l'immagine viene ridimensionata a cinque scale ($\{256, 320, 384, 448, 512\}$ px). Le predizioni softmax vengono mediate attraverso queste scale per produrre una distribuzione di probabilità finale.
• Logica Decisionale:
  • Nitido/Sfocato: Se la probabilità massima della softmax $c \ge \tau$ (default $\tau=0,60$), l'immagine viene instradata alla classe corrispondente.
  • Incertezza (Astensione): Se $c < \tau$, il sistema instrada l'immagine verso un modello di fallback più pesante o verso la revisione umana.
• Latenza: L'inferenza a singola scala gira in circa $\sim7$ ms su un singolo core CPU; la TTA a 5 scale richiede $\sim35$ ms.

Risultati Chiave

Metriche di Performance

Valutato sul split di test GoPro Large:

• Baseline (384px fissi, senza EPM): F1 = 0,9672 (con TTA a 5 scale).
• Ricetta Finale (MobileNetV3-Large + EPM + 5-scale TTA): F1 = 0,9803 (AUC 0,9989).
• Miglioramento: L'EPM da solo contribuisce a un guadagno di +1,31 punti in F1 rispetto alla baseline in ambiente corrispondente. La TTA multi-scala aggiunge ulteriori +0,40 punti rispetto all'inferenza a singola scala.

Risultati Empirici dalla Ricerca

• Dominanza della Risoluzione: La risoluzione dell'input è il lever principale. Passare da 128 px a 384 px ha aggiunto circa 13 punti F1. La capacità del backbone (MobileNetV3-Large vs. Small) ha fornito benefici solo a risoluzioni $\ge 384$ px.
• Risultati Negativi:
  • Addestramento con Risoluzione Randomizzata: Campionare risoluzioni casuali durante l'addestramento non ha migliorato le prestazioni e ha anzi degradato il guadagno della TTA, probabilmente perché le statistiche del Laplaciano nel canale EPM cambiavano con la risoluzione, confondendo il modello.
  • Ensemble: Ensemble ingenui dei top-N modelli hanno fornito guadagni trascurabili a causa di errori altamente correlati.
  • Calibrazione: La regressione isotonica e il temperature scaling non hanno fornito alcun guadagno misurabile in F1; la max-softmax grezza era sufficiente per il thresholding.

Significato e Rivendicazioni

Il paper posiziona questo lavoro non come un nuovo backbone o una funzione di perdita, ma come un modello strutturale (structural recipe) per sistemi di visione in produzione.

1. Un Modello di Design Ricorrente: Gli autori sostengono che il pattern "gate economico + segnale di confidenza + routing verso un consumatore costoso" sia un'architettura predefinita per i moderni sistemi di IA. Traggono paralleli con Magika (rilevamento del tipo di file), Risk-Controlled OCR (gating VLM) e DocVLM (budgeting dei token), suggerendo che questa sia una forma fondamentale di controllo-teorico per l'uso efficiente degli strumenti.
2. Efficienza Pratica: Il gate soddisfa simultaneamente quattro requisiti critici di produzione: è economico (eseguibile su CPU), veloce ($\sim7$ ms), binario (nitido/sfocato/incerto) ed è capace di astensione. È il primo approccio a soddisfare tutti e quattro, mentre i metodi esistenti ne falliscono almeno uno (es. le euristiche mancano di astensione; i giudici VLM sono troppo lenti/costosi).
3. Limitazioni Oneste: Gli autori dichiarano esplicitamente che i risultati sono limitati alla distribuzione di motion-blur di GoPro Large con un singolo seed casuale. Le metriche di calibrazione (ECE) sono qualitative, e la generalizzazione su altri dataset (es. defocus, sfocatura di documenti) non è ancora stata validata. Il paper inquadra queste come limitazioni esplicite e lavori futuri piuttosto che problemi risolti.

In sintesi, il paper dimostra che un gate leggero, amichevole per la CPU, potenziato da un input di priorità dei bordi classico e da un'inferenza multi-scala, può filtrare efficacemente gli input sfocati prima che sprechino risorse su VLM o OCR a valle, raggiungendo un'alta accuratezza (F1 $\approx$ 0,98) con una latenza minima.