Mapping License Plate Recoverability Under Extreme Viewing Angles for Oppor-tunistic Urban Sensing

1. Enunciato del Problema

Il paper affronta la sfida della rilevazione urbana opportunistica, in cui i sensori di imaging esistenti (ad esempio, telecamere dei bancomat, dispositivi indossabili, dashcam, CCTV) installati per compiti primari vengono riutilizzati per compiti di inferenza secondari come il Riconoscimento delle Targhe (LPR).

• Il Problema Centrale: A differenza dei sistemi LPR progettati specificamente, i sensori opportunistici catturano i veicoli ad angoli di visione incontrollati ed estremi. Le pipeline LPR standard falliscono quando le targhe sono altamente oblique, accorciate prospetticamente, sfocate o compresse.
• Il Gap: Sebbene il ripristino delle immagini basato sul deep learning possa recuperare immagini degradate, non esiste una comprensione quantitativa dei limiti angolari di tale recupero. I benchmark esistenti si concentrano su viste quasi frontali ($|\alpha|, |\beta| \le 30^\circ$), lasciando inesplorati gli "angoli estremi" dello spazio dei parametri (angoli $>60^\circ$).
• Domanda di Ricerca: Data una telecamera fissa e non riposizionabile, a quali angoli di visione sopravvive un segnale sufficiente affinché il ripristino basato sul deep learning consenta un LPR automatico di successo?

2. Metodologia

A. Framework delle Mappe di Recuperabilità

Gli autori introducono un framework agnostico rispetto al compito, denominato Mappe di Recuperabilità, per quantificare il confine del recupero affidabile in uno spazio di degradazione parametrizzato.

• Parametri: Lo studio si concentra sullo spazio 2D degli angoli di visione: Azimutale ($\alpha$, laterale) ed Elevazionale ($\beta$, verticale), che variano da $0^\circ$ a $89^\circ$.
• Metriche:
  1. Area Sottesa alla Curva di Confine (Boundary AUC): Stima la frazione dello spazio dei parametri in cui il recupero ha successo (copertura).
  2. Punteggio di Affidabilità ($F$): Misura la frequenza e la gravità dei fallimenti all'interno della regione nominalmente recuperabile (coerenza). Un $F$ basso indica un successo uniforme; un $F$ alto indica "buchi" di fallimento all'interno della zona di successo.

B. Costruzione del Benchmark Sintetico

Poiché i dati reali ad angoli estremi sono scarsi e incontrollati, gli autori hanno creato un benchmark sintetico:

• Generazione dei Dati: Targhe pulite a 6 cifre vengono renderizzate e sottoposte a una pipeline di degradazione a 5 stadi:
  1. Deformazione Geometrica: Rotazione 3D ($\alpha, \beta$) e proiezione prospettica.
  2. Fusione dei Bordi: Smussamento della maschera alfa.
  3. Artefatti della Telecamera: Jitter del colore, sfocatura gaussiana ($\sigma \in [0.5, 1.5]$) e compressione JPEG ($q \in [55, 85]$).
  4. Raddrizzamento: Viene applicata un'omografia inversa all'immagine distorta prima di inviarla alla rete (simulando un passaggio di pre-elaborazione).
• Campionamento: Vengono utilizzate sequenze Scrambled Sobol (quasi-Monte Carlo) per garantire una copertura quasi uniforme dello spazio angolare, inclusi gli angoli estremi, con meno campioni rispetto al campionamento casuale.
• Dataset: Sono stati creati due varianti: Standard (DS-S) con enfasi moderata sugli angoli estremi, ed Estremo (DS-E) con una coda pesante che concentra i campioni vicino a $90^\circ$.

C. Architetture di Ripristino Valutate

Cinque modelli di deep learning sono stati addestrati e valutati sui dati sintetici:

1. U-Net (Baseline): Encoder-decoder standard con connessioni residue (skip connections).
2. U-Net Condizionale: U-Net con livelli FiLM che iniettano l'angolo ($\alpha, \beta$) come contesto.
3. Restormer: Modello basato su Transformer che utilizza Multi-Dconv Head Transposed Attention (MDTA) per il contesto globale.
4. GAN-Pix2Pix: Rete Generativa Avversaria con un discriminatore a patch.
5. Diffusion-SR3: Modello probabilistico di diffusione per il denoising adattato per la super-risoluzione/ripristino.

3. Contributi Chiave

1. Mappe di Recuperabilità: Un nuovo framework metodologico per definire il "perimetro operativo" dei compiti di rilevamento opportunistico utilizzando boundary-AUC e punteggi di affidabilità.
2. Confronto Empirico Sistematico: La prima valutazione completa di cinque distinte architetture di ripristino (discriminative vs generative) su una griglia angolare completa $[0^\circ, 89^\circ]^2$.
3. Scoperta di Asimmetria Geometrica: Identificazione che la rotazione laterale ($\alpha$) è significativamente più difficile da recuperare rispetto alla rotazione elevazionale ($\beta$) a causa della geometria dell'informazione orizzontale delle targhe (le cifre collassano lateralmente prima di comprimersi verticalmente).
4. Validazione delle Metriche: Dimostrazione che il PSNR è un surrogato altamente affidabile per l'accuratezza OCR ($R^2 \approx 0.99$), mentre l'SSIM è un proxy povero per i compiti LPR a causa del suo comportamento simile a una soglia.

4. Risultati Chiave

• Recuperabilità Massimale: I modelli migliori possono recuperare targhe leggibili per circa il 93,4% della griglia angolare $[0^\circ, 89^\circ]^2$ (con accuratezza OCR $\ge 90\%$).
• Confine di Fallimento: Il recupero fallisce quasi completamente quando sia $\alpha$ che $\beta$ superano $\approx 80^\circ$. Questo angolo "doppio estremo" rappresenta il limite irrecuperabile (6,6% dello spazio).
• Prestazioni delle Architetture:
  • I modelli discriminativi (varianti U-Net, Restormer) superano i modelli generativi sia nella copertura (AUC) che nella coerenza (basso $F$).
  • Restormer ha ottenuto il più alto AUC (0,921 sul dataset Estremo).
  • Diffusion-SR3 ha mostrato la peggiore affidabilità ($F$ fino a 1,12), "allucinando" frequentemente cifre plausibili ma errate sotto distorsioni severe.
  • U-Net Condizionale ha offerto il miglior compromesso tra accuratezza e latenza di inferenza (7,50 ms).
• Shift della Distribuzione di Addestramento: Cambiare la distribuzione di addestramento da Standard a Estremo ha avuto un effetto trascurabile sul confine (l'AUC è rimasto stabile) ma ha impattato significativamente la coerenza interna ($F$), in particolare per i modelli generativi.
• Conferma dell'Asimmetria: Gli angoli laterali ($\alpha$) degradano le prestazioni più rapidamente rispetto agli angoli verticali ($\beta$). Una targa vista di lato perde la separabilità delle cifre molto più velocemente di una vista dall'alto.

5. Significato e Implicazioni

• Pianificazione delle Città Intelligenti: I risultati forniscono una guida quantitativa per le infrastrutture urbane. Se l'angolo di visione nel caso peggiore di un sensore è limitato da $\alpha < 80^\circ$ e $\beta < 80^\circ$, il ripristino puramente software è probabilmente sufficiente per abilitare l'LPR senza modifiche hardware.
• Linee Guida per il Posizionamento delle Telecamere: I pianificatori urbani dovrebbero dare priorità alla limitazione dell'angolo azimutale (laterale) rispetto all'angolo elevazionale, poiché l'inclinazione laterale è il principale collo di bottiglia per il recupero.
• Strategia Operativa:
  • I modelli discriminativi sono preferiti per il riconoscimento dell'identità perché producono output sfocati/ambigui in caso di fallimento (che possono essere rifiutati da filtri di confidenza), mentre i modelli generativi producono "allucinazioni" convincenti ma errate.
  • Triage Forense: La mappa di recuperabilità permette agli analisti di segnalare immediatamente le riprese archiviate con angoli estremi ($\alpha, \beta > 80^\circ$) come irrecuperabili, risparmiando tempo di elaborazione.
• Applicabilità più Ampia: Il framework è agnostico rispetto al compito e può essere applicato ad altri problemi di rilevamento opportunistico, come il riconoscimento facciale da telecamere indossabili o la lettura di testo ambientale da dashcam.

Conclusione

Il paper stabilisce che, sebbene il deep learning possa recuperare le targhe da angoli estremi nella stragrande maggioranza dei casi (93,4%), il limite è definito dalla fisica dell'accorciamento prospettico piuttosto che dalla scelta dell'architettura della rete neurale. Lo studio fornisce una mappa rigorosa e quantitativa per il dispiegamento del rilevamento opportunistico nelle città intelligenti, sottolineando che gli angoli di visione laterali sono il vincolo critico e che i modelli discriminativi sono la scelta più sicura per le applicazioni critiche per l'identità.