A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

Sintesi Tecnica: Un Metodo di Valutazione della Qualità delle Immagini Facciali Basato su un Ensemble Leggero con Perdita Consapevole della Correlazione

Definizione del Problema
La valutazione della qualità delle immagini facciali (Face Image Quality Assessment - FIQA) è un gatekeeper critico per i sistemi di riconoscimento e verifica del volto, particolarmente in ambienti reali non controllati ("in the wild"). Sebbene esistano metriche di valutazione della qualità delle immagini (IQA) a scopo generale (ad esempio, BRISQUE, NIQE), esse spesso non riescono a catturare i degradamenti specifici del volto come posa, illuminazione e occlusione, correlandosi debolmente con il successo effettivo del riconoscimento. Al contrario, i modelli FIQA percettivi allo stato dell'arte (SOTA) si affidano tipicamente ad architetture di deep learning pesanti (ad esempio, grandi transformer o cicli iterativi di diffusione) che sono computazionalmente intensivi. Questo elevato costo di inferenza (nell'ordine di multi-GFLOP) crea un collo di bottiglia per l'implementazione in ambienti con risorse limitate, come dispositivi mobili o sistemi embedded, limitandone l'applicabilità pratica nonostante l'alta accuratezza.

Metodologia
Gli autori propongono un framework FIQA leggero ed efficiente, progettato per bilanciare un'elevata accuratezza con un basso costo computazionale. La metodologia consiste in tre componenti principali:

1. Architettura Ensemble Leggera:
   Il modello integra un ensemble di due reti neurali convoluzionali (CNN) compatte: MobileNetV3-Small e ShuffleNetV2. Entrambe le reti sono pre-addestrate su ImageNet e perfezionate (fine-tuned) per il compito FIQA sostituendo i loro strati finali di classificazione con Multi-Layer Perceptrons (MLP) per produrre un singolo punteggio scalare di qualità.

   • MobileNetV3-Small: Utilizza un vettore di caratteristiche mediato globalmente (global average pooled) di dimensione 576, elaborato attraverso un MLP a due strati.
   • ShuffleNetV2: Utilizza un vettore di caratteristiche mediato globalmente di dimensione 1024, elaborato attraverso un MLP a tre strati.
   • Strategia di Fusione: La previsione finale è generata tramite uno schema di media a due livelli. In primo luogo, le previsioni vengono mediate tra diverse viste aumentate dell'immagine di input (Test-Time Augmentation). In secondo luogo, gli output dei due modelli distinti vengono mediati. Questo approccio sfrutta i punti di forza rappresentazionali complementari delle due architetture pur mantenendo un numero totale di parametri di circa 2 milioni.

2. Funzione di Perdita Consapevole della Correlazione (MSECorrLoss):
   Per allineare le previsioni del modello ai giudizi percettivi umani, gli autori introducono una funzione di perdita congiunta che combina l'Errore Quadratico Medio (MSE) con un regolarizzatore di Pearson.

   • La perdita è definita come $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$.
   • $\mathcal{L}_{MSE}$ minimizza l'errore di previsione diretta.
   • $\mathcal{L}_{Corr}$ è definita come $1 - \text{Pearson}(q, \hat{q})$, incoraggiando il modello a preservare l'ordinamento monotono dei punteggi di qualità rispetto alla verità di base (ground truth). Ciò è fondamentale per i compiti percettivi in cui l'ordinamento relativo è spesso più importante della precisione assoluta del punteggio.

3. Test-Time Augmentation (TTA):
   Durante l'inferenza, l'immagine di input viene trasformata in molteplici viste aumentate (specificamente flip orizzontali e verticali casuali). L'ensemble elabora queste viste e il punteggio di qualità finale viene ottenuto mediando le previsioni sia tra le aumentazioni che tra i modelli. Questa strategia migliora la robustezza e la stabilità senza richiedere ulteriori dati di addestramento.

Contributi Chiave
Il documento delinea tre contributi primari:

• Design Ensemble Compatto: Un ensemble a due rami che fonde MobileNetV3-Small e ShuffleNetV2, raggiungendo un'alta accuratezza con una scala di circa 2 milioni di parametri totali e un basso costo di inferenza (~0.5 GFLOPs).
• MSECorrLoss: Una funzione obiettivo innovativa che minimizza simultaneamente l'MSE e massimizza la correlazione di Pearson con le valutazioni umane, stringendo l'allineamento con la verità di base percettiva.
• Integrazione Robusta della TTA: Una strategia efficace di inferenza che media le previsioni attraverso le viste aumentate, migliorando la stabilità e riducendo la varianza.

Risultati Sperimentali
Il metodo è stato valutato sul benchmark VQualA FIQA, un dataset su larga scala "in-the-wild" contenente circa 30.000 immagini di addestramento e 1.000 immagini di validazione. La valutazione ha utilizzato il Coefficiente di Correlazione di Rango di Spearman (SRCC) e il Coefficiente di Correlazione Lineare di Pearson (PLCC).

• Performance: Il metodo proposto ha raggiunto un SRCC di 0.9829 e un PLCC di 0.9894, risultando in un Punteggio Finale di 0.9862.
• Confronto: Questi risultati superano significativamente gli approcci SOTA esistenti. Ad esempio, il precedente metodo specifico per i volti con le migliori prestazioni, TOPIQ Swin Face, ha ottenuto un Punteggio Finale di 0.9286 (SRCC 0.9156, PLCC 0.9416). Il metodo proposto lo supera di un margine di 0.058 nel punteggio finale.
• Efficienza: Nonostante i guadagni di performance, il modello rimane leggero, adatto al deployment nel mondo reale dove le risorse computazionali sono limitate.

Studi di Ablazione
Gli autori hanno condotto studi di ablazione per validare il contributo di ciascuna componente:

• Ensemble: Combinare MobileNet e ShuffleNet ha migliorato il Punteggio Finale da ~0.97 (modelli individuali) a 0.9792, dimostrando che l'apprendimento ensemble riduce la varianza della previsione.
• Funzione di Perdita: Passare dal classico MSE a MSECorrLoss ha ulteriormente migliorato il punteggio a 0.9821, confermando il beneficio dell'ottimizzazione per la correlazione.
• TTA: L'aggiunta della Test-Time Augmentation ha prodotto la performance ottimale finale di 0.9862, evidenziando il suo ruolo nel ridurre la varianza della previsione e migliorare la coerenza del rango.

Significatività e Rivendicazioni
Il documento sostiene che il suo approccio affronta con successo il compromesso tra accuratezza ed efficienza computazionale nella FIQA. Utilizzando un ensemble leggero e una perdita consapevole della correlazione, il metodo raggiunge prestazioni allo stato dell'arte sul benchmark VQualA pur rimanendo entro i vincoli di efficienza richiesti per il deployment su dispositivi mobili ed embedded. Gli autori posizionano questo lavoro come una soluzione pratica per scenari "in-the-wild" dove una valutazione della qualità automatica, affidabile e consapevole del volto è essenziale per compiti a valle come la verifica dell'identità, il controllo degli accessi e l'analisi forense. Il lavoro suggerisce che strategie architettoniche e di addestramento semplici e ben orchestrate possono far avanzare i sistemi robusti di FIQA senza fare affidamento su backbone computazionalmente costosi.