A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

Technische Samenvatting: Een lichtgewicht ensemble-gebaseerde methode voor de beoordeling van de kwaliteit van gezichtsimageden met correlatie-bewuste verliesfunctie

Probleemstelling
Face Image Quality Assessment (FIQA) is een cruciale poortwachter voor gezichtsherkennings- en verificatiesystemen, met name in ongecontroleerde, reële omgevingen ("in the wild"). Hoewel er algemene no-reference image quality assessment (IQA) metrieken bestaan (bijv. BRISQUE, NIQE), schieten deze vaak tekort in het vastleggen van gezichtsspecifieke degradaties zoals pose, belichting en occlusie, die zwak correleren met daadwerkelijk herkenningssucces. Daartegenover staan state-of-the-art (SOTA) perceptuele FIQA-modellen die doorgaans vertrouwen op zware deep learning-architecturen (bijv. grote transformers of iteratieve diffusie-loops) die computationeel intensief zijn. Deze hoge inferentiekosten (in de orde van grootte van meerdere GFLOPs) creëren een bottleneck voor implementatie in omgevingen met beperkte middelen, zoals mobiele apparaten of embedded systemen, wat de praktische toepasbaarheid ondanks de hoge nauwkeurigheid beperkt.

Methodologie
De auteurs stellen een lichtgewicht, efficiënt FIQA-framework voor dat ontworpen is om een balans te vinden tussen hoge nauwkeurigheid en lage computationele kosten. De methodologie bestaat uit drie kerncomponenten:

1. Lichtgewicht Ensemble Architectuur:
   Het model integreert een ensemble van twee compacte Convolutional Neural Networks (CNN's): MobileNetV3-Small en ShuffleNetV2. Beide netwerken zijn voorgetraind op ImageNet en zijn gefinetuned voor de FIQA-taak door hun laatste classificatielagen te vervangen door Multi-Layer Perceptrons (MLP's) om een enkele scalaire kwaliteitsscore te produceren.

   • MobileNetV3-Small: Gebruikt een global average pooled feature vector van dimensie 576, die wordt verwerkt door een twee-laagse MLP.
   • ShuffleNetV2: Gebruikt een global average pooled feature vector van dimensie 1024, die wordt verwerkt door een drie-laagse MLP.
   • Fusiestrategie: De uiteindelijke voorspelling wordt gegenereerd via een dual-level gemiddelde methode. Eerst worden de voorspellingen gemiddeld over meerdere geaugmenteerde weergaven van de invoerafbeelding (Test-Time Augmentation). Ten tweede worden de outputs van de twee verschillende modellen gemiddeld. Deze aanpak benut de complementaire representatieve sterktes van de twee verschillende architecturen, terwijl het totale aantal parameters rond de 2 miljoen blijft.

2. Correlatie-bewuste Verliesfunctie (MSECorrLoss):
   Om de modelvoorspellingen af te stemmen op menselijke perceptuele oordelen, introduceren de auteurs een gezamenlijke verliesfunctie die de Mean Squared Error (MSE) combineert met een Pearson-correlatie regularisator.

   • De verliesfunctie is gedefinieerd als $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$.
   • $\mathcal{L}_{MSE}$ minimaliseert de directe voorspellingsfout.
   • $\mathcal{L}_{Corr}$ is gedefinieerd als $1 - \text{Pearson}(q, \hat{q})$, wat het model stimuleert om de monotone rangorde van kwaliteitsscores ten opzichte van de grondwaarheid te behouden. Dit is cruciaal voor perceptuele taken waarbij de relatieve ordening vaak belangrijker is dan de absolute precisie van de score.

3. Test-Time Augmentation (TTA):
   Tijdens de inferentie wordt de invoerafbeelding getransformeerd naar meerdere geaugmenteerde weergaven (specifiek willekeurige horizontale en verticale spiegelingen). Het ensemble verwerkt deze weergaven, en de uiteindelijke kwaliteitsscore wordt verkregen door de voorspellingen over zowel de augmentaties als de modellen te middelen. Deze strategie verhoogt de robuustheid en stabiliteit zonder extra trainingsdata te vereisen.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

• Compact Ensemble Ontwerp: Een twee-takige ensemble die MobileNetV3-Small en ShuffleNetV2 combineert, waarbij een hoge nauwkeurigheid wordt bereikt met een sub-miljoen parameter schaal (ca. 2M parameters totaal) en lage inferentiekosten (~0.5 GFLOPs).
• MSECorrLoss: Een nieuwe objectieve functie die gelijktijdig MSE minimaliseert en de Pearson-correlatie met menselijke beoordelingen maximaliseert, wat de afstemming met de perceptuele grondwaarheid versterkt.
• Robuuste TTA Integratie: Een effectieve strategie tijdens de inferentie die voorspellingen over geaugmenteerde weergaven middelt, wat de stabiliteit verbetert en de variantie vermindert.

Experimentele Resultaten
De methode is geëvalueerd op de VQualA FIQA benchmark, een grootschalige "in-the-wild" dataset met ongeveer 30.000 trainingsafbeeldingen en 1.000 validatieafbeeldingen. De evaluatie maakte gebruik van de Spearman Rank Correlation Coefficient (SRCC) en de Pearson Linear Correlation Coefficient (PLCC).

• Prestaties: De voorgestelde methode behaalde een SRCC van 0.9829 en een PLCC van 0.9894, wat resulteerde in een Eindscore van 0.9862.
• Vergelijking: Deze resultaten presteren aanzienlijk beter dan bestaande SOTA-benaderingen. Zo behaalde de voorheen best presterende gezichtsspecifieke methode, TOPIQ Swin Face, een Eindscore van 0.9286 (SRCC 0.9156, PLCC 0.9416). De voorgestelde methode overtreft deze met een marge van 0.058 in de eindscore.
• Efficiëntie: Ondanks de prestatiewinst blijft het model lichtgewicht, geschikt voor implementatie in de echte wereld waar computationele middelen beperkt zijn.

Ablatieonderzoeken
De auteurs hebben ablatieonderzoeken uitgevoerd om de bijdrage van elk component te valideren:

• Ensemble: Het combineren van MobileNet en ShuffleNet verbeterde de Eindscore van ~0.97 (individuele modellen) naar 0.9792, wat aantoont dat ensemble-leren de voorspellingsvariantie vermindert.
• Verliesfunctie: Het overschakelen van standaard MSE naar MSECorrLoss verbeterde de score verder naar 0.9821, wat het voordeel bevestigt van het optimaliseren voor correlatie.
• TTA: Het toevoegen van Test-Time Augmentation leverde de uiteindelijke optimale prestatie op (0.9862), wat de rol ervan benadrukt bij het verminderen van de voorspellingsvariantie en het verbeteren van de rangordeconsistentie.

Betekenis en Claims
Het artikel claimt dat de benadering succesvol de trade-off tussen nauwkeurigheid en computationele efficiëntie in FIQA aanpakt. Door een lichtgewicht ensemble en een correlatie-bewuste verliesfunctie te gebruiken, bereikt de methode state-of-the-art prestaties op de VQualA benchmark, terwijl ze binnen de efficiëntiebeperkingen blijft die vereist zijn voor mobiele en embedded implementatie. De auteurs positioneren dit werk als een praktische oplossing voor "in-the-wild" scenario's waar betrouwbare, automatische en gezicht-bewuste kwaliteitsbeoordeling essentieel is voor downstream taken zoals identiteitsverificatie, toegangscontrole en forensische analyse. Het werk suggereert dat eenvoudige, goed georkestreerde architecturale en trainingsstrategieën robuuste FIQA-systemen kunnen verbeteren zonder te vertrouwen op computationeel dure backbones.