TransFIRA: Transfer Learning for Face Image Recognizability Assessment

Probleemstelling

Gezichtsherkenning in onbeperkte omgevingen (zoals surveillance, video en webbeelden) moet omgaan met extreme variaties in houding, wazigheid, verlichting en occlusie. Traditionele methoden voor Face Image Quality Assessment (FIQA) falen vaak omdat ze vertrouwen op oppervlakkige visuele heuristieken (zoals scherpte of helderheid) of op zware generatieve pipelines. Deze methoden voorspellen niet betrouwbaar of een afbeelding daadwerkelijk herkenbaar is voor de specifieke encoder die in het systeem is ingezet. Een cruciaal probleem is dat er een kloof bestaat tussen de visuele kwaliteit van een afbeelding en de "herkenbaarheid" in de embedding-ruimte van het model. Bestaande methoden zijn vaak afhankelijk van handmatig gelabelde data, zijn computatie-intensief, of zijn niet direct gekoppeld aan de besluitvormingsgeometrie van het model.

Methodologie: TransFIRA

TransFIRA (Transfer Learning for Face Image Recognizability Assessment) is een lichtgewicht, annotatie-vrij framework dat herkenbaarheid direct verankert in de embedding-ruimte van een vooraf getrainde encoder. Het framework bestaat uit drie hoofdstappen:

1. Afleiding van Herkenbaarheidslabels (Zelftoezicht):
   In plaats van menselijke annotaties te gebruiken, worden labels direct afgeleid uit de embeddings van de encoder zelf. Dit gebeurt via twee geometrische maten:

   • Class-Center Similarity (CCS): De cosinus-相似heid tussen de embedding van een afbeelding ($z_i$) en het centrum van zijn eigen klasse ($\mu_{y_i}$).
   • Nearest Nonmatch Class Center Angular Similarity (NNCCS): De maximale similariteit met het centrum van een andere (verwarrende) klasse.
   • Class-Center Angular Separation (CCAS): Het verschil tussen CCS en NNCCS ($CCAS = CCS - NNCCS$).
     Een positieve CCAS-waarde ($>0$) geeft aan dat de afbeelding dichter bij zijn eigen klassecentrum ligt dan bij die van een impostor, wat betekent dat deze herkenbaar is volgens de geometrie van de encoder.

2. Transfer Learning voor Voorspelling:
   Een lichtgewicht regressie-head (een enkele lineaire laag) wordt toegevoegd aan een willekeurige vooraf getrainde encoder (bijv. ResNet, Swin Transformer). Dit model wordt end-to-end gefinetuned om CCS en CCAS direct vanuit de ruwe afbeeldingen te voorspellen. De training gebruikt Mean Squared Error (MSE) tegen de eerder berekende geometrische labels. Dit vereist geen hertraining van de volledige recognition-taken en werkt zonder externe IQA-supervisie.

3. Herkenbaarheidsgeïnformeerde Aggregatie:
   De voorspelde scores worden gebruikt om templates (groepen afbeeldingen van dezelfde persoon) te verbeteren:

   • Filtering: Alle frames met een voorspelde $CCAS \leq 0$ worden verwijderd. Dit is een natuurlijke, parameterloze drempel die frames verwijdert die aan de verkeerde kant van de besluitgrens liggen.
   • Weighting: De resterende embeddings worden gewogen op basis van hun voorspelde CCS-waarde. Frames die dichter bij het klassecentrum liggen (hoge CCS) krijgen meer gewicht bij het berekenen van het gemiddelde template.

Belangrijkste Bijdragen

• Encoder-specifiek zelftoezicht: TransFIRA introduceert de eerste geometrisch onderbouwde definitie van herkenbaarheid (via CCS en CCAS) die direct gekoppeld is aan de discriminatiecapaciteit van de specifieke encoder, zonder menselijke labels.
• Flexibele transfer learning: Het framework kan op elke bestaande vooraf getrainde encoder worden toegepast met slechts een kleine regressie-head, waardoor het zeer efficiënt en breed toepasbaar is.
• Interpreteerbare aggregatie en uitlegbaarheid: De methode biedt een transparante, parameterloze filterregel ($CCAS > 0$) en een wegingsstrategie die direct voortvloeit uit de decision geometry. Bovendien biedt het de eerste vorm van "encoder-grounded explainability", waarbij men kan zien hoe degradaties (zoals wazigheid) de herkenbaarheid beïnvloeden.
• Uitbreiding naar lichaamsrecognitie: Door een sigmoid-calibratiestrategie toe te passen, werkt het framework ook voor lichaamsrecognitie (body recognition), waar ruwe CCS-waarden anders zouden verzadigen.

Resultaten

De auteurs evalueren TransFIRA op de BRIAR Protocol 3.1 (surveillance, zware degradaties) en IJB-C (diverse web/video-beelden) benchmarks:

• Template Aggregatie: TransFIRA behaalt state-of-the-art resultaten. Op BRIAR Protocol 3.1 verbetert de combinatie van filtering en weighting de True Accept Rate (TAR) bij een False Match Rate (FMR) van $10^{-6}$ aanzienlijk (bijv. +0.1385 voor Swin-encoder) ten opzichte van eerdere FIQA-methoden zoals MagFace, CR-FIQA en DifFIQA.
• Image-Level Correlatie: De voorspelde scores tonen een veel sterkere correlatie met de werkelijke herkenbaarheid (gemeten via Spearman-correlatie) dan bestaande methoden. Op BRIAR bereikt TransFIRA een correlatie van ~0.86, bijna het dubbele van de beste concurrenten.
• Robuustheid: De methode presteert goed over verschillende backbones (CosFace, ArcFace) en generaliseert naar lichaamsrecognitie, waar het na calibratie ook de beste resultaten levert.
• Efficiëntie: In tegenstelling tot generatieve methoden (zoals DifFIQA) is TransFIRA lichtgewicht en vereist het geen dure inferentie of complexe pipelines.

Betekenis en Impact

TransFIRA markeert een paradigmaverschuiving in het veld van FIQA. Het verlegt de focus van het beoordelen van visuele kwaliteit naar het beoordelen van herkenbaarheid binnen de context van het specifieke model.

• Betrouwbaarheid: Het lost het probleem op dat "visueel goede" afbeeldingen soms niet herkenbaar zijn voor het model, en vice versa.
• Interpreteerbaarheid: Het biedt een transparante, wiskundig onderbouwde basis voor het filteren en wegen van data, wat cruciaal is voor veilige en betrouwbare surveillance-systemen.
• Generalisatie: Het bewijst dat herkenbaarheid een universeel concept is dat over modaliteiten (gezicht en lichaam) kan worden gemodelleerd, zolang het gekoppeld blijft aan de embedding-ruimte van de encoder.

Kortom, TransFIRA stelt een unificerend, geometrisch gedreven framework voor dat de nauwkeurigheid, uitlegbaarheid en het toepassingsbereik van herkenbaarheidsschatting aanzienlijk verbetert.