Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

Technische Samenvatting: Verbeteren van gezichtsherkenning bij lage resolutie onder beperkte data

Probleemstelling
Gezichtsherkenningssystemen (FR) die worden ingezet in surveillance, krijgen vaak te maken met gezichten met een lage resolutie (LR), waarbij het gezichtsbereik onder de standaard 112 × 112 inputgrootte valt (bijv. 16–32 pixels). Hoewel High-Resolution (HR) trainingsdata overvloedig aanwezig is, zijn gelabelde native-LR data en, cruciaal, gepaard gaande native-LR/HR data schaars. Deze schaarste belemmert het trainen van robuuste modellen voor edge-devices. Een veelgebruikte workaround is het synthetiseren van LR-data uit beschikbare HR-gezichten; het blijft echter onduidelijk of de inspanning die wordt geïnvesteerd in complexe synthese-strategieën zich vertaalt in verbeterde herkenningsnauwkeurigheid op echte LR-data in de echte wereld. Bovendien roept deze setting zorgen op over eerlijkheid (fairness), aangezien degradatie demografische groepen ongelijk kan beïnvloeden.

Methodologie
De auteurs presenteren een systematische studie naar synthetische datageneratiestrategieën voor een compacte backbone gericht op edge-devices (EdgeFace-S) onder beperkte LR-data. Ze evalueren vijf adaptatiestrategieën over drie niveaus van "synthese-inspanning":

1. Lage Inspanning (Interpolatie Augmentatie): Een deterministische keten bestaande uit het downsamplen van HR-gezichten naar specifieke resoluties (56, 28, 14 of 7 px) met behulp van cubic of area interpolatie, gevolgd door het upsamplen naar 112 px. Het model wordt end-to-end hertraind op deze uitgebreide data.
2. Gemiddelde Inspanning (Generatieve Degradatie): Het gebruik van een Real-ESRGAN-stijl stochastische degradatiepipeline (willekeurige blur, resizing, ruis en JPEG-compressie) om realistische LR-trainingsgezichten te synthetiseren. Dit omvat het trainen van een native 32 px stem (waarbij de standaard stem wordt vervangen door een 1×1 convolutie) om de gedegradeerde afbeeldingen direct te accepteren.
3. Hoge Inspanning (Geleerd Super-Resolutie Front-End): Een tweefasige aanpak waarbij een identiteitsbewuste super-resolutie (SR) front-end (met behulp van ESPCN of RRDB architecturen) vooraf wordt getraind om HR-achtige afbeeldingen te reconstrueren uit 32 px inputs. Dit wordt gevolgd door gezamenlijke contrastieve training met een Prepended Domain Transformer (PDT) translator, wat alles samen voedt in een bevroren, sterkere backbone (EdgeFace-base).

De studie evalueert ook Knowledge Distillation (KD), waarbij een HR-getrainde teacher de LR student begeleidt.

Evaluatieprotocol
De auteurs pakken de "synthetic–real gap" aan door alle strategieën te evalueren op twee verschillende soorten data:

• Synthetische Benchmarks: Standaard verificatiesets (LFW, CFP-FP, AgeDB-30) die synthetisch zijn gedegradeerd naar verschillende resoluties.
• Echte Native-LR: De TinyFace dataset, een echte collectie van LR-gezichten, geëvalueerd onder twee alignment-pipelines (aligned crops met padding en de Differentiable Face Aligner).

Belangrijkste Resultaten

• De Synthetic–Real Gap: De degradatie-instelling die optimale prestaties levert op synthetische benchmarks (28 px met cubic-down/area-up, aangeduid als 28 ↓c/↑a) presteert slecht op echte native-LR data (TinyFace), vaak slechter dan de HR-getrainde baseline. Daarentegen blijkt een mildere synthetische instelling (56 ↓c/↑a) het meest effectief op echte LR-data.
• Niet-monotoon rendement op inspanning: Toenemende synthese-inspanning garandeert geen betere resultaten.
  • Op de compacte backbone (EdgeFace-S) is eenvoudige interpolatie-augmentatie (56 ↓c/↑a) de enige strategie die de direct-feed baseline verbetert.
  • Knowledge Distillation levert de grootste winst op synthetische data, maar faalt bij de transfer naar echte LR.
  • Geleerde SR Front-Ends: Zelfs met identiteitsbewuste pretraining en gezamenlijke training, slaagt de geleerde SR+PDT pipeline er niet in om een directe feed van de uitgelijnde afbeelding in een sterke, bevroren backbone te overtreffen. De visuele kwaliteit van de gereconstrueerde gezichten vertaalt zich niet in herkenningswinst.
• Fairness: Hoewel LR-bewuste synthese de gemiddelde nauwkeurigheid verbetert, vermindert het de demografische bias niet systematisch. De discrepantie in de False Match Rate (FMR) over Afrikaanse, Aziatische, Kaukasische en Indiase groepen op de RFW-dataset blijft inconsistent of verslechtert afhankelijk van de trainingsresolutie.

Betekenis en Conclusies
Het artikel concludeert dat generatieve methoden voor LR-gezichtsherkenning gevalideerd moeten worden op echte LR-data en tegenover een direct-feed baseline, in plaats van enkel te vertrouwen op synthetische degradatie-benchmarks. De auteurs stellen het volgende:

1. Optimale instellingen verschillen per domein: De "beste" synthetische degradatie is niet de beste voor inzet in de echte wereld.
2. Eenvoud wint vaak: Voor hertrainbare compacte modellen is lage-inspanning interpolatie-augmentatie superieur aan complexe generatieve pipelines.
3. Belang van de baseline: Een geleerde SR front-end is niet nuttig als een op zichzelf staande oplossing als een sterke backbone de uitgelijnde afbeelding direct kan ontvangen; restauratie-pipelines mogen alleen als voordelig worden beschouwd als ze deze direct-feed baseline overtreffen.
4. Beperking van Fairness: Nauwkeurigheidswinst door synthese lost demografische bias niet automatisch op.

De auteurs stellen hun pipeline beschikbaar om validatie op echte native-LR data aan te moedigen, waarbij zij benadrukken dat het afstemmen van de synthese-inspanning op de inzetbeperkingen (compact versus sterke backbone) cruciaal is voor praktische toepassing.