Optimizing Image Preparation and Compression for Face Recognition within 1024 Bytes

Technische Samenvatting: Optimalisatie van Beeldvoorbereiding en Compressie voor Gezichtsherkenning binnen 1024 Bytes

Probleemstelling
ICAO-conforme Machine Readable Travel Documents (MRTD's) slaan doorgaans biometrische gezichtsreferenties op als JPEG- of JPEG 2000-afbeeldingen op RFID-chips. Echter, tijdelijke reisdocumenten missen vaak een RFID-chip vanwege kosten- en uitgiftetijdbeperkingen, en vertrouwen in plaats daarvan op 2D-barcodes voor machineleesbaarheid. Een kritieke beperking van 2D-barcodes is hun beperkte opslagcapaciteit. Deze studie adresseert de uitdaging om te voldoen aan de strikte limiet van 1024 bytes voor het opslaan van conforme gezichtsafbeeldingen, terwijl voldoende prestaties voor gezichtsherkenning behouden blijven. Het onderzoek richt zich specifief op twee toepassingsscenario's: een algemene vergelijking tegen een diverse dataset (om variabele kwaliteit van de probe te simuleren) en een specifiek scenario voor Automated Border Control (ABC) poorten, waarbij de probe-afbeeldingen van hoge kwaliteit en strikt frontaal zijn.

Methodologie
De auteurs hebben een uitgebreid optimalisatieproces uitgevoerd met behulp van de ColorFERT-database, die 11.128 afbeeldingen bevat. De dataset werd verdeeld in een "volledige dataset" (11.128 afbeeldingen), een "frontale dataset" (2.638 frontale afbeeldingen) en een "parameterzoekdataset" (100 afbeeldingen) voor iteratieve afstemming.

Het experimentele kader omvatte de volgende stappen:

1. Beeldvoorverwerking: Gezichten werden gedetecteerd, uitgelijnd en bijgesneden met behulp van het SCRFD-model en de Face Image Quality Assessment Toolkit (FIQAT). Afbeeldingen werden geschaald naar 112×112 pixels (de inputvereiste voor de feature extractor) om een baseline vast te stellen.
2. Compressie-algoritmen: Zeven algoritmen werden geëvalueerd: JPEG, JPEG 2000, JPEG XL, JPEG AI, AVIF, HEIF en WebP.
3. Optimalisatieparameters: De studie optimaliseerde vijf categorieën parameters:
   • Algoritmekeuze: Vergelijking van de zeven codecs.
   • Algoritme-instellingen: Afstemming van CLI-parameters (bijv. kwaliteit, snelheid, blokgroottes) voor elke codec.
   • Kleur versus Grijswaarden: Evaluatie van de impact van het converteren van 24-bit kleurafbeeldingen naar 8-bit grijswaarden.
   • Resolutie: Testen van resoluties variërend van 56×56 tot 224×224 (waarbij wordt opgemerkt dat JPEG AI ≥160×160 vereist).
   • Beeldmanipulatie: Toepassen van voorverwerking op "minder belangrijke" gezichtsregio's (achtergrond) om compressie te ondersteunen. Technieken omvatten het uniform maken van achtergrondpixels naar zwart/wit, het toepassen van een 3×3 mean kernel (blurring), en low-pass filtering. Twee benaderingen definieerden deze regio's: een rechthoekige bounding box rond landmarks en een OFIQ landmark-gebaseerde aanpak.
4. Evaluatiemetrieken:
   • Zelfgelijkenis: Cosinus-gelijkenis tussen feature-vectoren van de originele en gecomprimeerde afbeeldingen (gebruikt voor parameterafstemming).
   • Gezichtsherkenningsprestaties: False Match Rate (FMR) en False Non-Match Rate (FNMR) met behulp van het AdaFace-model (ViT-KPRPE architectuur).
   • Scenario's:
     • Volledige Vergelijking: Gecomprimeerde frontale afbeeldingen versus de volledige dataset (FMR drempelwaarde 0,01%).
     • Frontale Vergelijking: Gecomprimeerde frontale afbeeldingen versus uitsluitend de frontale dataset (FMR drempelwaarde 0,0001%), wat hoogwaardige ABC-poort probes simuleert.
   • Kwaliteitsbeoordeling: Error vs. Discard Characteristic (EDC) curves met behulp van OFIQ UQS en ViT-FIQA(C).

Belangrijkste Bijdragen

• Uitgebreide Algoritme Benchmarking: De studie biedt een vergelijkende analyse van zeven compressiestandaarden, incluser de recent gestandaardiseerde JPEG AI, onder een strikte 1024-byte beperking.
• Optimalisatiestrategie: Het introduceert een meerfasig optimalisatieproces dat resolutievermindering, conversie van kleurruimte en gerichte beeldmanipulatie (het gladstrijken van niet-kritieke regio's) integreert om de herkenningsprestaties te maximaliseren.
• Scenario-specifieke Aanbevelingen: Het artikel maakt onderscheid tussen algemene gebruikssituaties en scenario's met hoge kwaliteit bij ABC-poorten, waarbij wordt aangetoond dat optimale parameters aanzienlijk verschillen op basis van de kwaliteit van de probe-afbeelding.
• Inzichten in Voorverwerking: Het onderzoek valideert dat het verlagen van de resolutie en het toepassen van smoothing op niet-kritieke gezichtsgebieden de negatieve effecten van agressieve verlieslatende (lossy) compressie kan verzachten.

Resultaten

• Algoritme Prestaties:
  • JPEG AI: Wanneer geoptimaliseerde instellingen worden gebruikt (specifiek grijswaardenconversie en full-image blurring), behaalde JPEG AI de beste gezichtsherkenningsprestaties in het Frontal Comparison scenario (ABC gate), waarbij het in sommige metrieken zelfs de ongecomprimeerde baseline-afbeeldingen overtrof vanwege de ruisonderdrukking.
  • AVIF en WebP: Beiden boden robuuste resultaten in beide scenario's, wat hen sterke alternatieven maakt.
  • JPEG: Hoewel over het algemeen slecht voor kleurafbeeldingen bij deze grootte, presteerde geoptimaliseerde grijswaarden-JPEG met smoothing verrassend goed in het beperkte Frontal Comparison scenario, waarmee het ongecomprimeerde baselines overtrof.
  • HEIF en JPEG 2000: Deze presteerden over het algemeen minder goed dan de topkandidaten in sterke lossy compressiescenario's.
• Kleur versus Grijswaarden:
  • Voor de Full Comparison (variabele kwaliteit) leverden kleurafbeeldingen over het algemeen betere herkenningsprestaties, behalve voor JPEG, dat grijswaarden vereiste om aan de groottebeperking te voldoen.
  • Voor de Frontal Comparison (hoge kwaliteit) bleken grijswaarden superieur. De opslagbesparing maakte een betere preservatie van contrastdetails mogelijk, wat het verlies van chromatische informatie compenseerde.
• Resolutie en Manipulatie: Lagere resoluties (bijv. 56×56 of 96×96) presteerden over het algemeen beter dan de standaard 112×112 resolutie wanneer deze in combinatie met compressie werd gebruikt, omdat ze de noodzaak voor agressieve kwantisatie verminderden. Het gladstrijken (smoothing) van de achtergrond of de gehele afbeelding (afhankelijk van het algoritme) verbeterde de resultaten consistent.
• Kwaliteitsbeoordeling: Zowel OFIQ UQS als ViT-FIQA(C) konden de gecomprimeerde afbeeldingen succesvol verwerken. ViT-FIQA(C) vertoonde een betere discriminatie voor grijswaardenafbeeldingen, terwijl OFIQ UQS iets beter presteerde voor kleurvarianten.

Betekenis en Claims
Het artikel claimt dat het opslaan van gezichtsafbeeldingen voor geautomatiseerde grenscontrole binnen 1024 bytes haalbaar is zonder het systeem onbruikbaar te maken. De auteurs stellen dat met de juiste parameterafstemming — specifiek het gebruik van JPEG AI, AVIF of WebP, gecombineerd met resolutievermindering en beeldsmoothing — de gezichtsherkenningsprestaties behouden of zelfs licht kunnen verbeteren in scenario's met hoogwaardige probes door de ruisonfilterende eigenschappen van compressie.

De studie benadrukt een verschuiving ten opzichte van eerdere bevindingen (verwezen als [5]), waarbij wordt opgemerkt dat de specifieke beperkingen van ABC-poorten (hoogwaardige, frontale probes) andere optimalisatiestrategieën bevoordelen (bijv. grijswaardenconversie) vergeleken met algemene scenario's. De auteurs concluderen dat hoewel sterke lossy compressie artefacten introduceert, de strategische reductie van resolutie en manipulatie van niet-kritieke beeldgebieden de prestatieverslechtering effectief kan mitigeren, waardoor het gebruik van kosteneffectieve 2D-barcodes voor tijdelijke reisdocumenten mogelijk wordt.