Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

Technisches Resümee: Verbesserung der Gesichtserkennung bei niedriger Auflösung unter begrenzten Daten

Problemstellung
Gesichtserkennungssysteme (Face Recognition, FR), die in der Videoüberwachung eingesetzt werden, sehen häufig mit Gesichtern in niedriger Auflösung (Low-Resolution, LR) konfrontiert, bei denen der Gesichtsbereich unter der standardmäßigen Eingangsgröße von 112 × 112 Pixeln liegt (z. B. 16–32 Pixel). Während hochauflösende (HR) Trainingsdaten reichlich vorhanden sind, sind gelabelte native LR-Daten und – entscheidend – gepaarte native LR/HR-Daten knapp. Dieser Mangel erschwert das Training robuster Modelle für Edge-Geräte. Ein gängiger Umweg besteht darin, LR-Daten aus verfügbaren HR-Gesichtern zu synthetisieren; es bleibt jedoch unklar, ob der Aufwand, der in komplexe Synthesestrategien investiert wird, tatsächlich zu einer verbesserten Erkennungsgenauigkeit auf realen LR-Daten führt. Darüber hinaus wirft dieser Kontext Fragen der Fairness auf, da die Degradation demografische Gruppen ungleichmäßig beeinflussen kann.

Methodik
Die Autoren präsentieren eine systematische Studie über Strategien zur Synthese von synthetischen Daten für ein kompaktes, auf Edge-Geräte ausgerichtetes Backbone (EdgeFace-S) unter begrenzten LR-Daten. Sie evaluieren fünf Adaptionsstrategien über drei Ebenen des „Syntheseaufwands“ hinweg:

1. Geringer Aufwand (Interpolations-Augmentierung): Eine deterministische Kette, die HR-Gesichter mittels kubischer oder Flächen-Interpolation (Area Interpolation) auf spezifische Auflösungen (56, 28, 14 oder 7 px) herunterskaliert, gefolgt von einer Hochskalierung zurück auf 112 px. Das Modell wird end-to-end auf diesen augmentierten Daten neu trainiert.
2. Mittlerer Aufwand (Generative Degradation): Verwendung einer Real-ESRGAN-ähnlichen stochastischen Degradations-Pipeline (zufälliger Blur, Resizing, Rauschen und JPEG-Kompression), um realistische LR-Trainingsgesichter zu synthetisieren. Dies beinhaltet das Training eines nativen 32-px-Stems (der den Standard-Stem durch eine 1×1-Konvolution ersetzt), um die degradierten Bilder direkt aufzunehmen.
3. Hoher Aufwand (Gelerntes Super-Resolution Front-End): Ein zweistufiger Ansatz, bei dem ein identitätsbewusstes Super-Resolution (SR) Front-End (unter Verwendung von ESPCN- oder RRDB-Architekturen) vortrainiert wird, um HR-ähnliche Bilder aus 32-px-Eingaben zu rekonstruieren. Darauf folgt ein gemeinsames kontrastives Training mit einem Prepended Domain Transformer (PDT) Translator, der alles in ein eingefrorenes, stärkeres Backbone (EdgeFace-base) einspeist.

Die Studie evaluiert zudem Knowledge Distillation (KD), bei der ein HR-trainierter Teacher einen LR-Studenten leitet.

Evaluationsprotokoll
Die Autoren adressieren die „Synthetik–Real-Lücke“ (Synthetic–Real Gap), indem sie alle Strategien auf zwei unterschiedlichen Datentypen testen:

• Synthetische Benchmarks: Standard-Verifikationsdatensätze (LFW, CFP-FP, AgeDB-30), die synthetisch auf verschiedene Auflösungen degradiert wurden.
• Reale native LR: Der TinyFace-Datensatz, eine reale Sammlung von LR-Gesichtern, ausgewertet unter zwei Alignment-Pipelines (ausgerichtete Crops mit Padding und der Differentiable Face Aligner).

Wichtigste Ergebnisse

• Die Synthetik–Real-Lücke: Die Degradationseinstellung, die auf synthetischen Benchmarks die optimale Leistung erzielt (28 px mit kubischer Herunterskalierung/Flächen-Hochskalierung, bezeichnet als 28 ↓c/↑a), schneidet auf realen nativen LR-Daten (TinyFace) oft schlecht ab, teilweise sogar schlechter als die HR-trainierte Baseline. Im Gegensatz dazu erweist sich eine mildere synthetische Einstellung (56 ↓c/↑a) als am effektivsten auf realen LR-Daten.
• Nicht-monotone Erträge beim Aufwand: Ein erhöhter Syntheseaufwand garantiert keine besseren Ergebnisse.
  • Beim kompakten Backbone (EdgeFace-S) ist die einfache Interpolations-Augmentierung (56 ↓c/↑a) die einzige Strategie, die sich gegenüber der direkten Feed-Baseline verbessert.
  • Knowledge Distillation liefert die größten Gewinne auf synthetischen Daten, überträgt sich jedoch nicht auf reale LR-Daten.
  • Gelerntes SR Front-End: Selbst mit identitätsbewusster Vortrainierung und gemeinsamem Training kann die gelernte SR+PDT-Pipeline nicht die direkte Einspeisung des ausgerichteten LR-Bildes in ein starkes, eingefrorenes Backbone übertreffen. Die visuelle Qualität der rekonstruierten Gesichter überträgt sich nicht in Erkennungsgewinne.
• Fairness: Während die LR-bewusste Synthese die durchschnittliche Genauigkeit verbessert, reduziert sie die demografische Verzerrung (Bias) nicht systematisch. Die Disparität der Falsch positiv Rate (FMR) über die Gruppen African, Asian, Caucasian und Indian im RFW-Datensatz bleibt inkonsistent oder verschlechtert sich, je nach Trainingsauflösung.

Bedeutung und Schlussfolgerungen
Das Paper kommt zu dem Schluss, dass generative Methoden für die LR-Gesichtserkennung auf realen LR-Daten und gegen eine Direct-Feed-Baseline validiert werden müssen, anstatt sich allein auf synthetische Degradations-Benchmarks zu verlassen. Die Autoren argumentieren:

1. Optimale Einstellungen unterscheiden sich je nach Domäne: Die „beste“ synthetische Degradation ist nicht die beste für den realen Einsatz.
2. Einfachheit gewinnt oft: Für neu zu trainierende kompakte Modelle ist die Low-Effort-Interpolations-Augmentierung überlegen gegenüber komplexen generativen Pipelines.
3. Bedeutung der Baseline: Ein gelerntes SR Front-End ist nicht als Standalone-Lösung nützlich, wenn ein starkes Backbone das ausgerichtete Bild direkt empfangen kann; Rekonstruktions-Pipelines sollten nur dann als vorteilhaft bezeichnet werden, wenn sie diese Direct-Feed-Baseline übertreffen.
4. Fairness-Limitierung: Genauigkeitsgewinne durch Synthese lösen demografische Verzerrungen nicht automatisch auf.

Die Autoren stellen ihre Pipeline zur Verfügung, um die Validierung auf realen nativen LR-Daten zu fördern, und betonen, dass die Abstimmung des Syntheseaufwands auf die Einsatzbedingungen (kompaktes vs. starkes Backbone) für die praktische Anwendung entscheidend ist.