Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding

Die vorgestellte Arbeit stellt eine neuartige, semantisch geführte Zwei-Stage-GAN-Architektur mit hybrider perceptueller Kodierung vor, die durch die Kombination von CNNs und Vision Transformern sowie einen Multi-Modal-Texture-Generator hochqualitative Gesichtsrekonstruktionen auch bei großen, unregelmäßigen Masken ermöglicht und dabei die Identität sowie strukturelle Konsistenz verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein altes, geliebtes Familienfoto. Leider ist ein großer Teil davon von einem Kaffeeleck verschmiert oder von einer Katze zerrissen worden. Die Aufgabe, die in diesem Papier beschrieben wird, ist wie ein digitaler Kunstrestaurator, der genau diese fehlenden Teile so perfekt wiederherstellt, dass niemand merkt, dass sie jemals weg waren.

Hier ist die einfache Erklärung der Idee dahinter, ohne komplizierte Fachbegriffe:

Das Problem: Warum ist das so schwer?

Wenn man einem Computer sagt: "Fülle diesen fehlenden Fleck aus", neigt er oft dazu, einfach nur Farben zu mischen. Das Ergebnis sieht dann oft aus wie ein verschwommener Matsch oder die Gesichter haben seltsame Eigenschaften (z. B. ein Auge, das schief sitzt, oder eine Nase, die in die falsche Richtung zeigt). Der Computer versteht nicht die Logik eines Gesichts, er sieht nur Pixel.

Die Lösung: Ein zweistufiger Bauplan

Die Forscher aus Indien haben eine neue Methode entwickelt, die wie ein kluger Architekt und ein talentierter Maler zusammenarbeitet. Sie teilen die Arbeit in zwei klare Schritte auf:

Schritt 1: Der Architekt (Der "Semantische Plan")

Stellen Sie sich vor, Sie wollen ein Haus bauen. Bevor Sie die Ziegelsteine (die Details) setzen, zeichnen Sie erst einen Grundriss.

• Was passiert hier? Das System schaut sich das beschädigte Foto an und fragt sich: "Was fehlt eigentlich?" Es erstellt einen unsichtbaren, probabilistischen Plan. Es weiß: "Hier muss ein Auge sein, dort eine Nase, und der Mund gehört in die Mitte."
• Der Trick: Sie nutzen zwei Arten von "Gehirnen" gleichzeitig:
  1. Ein CNN (wie ein Mikroskop), das kleine Details und Texturen sieht.
  2. Ein Transformer (wie ein Globetrotter), der den großen Zusammenhang versteht und weiß, wie ein ganzes Gesicht zusammenhängt.
• Das Ergebnis: Ein grober, aber logisch korrekter Bauplan des Gesichts, auch wenn große Teile fehlen.

Schritt 2: Der Maler (Die "Textur-Verfeinerung")

Jetzt, wo der Architekt den Plan hat, kommt der Maler ins Spiel.

• Was passiert hier? Der Maler nimmt den Plan und füllt ihn mit Leben. Er holt sich Informationen aus den noch intakten Teilen des Fotos (z. B. wie die Haut auf der anderen Wange aussieht) und malt die fehlenden Stellen so detailliert nach, dass sie perfekt passen.
• Der Trick: Er nutzt eine Art "Achtung-Modus" (Attention), der sicherstellt, dass die neuen Haare oder die Hautstruktur genau so aussehen wie im Rest des Bildes. Außerdem ist er kreativ: Er kann verschiedene Versionen malen (z. B. leicht andere Augenbrauen), damit das Ergebnis nicht immer gleich aussieht, sondern natürlich wirkt.

Warum ist das besser als alles andere?

Frühere Methoden haben oft versucht, das Bild direkt "Pixel für Pixel" zu reparieren. Das ist wie wenn man versucht, ein Puzzle zu lösen, indem man die Teile einfach zufällig aneinanderklebt.

• Das Neue: Diese Methode denkt erst über die Bedeutung nach (Wo gehört was hin?) und malt dann erst die Details.
• Das Ergebnis: Die Gesichter sehen nicht nur scharf aus, sondern auch "echt". Die Augen sind symmetrisch, die Hautstruktur ist realistisch, und es gibt keine unschönen Ränder oder verschwommenen Stellen.

Ein Bild aus dem Alltag

Stellen Sie sich vor, Sie haben ein Puzzle mit einem riesigen Loch in der Mitte.

• Die alten Methoden würden versuchen, das Loch mit Kleister und zufälligen Farben zu füllen.
• Diese neue Methode würde erst einen Architekten rufen, der sagt: "Hier ist das Herz, hier die Lunge." Dann würde ein Künstler kommen und die fehlenden Teile so malen, dass sie genau in das Puzzle passen, als wären sie nie weg gewesen.

Das Fazit

Die Forscher haben gezeigt, dass ihr System auf zwei großen Datensätzen von Gesichtsdaten (CelebA-HQ und FFHQ) besser funktioniert als alle bisherigen Spitzenmodelle. Es liefert Bilder, die so scharf und natürlich aussehen, dass man kaum noch den Unterschied zum Original erkennen kann.

Kurz gesagt: Sie haben einen digitalen Restaurator gebaut, der nicht nur "sieht", sondern auch "versteht", wie ein Gesicht aufgebaut ist, bevor er anfängt zu malen.

Technische Zusammenfassung

Titel: Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding

Autoren: Abhigyan Bhattacharya, Dr. Hiranmoy Roy, Prof. Debotosh Bhattacharjee (RCC Institute of Information Technology & Jadavpur University, Indien)

---

1. Problemstellung

Das Ziel des Face Inpainting (Gesichtsinpaining) besteht darin, fehlende oder beschädigte Bereiche in Gesichtsbildern so wiederherzustellen, dass die Identität des Individuums, die strukturelle Konsistenz und die fotorealistische Qualität erhalten bleiben.

Trotz Fortschritten in tiefen generativen Modellen bestehen bei bestehenden Methoden erhebliche Herausforderungen, insbesondere bei großen, unregelmäßigen Masken:

• Semantische Inkonsistenz: Direkte Pixelvorhersagen führen oft zu unrealistischen Strukturen (z. B. schief liegende Augen oder verzerrte Gesichtsconturen).
• Textur-Unschärfe: Methoden, die auf reinen Rekonstruktionsverlusten ($\ell_1$ oder $\ell_2$) basieren, neigen zu übermäßig geglätteten Ergebnissen ohne hochfrequente Details.
• Randartefakte: Unzureichende Behandlung der Maskengrenzen führt zu sichtbaren Linien oder Farbunterschieden zwischen dem eingefügten und dem bekannten Bildbereich.
• Eingeschränkte Diversität: Modelle, die immer das gleiche Ergebnis liefern, können die natürliche Variabilität von Gesichtern nicht abbilden.

2. Methodik: Semantic-Guided Two-Stage GAN

Die Autoren schlagen ein neuartiges Zwei-Stufen-Framework vor, das die semantische Layout-Generierung von der Textursynthese trennt. Das System nutzt eine hybride Wahrnehmungs-Kodierung (CNN + Transformer).

Stufe 1: Wahrnehmungsbewusste semantische Layout-Generierung

In dieser Phase wird aus dem maskierten Eingabebild ein probabilistisches semantisches Kartenbild (Semantic Map) erzeugt, das die Struktur des Gesichts vorgibt.

• Hybrider Encoder: Ein Dual-Branch-Encoder verarbeitet die Eingabe:
  • CNN-Zweig: Extrahiert lokale Texturpriors durch konvolutionale Schichten (Residual Blocks).
  • Transformer-Zweig (ViT): Modelliert langreichweitige Abhängigkeiten durch Behandlung des Bildes als Patch-Sequenz (6 Transformer-Schichten, 8 Attention-Köpfe).
  • Fusion: Die Merkmale beider Zweige werden durch eine $1\times1$-Faltung fusioniert.
• Decoder: Erzeugt eine semantische Karte $S$ mit 20 Klassen (z. B. Augen, Nase, Mund), die als strukturelle Richtschnur für die nächste Stufe dient.

Stufe 2: Multi-Modal Texturgenerierung

Diese Stufe synthetisiert die realistischen Texturen basierend auf dem semantischen Layout.

• Multi-Resolution Contextual Attention: Ein Aufmerksamkeitsmodul sammelt Informationen aus verschiedenen Skalen und bekannten Bildbereichen, um fehlende Regionen zu füllen. Es verhindert, dass Informationen von verdeckten zu verdeckten Bereichen fließen.
• Stochastische Textursynthese: Durch das Einfügen von Gaußschem Rauschen in mehreren Decoder-Schichten wird die Modellierung multi-modaler Ausgaben ermöglicht (d. h. das Modell kann verschiedene plausible Gesichter für dieselbe Maske generieren).

Diskriminatoren und Verlustfunktionen

Das Training wird durch drei Diskriminatoren stabilisiert:

1. Globaler Diskriminator ($D_g$): Prüft die Gesamtrealität des Bildes.
2. Lokaler Diskriminator ($D_l$, PatchGAN): Bewertet lokale Texturdetails.
3. Semantik-bewusster Diskriminator ($D_s$): Sicherstellt die strukturelle Konsistenz basierend auf der semantischen Karte.

Der Gesamtverlust ($L_G$) kombiniert:

• Rekonstruktionsverlust ($\ell_1$)
• Semantische Konsistenz (Cross-Entropy)
• Multi-Scale Perceptual Loss (basierend auf VGG-19)
• Kontextueller Randverlust (für glatte Übergänge)
• WGAN-GP Adversarial Loss (für stabiles Training)

Trainingsstrategie

Ein dreiphasiger Trainingsansatz verhindert Mode-Collapse:

1. Phase 1: Fokus auf Rekonstruktion mit schwachem adversariellen Verlust.
2. Phase 2: Adaptive Einführung aller Verlustterme.
3. Phase 3: Stabilisierung mit festen Gewichten.

3. Wichtige Beiträge

1. Hybride CNN-Transformer-Architektur: Kombination der lokalen Induktionsverzerrungen von CNNs mit der globalen Reasoning-Fähigkeit von Vision Transformern für robuste Merkmalsextraktion auch bei großen Masken.
2. Semantisch geführte Generierung: Erzeugung probabilistischer semantischer Karten, die als Leitplanke für die Textursynthese dienen und so strukturelle Fehler minimieren.
3. Multi-Scale Contextual Attention: Ein Modul, das Informationen über verschiedene Skalen hinweg integriert, um sowohl feine Details als auch globale Kohärenz zu gewährleisten.
4. Stabiles Training: Einsatz von WGAN-GP mit progressiver Verlustplanung und speziellen Diskriminatoren für hochwertige Ergebnisse.

4. Ergebnisse und Evaluation

Die Methode wurde auf den Datensätzen CelebA-HQ und FFHQ (jeweils 128x128 Pixel) evaluiert.

• Quantitative Ergebnisse: Das Modell erreichte auf dem Validierungsset folgende Werte:
  • PSNR: 24,8 dB
  • SSIM: 0,912
  • FID: 15,3
  • LPIPS: 0,08 (niedriger ist besser)
• Vergleich mit State-of-the-Art: Da viele Vergleichsmodelle (z. B. DeepFill v2, LaMa) auf 512x512 trainiert wurden, ist ein direkter quantitativer Vergleich unfair. Stattdessen wurden qualitative Vergleiche durchgeführt, die zeigen, dass das vorgestellte Modell bei großen Masken überlegene Texturkonsistenz und strukturelle Wiederherstellung bietet.
• Ablationsstudien: Studien zeigten, dass die Kombination aus Hybrid-Encoder und Attention-Modul die besten Ergebnisse liefert. Reine CNN- oder reine ViT-Modelle schneiden schlechter ab, was die Notwendigkeit der Hybridisierung unterstreicht.
• Effizienz: Das Modell hat ca. 51,6 Mio. Parameter und erreicht eine Inferenzgeschwindigkeit von 88,53 FPS auf einer NVIDIA RTX 3060 (ca. 11,3 ms pro Bild).

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Trennung von semantischer Strukturplanung und Textursynthese ein effektiver Weg ist, um die Grenzen bestehender Inpainting-Methoden zu überwinden. Die hybride Architektur nutzt die Stärken beider Welt (CNN für Details, Transformer für globale Struktur) und adressiert das Problem der semantischen Inkonsistenz bei großen Masken.

Einschränkungen: Bei sehr komplexen Gesichtern mit extrem großen Masken kann die semantische Konsistenz manchmal leiden, und feine Details wie einzelne Haarsträhnen bleiben eine Herausforderung.

Zukünftige Arbeiten: Die Autoren planen, die Methode auf höhere Auflösungen (512x512) zu skalieren, um direkte quantitative Vergleiche mit aktuellen State-of-the-Art-Methoden zu ermöglichen.