Technische Samenvatting: Multi-Attribuut Gesteunde Thermische Gezichtafbeeldingstranslatie op Basis van een Latent Diffusiemodel

Probleemstelling

Moderne surveillancesystemen vertrouwen steeds meer op thermische camera's voor operaties 's nachts, maar de meeste gezichtsherkenningmodellen zijn getraind op zichtbare-lichtdatasets. Deze domeinverschuiving veroorzaakt significante prestatiedegradatie bij het verwerken van infraroodinvoer. Traditionele op kenmerken gebaseerde methoden voor Heterogene Gezichtsherkenning (HFR) hebben zich als inefficiënt bewezen vanwege de schaarse informatie en lage resolutie van thermische beelden. Hoewel Generatieve Adversariale Netwerken (GAN's) een paradigma-verschuiving boden door thermische beelden om te zetten in zichtbare beelden (Thermisch-naar-Zichtbaar of T2V), lijden ze aan onstabiele training, beperkte generalisatie en produceren ze vaak vervormde of onscherpe output.

Recente diffusiemodellen hebben de beeldkwaliteit verbeterd, maar introduceren nieuwe uitdagingen: trage inferentiesnelheden en moeilijkheid om kritieke identiteitsattributen zoals huidskleur, geslacht en leeftijd te behouden. Bestaande op diffusie gebaseerde benaderingen slagen er vaak niet in deze attributen nauwkeurig te vangen vanwege het aanzienlijke gat tussen de thermische en zichtbare domeinen, wat leidt tot verlies van kenmerken en vervorming van de identiteit in gegenereerde beelden.

Methodologie

De auteurs stellen een nieuw raamwerk voor op basis van een Latent Diffusiemodel (LDM) dat is ontworpen om hoogwaardige zichtbare gezichtafbeeldingen te genereren uit thermische invoer, terwijl identiteit en gezichtseigenschappen behouden blijven. De pijplijn bestaat uit drie primaire componenten:

1. Multi-Attribuut Classificatie

Om kenmerkverlies tijdens restauratie te verminderen, hebben de auteurs een classificatie ontwikkeld om belangrijke gezichtseigenschappen (geslacht, leeftijd en huidskleur) direct uit thermische beelden te extraheren.

• Trainingsstrategie: Een vooraf getrainde classificatie (gebaseerd op EfficientNet) wordt eerst getraind op zichtbare beelden met behulp van de FairFace- en UTKFace-datasets. Een kopie van dit netwerk wordt vervolgens getraind op gekoppelde infraroodbeelden.
• Consistentieverlies: Het trainingsdoel dwingt consistentie af tussen de classificatie-uitvoer van de zichtbare en infraroodnetwerken met behulp van Mean Squared Error (MSE). Dit zorgt ervoor dat de infraroodclassificatie attributen op vergelijkbare wijze kan waarnemen als de zichtbare classificatie.
• Promptgeneratie: De classificatieresultaten worden omgezet in tekstprompts (bijvoorbeeld "Een gezicht van {leeftijd} jaar {geslacht} met {huidskleur} huid") en gecodeerd met een aangepaste CLIP-encoder. Deze embeddings fungeren als conditionele invoer voor het diffusiemodel.

2. Self-Attn Mamba Module

Om de computatieve inefficiëntie van standaard diffusiemodellen aan te pakken, vervangen de auteurs de oorspronkelijke multi-head self-attention (MHSA)-lagen door een Self-Attn Mamba module.

• Mechanisme: Deze module maakt gebruik van Selective State Space Models (SSM's) in combinatie met convolutielagen. Het verwerkt invoersequenties via een staat-ruimte representatie ($h_t = Ah_{t-1} + Bx_t$) en hanteert een bidirectionele structuur (BiMamba) om zowel voorwaartse als achterwaartse afhankelijkheden te vangen.
• Voordeel: Dit ontwerp bereikt lineaire complexiteit met betrekking tot de invoerlengte, waardoor efficiënte globale kenmerkmodellering mogelijk is met aanzienlijk minder rekenkundige overhead in vergelijking met traditionele attention-mechanismen.

3. Geconditioneerde Latent Diffusiepijplijn

Het kerngeneratieproces werkt in een latente ruimte in plaats van een pixelruimte, met gebruikmaking van een VQ-VAE-architectuur.

• Architectuur: Het systeem maakt gebruik van twee VQ-VAE-modellen: één voor reconstructie van zichtbare beelden en één voor codering van thermische beelden. Een vooraf getrainde CLIP-encoder (fine-tuned op UTKFace en FairFace) verwerkt de attribuutprompts.
• Denoisingsproces: Een op UNet gebaseerde ruispredictor ($\epsilon_\theta$) verfijnt de latente kenmerken iteratief. Het proces is geconditioneerd op de attribuutembeddings via cross-attention-mechanismen.
• Behoud van Identiteit: Een module voor identiteitsverificatie is geïntegreerd in de trainingslus. Deze berekent een ID-verlies op basis van de cosinusgelijkheid tussen de embeddings van het gegenereerde beeld en een referentie zichtbaar beeld van hetzelfde onderwerp, waardoor structurele en kenmerktrouw wordt gewaarborgd.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Integratie van Multi-Attribuut Classificatie: Het ontwerp van een classificatie binnen het LDM-raamwerk om kritieke gezichtseigenschappen (geslacht, leeftijd, huidskleur) uit thermische beelden te extraheren, die vervolgens worden gebruikt om het generatieproces te sturen.
2. Self-Attn Mamba Module: De introductie van een op Mamba gebaseerde module om standaard self-attention te vervangen, waardoor fijnere globale kenmerkmodellering wordt bereikt tegen lagere rekenkosten en de inferentiesnelheid aanzienlijk wordt verbeterd.
3. State-of-the-Art Prestaties: Het voorstellen van een volledig T2V-raamwerk dat recente GAN- en op diffusie gebaseerde methoden overtreft in zowel beeldkwaliteit als behoud van identiteit over meerdere datasets.

Experimentele Resultaten

De voorgestelde methode is geëvalueerd op twee benchmarkdatasets: ARL-VTF (500.000+ afbeeldingen) en Speaking Faces (142 onderwerpen).

Beeldkwaliteitsmetrieken

Het model vertoonde superieure prestaties in structurele gelijkenis en perceptuele kwaliteit:

• ARL-VTF: Bereikte een SSIM van 0,7642 en een PSNR van 28,54, beter dan baselines zoals T2V-DDPM (SSIM 0,6712) en DiffuseIT. Het registreerde ook de laagste FID (29,15) en LPIPS (0,1813).
• Speaking Faces: Registreerde een SSIM van 0,7455 en een PSNR van 30,11, met een FID van 21,16.

Identiteitsherkenningmetrieken

De methode toonde aanzienlijke verbeteringen in het behoud van identiteit:

• ARL-VTF: Bereikte een Rank-1-nauwkeurigheid van 81,83% en een Verificatiesnelheid bij FAR=1% (VR@FAR) van 62,58%. Dit vertegenwoordigt een winst van 8,3% in VR@FAR ten opzichte van de op één na beste methode (T2V-DDPM).
• Speaking Faces: Bereikte een Rank-1-nauwkeurigheid van 86,35% en VR@FAR=1% van 65,13%.

Efficiëntie en Ablatiestudies

• Inferentiesnelheid: Door de integratie van Self-Attn Mamba, reduceerde het model de inferentietijd tot 36 ms per afbeelding op een NVIDIA Tesla V100, vergeleken met 126 ms voor T2V-DDPM.
• Parameter-efficiëntie: Het voorgestelde model gebruikt 75,96M parameters (37% geheugengebruik), een aanzienlijke reductie ten opzichte van T2V-DDPM (273,68M parameters).
• Ablatie: Experimenten bevestigden dat elke component (Mamba, Classificatie, CLIP) stapsgewijs bijdroeg aan de prestaties. Het volledige model (Variant D) leverde de beste resultaten op, met name in het reproduceren van diverse huidtinten en het behoud van de gezichtstructuur.

Betekenis en Claims

De auteurs claimen dat hun aanpak effectief de fundamentele beperkingen van huidige T2V-methoden aanpakt, specifiek de afweging tussen beeldkwaliteit, behoud van attributen en inferentiesnelheid. Door een multi-attribuut classificatie te combineren met een Latent Diffusiemodel en de efficiënte Self-Attn Mamba module, genereert het raamwerk succesvol hoogtrouw zichtbare beelden uit thermische invoer die kritieke identiteitskenmerken zoals huidskleur, leeftijd en geslacht behouden. De resultaten valideren de effectiviteit van deze hybride architectuur in het overbruggen van cross-modale discrepanties, waarmee een nieuwe state-of-the-art wordt gevestigd voor thermisch-naar-zichtbaar gezichtstranslatie. Toekomstig werk wordt opgemerkt om robuustheid onder variërende thermische omstandigheden te onderzoeken.