Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

Technische Samenvatting: Verbetering van Enkel-Beeld Gelaatsontmorphing met Multimodale Grootte Taalmodellen

Probleemstelling
Gezichtsherkenningssystemen staan voor een kritieke kwetsbaarheid ten opzichte van morph-aanvallen, waarbij een samengesteld beeld wordt vervaardigd dat gelijktijdig overeenkomt met meerdere identiteiten, wat identiteitsfraude en ongeautoriseerde toegang faciliteert. Hoewel bestaande methoden voor het detecteren van morph-aanvallen (MAD) kunnen vaststellen of een beeld gemorphed is, slagen ze er over het algemeen niet in om de samenstellende originele gezichten of identiteiten te herstellen, wat hun forensische bruikbaarheid beperkt. Dit artikel adresseert de uitdaging van enkel-beeld referentievrije gelaatsontmorphing: de taak om een enkel gemorphed beeld te ontleden in zijn twee oorspronkelijke samenstellende gezichten zonder toegang tot een vertrouwde referentieafbeelding. Dit is een slecht gesteld invers probleem, aangezien er theoretisch oneindig veel paren gezichten zijn die hetzelfde morph kunnen genereren, vooral wanneer het morph is gemaakt met geavanceerde generatieve modellen (bijv. StyleGAN, diffusiemodellen) die identiteitskenmerken verstrengelen in latente ruimten.

Methodologie
De auteurs stellen een nieuw raamwerk voor dat gelaatsontmorphing herformuleert als een semantisch geleid gekoppeld conditioneel generatieprobleem. De kern van de aanpak omvat een gekoppeld Denoising Diffusion Probabilistic Model (DDPM) dat direct opereert in het RGB-domein, aangevuld met Multimodale Grootte Taalmodellen (MLLM's) voor semantische conditionering.

1. Gekoppeld Diffusieproces: In tegenstelling tot eerdere methoden die gezichten onafhankelijk reconstrueren of opereren in gecomprimeerde latente ruimten, behandelt deze methode de twee samenstellende gezichten als een gekoppeld entiteit $(i_1, i_2)$. Het voorwaartse diffusieproces voegt ruis toe aan de gezamenlijke 6-kanaals ruimte (twee 3-kanaals afbeeldingen) gelijktijdig. Dit dwingt inter-output afhankelijkheid af, waarbij het omgekeerde denoising-proces ervoor zorgt dat beide gezichten gezamenlijk worden gegenereerd, waardoor de inherente relatie die door het morphingsproces is vastgesteld behouden blijft en degeneratieve oplossingen worden voorkomen (bijv. het tweemaal uitvoeren van het morph).
2. MLLM-Geleide Conditionering: In plaats van te vertrouwen op tekstgeneratie of ruwe visuele kenmerken alleen, extraheert de methode verborgen staatrepresentaties uit tussenliggende transformatorlagen van een vooraf getrainde MLLM (specifiek Qwen3-VL en LLaVA-1.6). Deze embeddings vangen hoogwaardige semantische redenering over gelaatsattributen, identiteitsaanwijzingen en structurele kenmerken.
   • De MLLM-verborgen staten worden geprojecteerd en geïnjecteerd in de diffusi-UNet via cross-attention-mechanismen.
   • Cruciaal omzeilt de methode het verliesrijke cyclus van het genereren van tekst en het opnieuw coderen daarvan; deze maakt direct gebruik van de interne multimodale redeneercapaciteiten van de MLLM om het denoising-netwerk te sturen.
3. Operatie in RGB-Domein: Het diffusiemodel opereert direct op pixeldata (resolutie 256x256) in plaats van in latente ruimten. De invoer voor het denoising-netwerk bij elke stap bestaat uit het verstoord doelpaar dat is samengevoegd met het originele morph-beeld (totaal 9 kanalen), waardoor het netwerk kan letten op fijnkorrelige perceptuele details (haar, achtergrond, texturen) die vaak verloren gaan in latente representaties.

Belangrijkste Bijdragen

• Prompt-gedreven Referentievrij Raamwerk: De auteurs introduceren een referentievrij onmorph-systeem dat MLLM's benut om hoogwaardige semantische redenering in het reconstructieproces te injecteren.
• Gekoppelde Conditionele Generatie: Zij formuleren het probleem als een gezamenlijke generatietak, waardoor gelijktijdige reconstructie van twee verschillende identiteiten uit een enkel morph mogelijk wordt, terwijl consistentie wordt behouden.
• Nieuwe Conditioneringsstrategie: Er wordt een nieuwe strategie geïntroduceerd die tussenliggende MLLM-verborgen staten gebruikt als conditioneringssignalen, semantische begeleiding combinerend met directe RGB-domein morph-conditionering.
• Uitgebreide Ablatie-analyse: De studie biedt uitgebreide analyse van de impact van MLLM-embeddings diepten (eerste, middelste, laatste lagen), de superioriteit van RGB-domein ten opzichte van latente-ruimte onmorphing, en de voordelen van volledige MLLM-embeddings versus ruwe ViT-kenmerken.

Resultaten
De voorgestelde methode werd geëvalueerd op meerdere benchmarks die landmark-gebaseerde (AMSL, OpenCV, FaceMorph, WebMorph) en leer-gebaseerde (StyleGAN, MorDiff) morphing-technieken bestrijken.

• Identiteitsherstel: Op landmark-gebaseerde morphs bereikt de methode een Restoratie Nauwkeurigheid (RA) van meer dan 96% bij een strikte 0,1% False Match Rate (FMR) met zowel ArcFace- als AdaFace-matchers.
• Generatieve Morphs: Op uitdagende StyleGAN-morphs presteert de methode aanzienlijk beter dan bestaande baselines. Bijvoorbeeld, het bereikt 9,13% RA bij 0,1% FMR (ArcFace), een aanzienlijke verbetering ten opzichte van eerdere GAN-gebaseerde methoden (bijv. lc-GAN met 2,12%).
• Beeldtrouw: De methode demonstreert superieure perceptuele kwaliteit, met PSNR-winsten van 6–9 dB ten opzichte van bestaande methoden op diverse datasets.
• Zoekresultaten: In zoekopdrachten met een grote galerij van afleiders bereikt de methode een 94,67% mAP@1, wat alle concurrerende benaderingen overtreft, met name op StyleGAN-morphs waar het mAP@1 met meer dan 8% verbetert ten opzichte van de op één na beste methode.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het verschuiven van het paradigma van onmorphing van puur pixel-gebaseerde of latente-ruimte optimalisatie naar semantisch geleide generatie. Door gebruik te maken van de redeneercapaciteiten van MLLM's, kan de methode identiteiten ontwarren die zwaar verstrengeld zijn in moderne generatieve morphs.

De auteurs benadrukken dat:

1. Tussenliggende MLLM-lagen de meest identiteits-discriminerende representaties coderen, waarbij structurele details en semantische abstractie in evenwicht worden gebracht.
2. RGB-domein onmorphing fundamenteel superieur is aan latente-ruimte benaderingen voor deze taak, omdat het fijnkorrelige ruimtelijke aanwijzingen behoudt die noodzakelijk zijn voor identiteitsherstel.
3. Directe verborgen-staat conditionering effectiever is dan tekst-gebaseerde conditionering, omdat het informatieknelpunten vermijdt en subtiele visuele aanwijzingen behoudt.

Het werk concludeert dat het integreren van fundamentele modelsemantiek met generatieve reconstructie een robuuste oplossing biedt voor biometrische beveiliging, met name in forensische scenario's waar referentieafbeeldingen niet beschikbaar zijn. De auteurs erkennen dat uitdagingen blijven bij het behandelen van sterk verstrengelde generatieve morphs en het verminderen van de rekenkosten van MLLM-conditionering, maar de resultaten stellen een nieuwe state-of-the-art vast voor referentievrije gelaatsontmorphing.