Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

Sintesi Tecnica: Miglioramento della Demorfizzazione Facciale da Singola Immagine mediante Modelli Linguistici Multimodali di Grande Dimensione

Enunciato del Problema
I sistemi di riconoscimento facciale sono vulnerabili in modo critico agli attacchi di morfizzazione, in cui viene creata un'immagine composita per corrispondere simultaneamente a più identità, facilitando la frode d'identità e l'accesso non autorizzato. Sebbene i metodi esistenti di Rilevamento degli Attacchi di Morfizzazione (MAD) possano identificare se un'immagine è stata morfizzata, generalmente non riescono a recuperare i volti o le identità originali costituenti, limitandone l'utilità forense. Questo articolo affronta la sfida della demorfizzazione facciale da singola immagine senza riferimento: il compito di decomporre un'unica immagine morfizzata nei suoi due volti originali costituenti senza accesso a un'immagine di riferimento attendibile. Si tratta di un problema inverso mal posto, poiché teoricamente infinite coppie di volti potrebbero generare la stessa morfizzazione, in particolare quando la morfizzazione è creata utilizzando modelli generativi avanzati (ad es. StyleGAN, modelli di diffusione) che intrecciano le caratteristiche identitarie negli spazi latenti.

Metodologia
Gli autori propongono un nuovo framework che riformula la demorfizzazione facciale come un problema di generazione condizionata accoppiata guidata semanticamente. Il nucleo dell'approccio coinvolge un Modello Probabilistico di Diffusione Denoising Accoppiato (DDPM) che opera direttamente nel dominio RGB, potenziato da Modelli Linguistici Multimodali di Grande Dimensione (MLLM) per la condizionamento semantico.

1. Processo di Diffusione Accoppiato: A differenza dei metodi precedenti che ricostruiscono i volti in modo indipendente o operano in spazi latenti compressi, questo metodo tratta i due volti costituenti come un'entità accoppiata $(i_1, i_2)$. Il processo di diffusione in avanti aggiunge rumore allo spazio congiunto a 6 canali (due immagini a 3 canali) simultaneamente. Ciò impone una dipendenza tra le uscite, garantendo che il processo inverso di denoising generi entrambi i volti congiuntamente, preservando così la relazione intrinseca stabilita dal processo di morfizzazione e prevenendo soluzioni degeneri (ad es. l'output della stessa immagine morfizzata due volte).
2. Condizionamento Guidato da MLLM: Invece di affidarsi esclusivamente alla generazione di testo o a caratteristiche visive grezze, il metodo estrae rappresentazioni degli stati nascosti da livelli intermedi di trasformatori di un MLLM preaddestrato (specificamente Qwen3-VL e LLaVA-1.6). Questi embedding catturano il ragionamento semantico di alto livello su attributi facciali, indizi identitari e caratteristiche strutturali.
   • Gli stati nascosti dell'MLLM vengono proiettati e iniettati nella rete UNet di diffusione tramite meccanismi di attenzione incrociata.
   • Crucialmente, il metodo bypassa il ciclo perdente di generazione del testo e della sua ricodifica; utilizza direttamente le capacità di ragionamento multimodale interne dell'MLLM per guidare la rete di denoising.
3. Operazione nel Dominio RGB: Il modello di diffusione opera direttamente sui dati dei pixel (risoluzione 256x256) piuttosto che negli spazi latenti. L'input alla rete di denoising a ogni passo consiste nella coppia target rumorosa concatenata con l'immagine morfizzata originale (9 canali totali), permettendo alla rete di prestare attenzione a dettagli percettivi fini (capelli, sfondo, texture) spesso persi nelle rappresentazioni latenti.

Contributi Chiave

• Framework Senza Riferimento Guidato da Prompt: Gli autori introducono un sistema di demorfizzazione senza riferimento che sfrutta gli MLLM per iniettare ragionamento semantico di alto livello nel processo di ricostruzione.
• Generazione Condizionata Accoppiata: Formulano il problema come un compito di generazione congiunta, consentendo la ricostruzione simultanea di due identità distinte da un'unica morfizzazione mantenendo la coerenza.
• Strategia di Condizionamento Innovativa: Viene introdotta una nuova strategia che utilizza gli stati nascosti intermedi degli MLLM come segnali di condizionamento, combinando la guida semantica con il condizionamento diretto della morfizzazione nel dominio RGB.
• Analisi di Ablazione Completa: Lo studio fornisce un'analisi estesa sull'impatto delle profondità degli embedding degli MLLM (livelli iniziali, intermedi, finali), sulla superiorità della demorfizzazione nel dominio RGB rispetto a quella nello spazio latente e sui vantaggi degli embedding completi degli MLLM rispetto alle caratteristiche ViT grezze.

Risultati
Il metodo proposto è stato valutato su molteplici benchmark che coprono tecniche di morfizzazione basate su punti di riferimento (AMSL, OpenCV, FaceMorph, WebMorph) e basate sull'apprendimento (StyleGAN, MorDiff).

• Ripristino dell'Identità: Sulle morfizzazioni basate su punti di riferimento, il metodo raggiunge una Precisione di Ripristino (RA) superiore al 96% a un Tasso di Falso Riconoscimento (FMR) rigoroso dello 0,1% utilizzando sia i matcher ArcFace che AdaFace.
• Morfizzazioni Generative: Sulle morfizzazioni StyleGAN complesse, il metodo supera significativamente le linee di base esistenti. Ad esempio, raggiunge una RA del 9,13% a un FMR dello 0,1% (ArcFace), un miglioramento sostanziale rispetto ai precedenti metodi basati su GAN (ad es. lc-GAN al 2,12%).
• Fedeltà dell'Immagine: Il metodo dimostra una qualità percettiva superiore, con guadagni PSNR di 6–9 dB rispetto ai metodi esistenti su vari dataset.
• Prestazioni di Recupero: Nei compiti di recupero con una vasta galleria di distrattori, il metodo raggiunge un mAP@1 del 94,67%, superando tutti gli approcci concorrenti, in particolare sulle morfizzazioni StyleGAN dove migliora il mAP@1 di oltre l'8% rispetto al metodo successivo migliore.

Significato e Affermazioni
L'articolo afferma che il suo significato principale risiede nello spostamento del paradigma della demorfizzazione da un'ottimizzazione puramente basata sui pixel o nello spazio latente a una generazione guidata semanticamente. Sfruttando le capacità di ragionamento degli MLLM, il metodo può disintrecciare identità fortemente intrecciate nelle morfizzazioni generative moderne.

Gli autori sottolineano che:

1. I livelli intermedi degli MLLM codificano le rappresentazioni più discriminative per l'identità, bilanciando il dettaglio strutturale e l'astrazione semantica.
2. La demorfizzazione nel dominio RGB è fondamentalmente superiore agli approcci nello spazio latente per questo compito, poiché preserva i segnali spaziali fini necessari per il recupero dell'identità.
3. Il condizionamento diretto sugli stati nascosti è più efficace del condizionamento basato sul testo, poiché evita colli di bottiglia informativi e mantiene sottili indizi visivi.

Il lavoro conclude che l'integrazione della semantica dei modelli fondazionali con la ricostruzione generativa offre una soluzione robusta per la sicurezza biometrica, in particolare in scenari forensi dove le immagini di riferimento non sono disponibili. Gli autori riconoscono che rimangono sfide nella gestione di morfizzazioni generative altamente intrecciate e nella riduzione dei costi computazionali del condizionamento MLLM, ma i risultati stabiliscono un nuovo stato dell'arte per la demorfizzazione facciale senza riferimento.