💻 computer science

Multi-Attribute guided Thermal Face Image Translation based on Latent Diffusion Model

Questo articolo propone un nuovo modello di diffusione latente guidato da multi-attributi, potenziato da un modulo Self-attn Mamba, per generare immagini facciali visive di alta qualità a partire da input termici, superando efficacemente gli spostamenti di dominio e preservando le caratteristiche identitarie per migliorare il riconoscimento facciale nell'infrarosso.

Autori originali: Mingshu Cai, Osamu Yoshie, Yuya Ieiri

Pubblicato 2026-05-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mingshu Cai, Osamu Yoshie, Yuya Ieiri

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di identificare un sospetto, ma l'unica foto a tua disposizione è un'immagine termica in bianco e nero, sfocata, scattata di notte. Puoi vedere la firma termica del loro viso, ma non riesci a determinare il colore della pelle, l'età o il genere. La maggior parte dei moderni sistemi di "riconoscimento facciale" è come un detective che sa solo leggere foto chiare e a colori scattate di giorno. Quando gli mostri un'immagine termica, si confondono e falliscono.

Questo articolo presenta un nuovo strumento per aiutare questi detective: un traduttore intelligente che trasforma quelle mappe di calore termiche sfocate in foto chiare e a colori, assicurandosi al contempo che l'identità della persona rimanga esattamente la stessa.

Ecco come gli autori hanno costruito questo traduttore, utilizzando alcune analogie creative:

Il Problema: Il "Divario Termico Sfocato"

I metodi attuali cercano di trasformare le immagini termiche in immagini visibili, ma spesso falliscono in due modi:

Metodi vecchi (GAN): Come un pittore di fretta, spesso producono volti distorti e dall'aspetto strano che non assomigliano per nulla alla persona reale.
Metodi più recenti (Modelli Diffusivi): Questi sono come un artista molto attento che impiega un'eternità per dipingere. Creano immagini di alta qualità, ma spesso sbagliano i dettagli: dipingono un giovane uomo come una donna anziana, o danno a qualcuno il tono di pelle sbagliato. Faticano a mantenere intatta l'"identità".

La Soluzione: Un "Traduttore Intelligente" con Tre Strumenti Speciali

Gli autori hanno costruito un nuovo sistema basato su un Modello Diffusivo Latente (LDM). Immagina questo modello come un maestro pittore che lavora in uno "spazio onirico" (spazio latente) dove può operare più velocemente ed efficientemente rispetto al dipingere su una tela gigante.

Per assicurarsi che il dipinto sia perfetto, hanno aggiunto tre strumenti speciali:

1. Il "Detective degli Attributi" (Classificatore Multi-Attributo)
Prima che il pittore inizi, questo strumento agisce come un detective che osserva l'immagine termica e chiede: "Questa persona è un uomo o una donna? È giovane o anziana? Qual è il suo tono di pelle?"

Come funziona: Il sistema è stato addestrato a guardare le immagini termiche e indovinare questi tratti con la stessa precisione con cui lo farebbe guardando una normale foto a colori.
L'Analogia: È come dare al pittore un biglietto di note dettagliato che dice: "Disegna un uomo di 29 anni con la pelle abbronzata gialla". Questo assicura che la foto finale non assomigli solo a un viso, ma al giusto viso con le caratteristiche corrette.

2. Il "Cervello Veloce" (Self-Attn Mamba)
I modelli AI standard sono come un bibliotecario che deve leggere ogni singolo libro in una biblioteca uno per uno per trovare un fatto specifico. Questo è lento.

L'Innovazione: Gli autori hanno sostituito il meccanismo di "attenzione" standard con qualcosa chiamato Mamba.
L'Analogia: Mamba è come un bibliotecario che può scansionare l'intera biblioteca istantaneamente e prendere il libro giusto in un sol colpo. Permette al sistema di comprendere l'intero viso tutto insieme (modellazione globale) senza impantanarsi, rendendo il processo di traduzione molto più veloce e meno pesante per la memoria del computer.

3. Il "Guardiano dell'Identità" (ID Loss)
Anche con una buona descrizione, il pittore potrebbe accidentalmente cambiare il naso o la linea della mascella della persona.

La Soluzione: Il sistema ha un "guardiano" che controlla costantemente la nuova foto rispetto all'immagine termica originale. Se la nuova foto inizia a sembrare una persona diversa, il guardiano dice: "Fermati! Correggi la linea della mascella!". Questo assicura che l'identità unica della persona venga preservata.

I Risultati: Un Ritratto Migliore

Gli autori hanno testato questo nuovo traduttore su due grandi dataset di immagini facciali termiche e visibili. Hanno confrontato il loro metodo con i migliori strumenti esistenti (sia i "pittori di fretta" che gli "artisti lenti").

Qualità: Le loro foto erano più nitide, avevano colori migliori e sembravano più realistiche (punteggi più alti nelle metriche di qualità dell'immagine).
Identità: Le loro foto erano molto migliori nel mantenere la vera identità della persona. Se si facevano passare queste nuove foto attraverso un sistema standard di riconoscimento facciale, riconoscevano la persona molto più spesso rispetto alle foto prodotte da altri metodi.
Velocità: Grazie al "Cervello Veloce" (Mamba), il loro sistema era significativamente più veloce e utilizzava meno potenza di calcolo rispetto alla concorrenza.

In Sintesi

L'articolo presenta un nuovo modo per trasformare volti termici a visione notturna in ritratti chiari e a colori. Combinando un detective per indovinare i tratti, un cervello veloce per elaborare l'immagine rapidamente e un guardiano per proteggere l'identità, hanno creato un sistema che produce risultati più chiari, più accurati e più veloci rispetto alla tecnologia attuale.

Riepilogo Tecnico: Traduzione di Immagini Facciali Termiche Guidata da Multi-Attributi basata su Modello Diffusivo Latente

Enunciato del Problema

I moderni sistemi di sorveglianza si affidano sempre più a telecamere termiche per le operazioni notturne, tuttavia la maggior parte dei modelli di riconoscimento facciale è addestrata su dataset a luce visibile. Questo spostamento di dominio causa un degrado significativo delle prestazioni durante l'elaborazione di input infrarossi. I metodi tradizionali basati su caratteristiche per il Riconoscimento Facciale Eterogeneo (HFR) si sono rivelati inefficaci a causa delle informazioni scarse e della bassa risoluzione delle immagini termiche. Sebbene le Reti Avversariali Generative (GAN) abbiano offerto un cambio di paradigma convertendo le immagini termiche in immagini visibili (da Termico a Visibile o T2V), soffrono di addestramento instabile, generalizzazione limitata e spesso producono output distorti o sfocati.

I recenti modelli diffusivi hanno migliorato la qualità dell'immagine ma introducono nuove sfide: velocità di inferenza lente e difficoltà nel preservare attributi identitari critici come il colore della pelle, il genere e l'età. Gli approcci esistenti basati sulla diffusione spesso falliscono nel catturare accuratamente questi attributi a causa del divario sostanziale tra i domini termico e visibile, portando a una perdita di caratteristiche e a una distorsione dell'identità nelle immagini generate.

Metodologia

Gli autori propongono un nuovo framework basato su un Modello Diffusivo Latente (LDM) progettato per generare immagini facciali visive di alta qualità da input termici, preservando al contempo l'identità e gli attributi facciali. La pipeline è composta da tre componenti principali:

1. Classificatore Multi-Attributo

Per mitigare la perdita di caratteristiche durante il ripristino, gli autori hanno progettato un classificatore per estrarre attributi facciali chiave (genere, età e colore della pelle) direttamente dalle immagini termiche.

Strategia di Addestramento: Un classificatore pre-addestrato (basato su EfficientNet) viene prima addestrato su immagini visive utilizzando i dataset FairFace e UTKFace. Una copia di questa rete viene quindi addestrata su immagini a infrarossi accoppiate.
Funzione di Perdita di Coerenza: L'obiettivo di addestramento impone la coerenza tra le uscite di classificazione delle reti visibile e infrarossa utilizzando l'Errore Quadratico Medio (MSE). Ciò garantisce che il classificatore infrarosso possa percepire gli attributi in modo simile al classificatore visibile.
Generazione del Prompt: I risultati della classificazione vengono convertiti in prompt testuali (ad esempio, "Un viso di {età} anni {genere} con pelle {tono pelle}") e codificati utilizzando un codificatore CLIP personalizzato. Questi embedding servono come input condizionali per il modello diffusivo.

2. Modulo Self-Attn Mamba

Per affrontare l'inefficienza computazionale dei modelli diffusivi standard, gli autori sostituiscono i livelli originali di auto-attenzione multi-testa (MHSA) con un modulo Self-Attn Mamba.

Meccanismo: Questo modulo utilizza Modelli di Spazio Stato Selettivi (SSM) combinati con livelli convoluzionali. Elabora le sequenze di input tramite una rappresentazione a spazio di stato ( $h_t = Ah_{t-1} + Bx_t$ ) e impiega una struttura bidirezionale (BiMamba) per catturare sia le dipendenze in avanti che quelle all'indietro.
Vantaggio: Questo design raggiunge una complessità lineare rispetto alla lunghezza dell'input, consentendo una modellazione efficiente delle caratteristiche globali con un sovraccarico computazionale significativamente ridotto rispetto ai meccanismi di attenzione tradizionali.

3. Pipeline Diffusiva Latente Condizionata

Il processo di generazione principale opera in uno spazio latente piuttosto che nello spazio dei pixel, utilizzando un'architettura VQ-VAE.

Architettura: Il sistema impiega due modelli VQ-VAE: uno per la ricostruzione dell'immagine visibile e uno per la codifica dell'immagine termica. Un codificatore CLIP pre-addestrato (affinato su UTKFace e FairFace) elabora i prompt degli attributi.
Processo di Denoising: Un predittore di rumore basato su UNet ( $\epsilon_\theta$ ) affina iterativamente le caratteristiche latenti. Il processo è condizionato sugli embedding degli attributi tramite meccanismi di attenzione incrociata.
Preservazione dell'Identità: Un modulo di verifica dell'identità è integrato nel ciclo di addestramento. Calcola una Perdita ID (ID Loss) basata sulla similarità del coseno tra gli embedding dell'immagine sintetizzata e un'immagine visibile di riferimento dello stesso soggetto, garantendo fedeltà strutturale e delle caratteristiche.

Contributi Chiave

Il documento delinea tre contributi principali:

Integrazione del Classificatore Multi-Attributo: La progettazione di un classificatore all'interno del framework LDM per estrarre attributi facciali critici (genere, età, colore della pelle) dalle immagini termiche, che vengono poi utilizzati per guidare il processo di generazione.
Modulo Self-Attn Mamba: L'introduzione di un modulo basato su Mamba per sostituire l'auto-attenzione standard, raggiungendo una modellazione più fine delle caratteristiche globali a un costo computazionale inferiore e migliorando significativamente la velocità di inferenza.
Prestazioni all'Avanguardia: La proposta di un framework completo T2V che supera i recenti metodi basati su GAN e diffusione sia nella qualità dell'immagine che nella preservazione dell'identità su più dataset.

Risultati Sperimentali

Il metodo proposto è stato valutato su due dataset di riferimento: ARL-VTF (oltre 500.000 immagini) e Speaking Faces (142 soggetti).

Metriche di Qualità dell'Immagine

Il modello ha dimostrato prestazioni superiori nella similarità strutturale e nella qualità percettiva:

ARL-VTF: Ha raggiunto un SSIM di 0.7642 e un PSNR di 28.54, superando i baseline come T2V-DDPM (SSIM 0.6712) e DiffuseIT. Ha inoltre registrato il FID più basso (29.15) e LPIPS (0.1813).
Speaking Faces: Ha registrato un SSIM di 0.7455 e un PSNR di 30.11, con un FID di 21.16.

Metriche di Riconoscimento dell'Identità

Il metodo ha mostrato miglioramenti significativi nella preservazione dell'identità:

ARL-VTF: Ha raggiunto un'accuratezza Rank-1 dell'81.83% e un Tasso di Verifica a FAR=1% (VR@FAR) del 62.58%. Ciò rappresenta un guadagno dell'8.3% in VR@FAR rispetto al secondo miglior metodo (T2V-DDPM).
Speaking Faces: Ha raggiunto un'accuratezza Rank-1 dell'86.35% e un VR@FAR=1% del 65.13%.

Efficienza e Studi di Ablazione

Velocità di Inferenza: Integrando Self-Attn Mamba, il modello ha ridotto il tempo di inferenza a 36ms per immagine su una NVIDIA Tesla V100, rispetto ai 126ms di T2V-DDPM.
Efficienza dei Parametri: Il modello proposto utilizza 75.96M parametri (37% di utilizzo di memoria), una riduzione significativa rispetto a T2V-DDPM (273.68M parametri).
Ablazione: Gli esperimenti hanno confermato che ogni componente (Mamba, Classificatore, CLIP) ha contribuito in modo incrementale alle prestazioni. Il modello completo (Variante D) ha prodotto i migliori risultati, in particolare nel riprodurre tonalità di pelle diverse e nel mantenere la struttura facciale.

Significato e Affermazioni

Gli autori affermano che il loro approccio affronta efficacemente i limiti fondamentali dei metodi T2V attuali, in particolare il compromesso tra qualità dell'immagine, preservazione degli attributi e velocità di inferenza. Combinando un classificatore multi-attributo con un Modello Diffusivo Latente e il efficiente modulo Self-Attn Mamba, il framework genera con successo immagini visive ad alta fedeltà da input termici che mantengono caratteristiche identitarie critiche come il tono della pelle, l'età e il genere. I risultati validano l'efficacia di questa architettura ibrida nel superare le discrepanze cross-modali, stabilendo un nuovo stato dell'arte per la traduzione facciale da termico a visibile. Si nota che il lavoro futuro esplorerà la robustezza in condizioni termiche variabili.