FlowID : Enhancing Forensic Identification with Latent Flow-Matching Models

1. Il Problema

In ambito forense e medico-legale, l'identificazione dei resti umani (spesso vittime di crimini, guerre, migrazioni o disastri climatici) si basa frequentemente sul riconoscimento visivo da parte dei familiari. Tuttavia, le fotografie dei defunti possono presentare traumi facciali gravi, danni strutturali o segni di decomposizione che rendono il riconoscimento impossibile o causano un forte disagio psicologico ai familiari.
Gli strumenti di editing tradizionali sono lenti, richiedono intervento manuale e spesso falliscono su lesioni severe, producendo risultati subottimali. Esiste quindi un bisogno urgente di strumenti semi-automatici che possano:

• Rimuovere gli artefatti legati alla morte (sangue, ferite, gonfiori).
• Preservare rigorosamente l'identità del soggetto (caratteristiche critiche come forma del viso, tatuaggi, gioielli).
• Operare in locale per garantire la privacy dei dati sensibili, senza dipendere da server cloud.

2. Metodologia: FlowID

Il paper propone FlowID, un metodo di ricostruzione facciale basato su modelli di generazione latente (Flow-Matching), progettato specificamente per il contesto forense. L'approccio combina due componenti principali per bilanciare l'editabilità e la fedeltà all'identità:

A. Fine-tuning su Singola Immagine (Single-Image Fine-Tuning)

I metodi di inversione standard (che mappano un'immagine reale nello spazio latente del modello) falliscono spesso quando l'immagine di input è "fuori distribuzione" (es. volti feriti o danneggiati), portando a una perdita di informazioni identitarie.

• Soluzione: FlowID esegue un fine-tuning del modello generativo pre-addestrato (Stable Diffusion 3) direttamente sull'immagine specifica del defunto e sul suo prompt descrittivo.
• Obiettivo: Adattare il modello affinché l'immagine danneggiata diventi un campione più probabile sotto il condizionamento del prompt. Questo migliora drasticamente la qualità dell'inversione, permettendo al modello di recuperare la struttura globale e le caratteristiche identitarie (es. barba, forma del viso) prima di procedere con l'editing.

B. Mascheramento Basato sull'Attenzione (Attention-Based Masking)

Per evitare che il processo generativo alteri accidentalmente dettagli critici per l'identità (come tatuaggi, gioielli o la forma specifica degli occhi) mentre rimuove le lesioni, FlowID utilizza una maschera dinamica.

• Meccanismo: Il sistema estrae le mappe di attenzione (attention maps) dai blocchi interni del modello Transformer (DiT). Queste mappe rivelano dove il modello "guarda" per concetti specifici.
• Generazione della Maschera: Le mappe di attenzione vengono aggregate e binarizzate (tramite K-means) per creare una maschera $M$. Questa maschera identifica le regioni da modificare (lesioni) e quelle da preservare.
• Applicazione: Durante il processo di generazione inversa, le regioni coperte dalla maschera vengono ricostruite fedelmente dall'immagine originale, mentre solo le aree danneggiate vengono rigenerate per rimuovere le lesioni.

3. Contributi Chiave

1. FlowID: Un algoritmo innovativo che supera i compromessi tra rimozione delle lesioni e conservazione dell'identità, superando i metodi open-source esistenti (come SDEdit, UltraEdit, RF-Solver) pur mantenendo requisiti computazionali bassi per l'uso su hardware consumer.
2. InjuredFaces: Il primo benchmark standardizzato per la ricostruzione facciale in condizioni di danno severo.
   • Composto da 755 ritratti facciali feriti (da atleti professionisti, per privacy) e 5.213 ritratti di riferimento non feriti.
   • Include un protocollo di valutazione che misura la conservazione dell'identità, l'efficacia della rimozione delle lesioni e la fedeltà all'editing.
3. Validazione Operativa: L'algoritmo è già stato implementato in diverse località in Sud America (Messico e Colombia) e ha contribuito all'identificazione di migranti deceduti nel Mediterraneo, dimostrando un impatto reale.

4. Risultati Sperimentali

Le valutazioni su InjuredFaces e sul dataset FFHQ mostrano che FlowID supera lo stato dell'arte (SOTA) in diversi metriche:

• Conservazione dell'Identità (Identity Preservation): FlowID ottiene il punteggio più alto (0.50 su InjuredFaces e 0.77 su FFHQ), superando significativamente metodi come Kontext e RF-Solver, che tendono a modificare la struttura globale del viso.
• Rimozione delle Lesioni: Ottiene il miglior punteggio VLM (Vision-Language Model) per la rimozione delle lesioni (0.14), indicando una pulizia efficace delle immagini.
• Qualità Visiva: Mantiene un alto realismo (FID e CMMD competitivi) e minimizza le distorsioni percettive non intenzionali (LPIPS).
• Ablation Study: Lo studio dimostra che sia il fine-tuning che il masking sono essenziali. Senza fine-tuning, la conservazione dell'identità crolla (da 0.77 a 0.52); senza masking, la qualità visiva e la fedeltà ai dettagli (es. tatuaggi) peggiorano.

5. Significato e Impatto

• Societale e Umanitario: FlowID accelera i processi di identificazione forense, riducendo il carico di lavoro e il tempo di attesa per le famiglie. Permette di condividere immagini "pulite" con le comunità di origine o la diaspora, stimolando il riconoscimento senza esporre i familiari a immagini grafiche e traumatiche.
• Privacy e Sicurezza: Essendo progettato per l'esecuzione locale su hardware comune, risolve i problemi di privacy legati all'invio di dati sensibili (immagini di defunti) su server cloud.
• Etica: Il paper affronta il dilemma etico dell'alterazione delle immagini dei defunti senza consenso, sottolineando che lo scopo è il rimpatrio e l'identificazione. Il sistema è progettato per supportare (non sostituire) i workflow forensi, richiedendo sempre la verifica finale da parte di professionisti.

In sintesi, FlowID rappresenta un passo avanti cruciale nell'applicazione dell'IA generativa alla forense, trasformando un problema di editing di immagini in un compito di riconoscimento ottimizzato per salvare vite (o meglio, restituire identità) in contesti critici.