Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

1. Enunciato del Problema

Il documento affronta la sfida critica della Risoluzione delle Entità (ER) in settori ad alta conformità (ad esempio, governo, finanza, uffici per la patente) dove la riconciliazione sicura delle identità è ostacolata da:

• Eterogeneità dei Dati: Significative variazioni negli identificatori personali, comprese differenze sintattiche (ad esempio, "Anne" vs "Ann", "St." vs "Street") e dati biografici dinamici (cambiamenti di indirizzo, abbreviazioni di nomi).
• Limitazioni Biometriche: La dipendenza da singole modalità (ad esempio, riconoscimento facciale) è spesso insufficiente a causa dell'invecchiamento, della scarsa qualità dell'immagine o della mancanza di dati biometrici storici.
• Vincoli sulla Privacy: La fusione tradizionale di dati biometrici e biografici richiede la decrittazione di informazioni personali sensibili (PII), creando rischi di sicurezza in cui i modelli potrebbero essere ricostruiti o trapelati.
• Lacune Esistenti: Gli approcci multimodali attuali spesso si basano su dataset limitati, sono suscettibili a variazioni non controllate (ad esempio, invecchiamento delle foto tessera) o non riescono a preservare la privacy durante il processo di corrispondenza.

2. Metodologia

Gli autori propongono un nuovo framework che esegue la risoluzione delle entità interamente all'interno di un dominio crittografato utilizzando la Crittografia Omomorfica Completa (FHE), nello specifico lo schema RNS-CKKS (dalla libreria HEAAN).

A. Creazione del Dataset

• Generazione di Dati Sintetici: Per superare la mancanza di dataset multimodali reali, gli autori hanno creato un dataset sintetico utilizzando Stable Diffusion XL per generare foto tessera e Claude 3.5-Sonnet per generare variazioni realistiche di nomi e indirizzi.
• Scala: Il dataset finale contiene 36.661 individui unici e 287.532 record, caratterizzati da:
  • Multiple ortografie e variazioni di indirizzo.
  • Effetti di invecchiamento sulle foto tessera (simulando intervalli di tempo tra KYC e verifica).
  • Indirizzi sovrapposti e variazioni di nomi.
• Divisione: 21.661 individui per l'addestramento e 10.000 per il test (5.000 iscritti, 5.000 per le query).

B. Architettura del Modello e Addestramento

Il sistema utilizza un flusso di apprendimento multimodale che combina dati biometrici (immagine) e biografici (testo):

1. Encoder: Vengono utilizzati modelli CLIP ViT-B/32 pre-addestrati come backbone.
   • Encoder Immagini: Genera modelli biometrici ($f_{bm}$).
   • Encoder Testo: Genera modelli biografici ($f_{bg}$) da coppie attributo-valore tokenizzate (ad esempio, [ATT]Name[VAL]Jonathan).
2. Moduli di Proiezione: Due Perceptron Multistrato (MLP) addestrabili elaborano i modelli:
   • BMMLP: Elabora i modelli biometrici per produrre vettori di punteggio ($s_{bm}$).
   • BGMLP: Elabora i modelli biografici per produrre vettori di punteggio ($s_{bg}$).
3. Obiettivo di Addestramento: I vettori vengono normalizzati, concatenati e ottimizzati utilizzando una Funzione di Perdita Contrastiva per avvicinare gli embedding dello stesso individuo mentre allontanano individui diversi.

C. Pipeline di Riservatezza (FHE)

L'innovazione principale consiste nell'eseguire il matching senza mai decrittare i dati:

1. Iscrizione: I vettori di punteggio vengono normalizzati e crittografati utilizzando FHE prima dell'archiviazione.
2. Verifica:
   • I vettori di query vengono crittografati.
   • Calcolo della Distanza: La distanza euclidea $D(q, g) = ||q - g||^2$ viene calcolata su dati crittografati.
   • Approssimazione Non Lineare: Poiché FHE supporta solo addizione e moltiplicazione, le funzioni non lineari (come confronto/soglia) vengono approssimate utilizzando algoritmi polinomiali iterativi (basati su [15]) per emulare una funzione di confronto ($comp(a, b)$).
3. Strategie di Fusione:
   • Fusione a Livello di Caratteristiche: Concatenazione dei vettori crittografati prima del matching.
   • Fusione a Livello di Punteggio: Crittografia dei punteggi delle singole modalità, quindi media/combinazione nel dominio crittografato.

3. Contributi Chiave

1. Risoluzione delle Entità nel Dominio Crittografato: Una pipeline completa in cui le PII rimangono computazionalmente inaccessibili durante tutto il ciclo di vita del matching, soddisfacendo mandati normativi rigorosi (ad esempio, GDPR, HIPAA) tramite garanzie crittografiche.
2. Framework Multimodale: Integrazione di dati biometrici (volto) e biografici (nome/indirizzo) per gestire l'invecchiamento e l'eterogeneità dei dati, superando significativamente le linee di base unimodali.
3. Nuovo Dataset Sintetico: Rilascio di un dataset su larga scala e realistico che simula scenari ER reali (invecchiamento, cambiamenti di indirizzo, variazioni di nomi) per facilitare la ricerca futura.
4. Prestazioni vs. Privacy: Dimostrazione che FHE può essere utilizzato per matching multimodale complesso con zero perdita di utilità rispetto all'elaborazione in testo semplice.

4. Risultati Sperimentali

Il sistema è stato valutato sul dataset sintetico utilizzando il Tasso di Errore Uguale (EER), il Tasso di Verità Positiva (TPR) e metriche di latenza.

• Accuratezza e Utilità:

  • Zero Perdita di Utilità: I risultati del testo cifrato (CT) erano identici ai risultati del testo semplice (PT), dimostrando che la crittografia non degrada le prestazioni.
  • Superiorità Multimodale:
    • Solo Biografico: EER = 12,37%
    • Solo Biometrico: EER = 7,78%
    • Fusione (Livello di Punteggio): EER = 4,08% (Miglior EER complessivo)
    • Fusione (Livello di Caratteristiche): EER = 5,17%
  • Identificazione Rank-1: La fusione a livello di caratteristiche ha raggiunto un'accuratezza del 75,86%, superando la fusione a livello di punteggio (71,55%).
  • Identificazione Rank-5: La fusione a livello di punteggio ha mostrato una migliore robustezza (87,07% vs 85,34%), suggerendo che distribuisce meglio le corrispondenze quando il candidato principale è errato.

• Latenza e Scalabilità:

  • Il sistema ha dimostrato un'efficienza di parallelizzazione impressionante.
  • Utilizzando 128 thread, il sistema ha raggiunto un speedup di 4,42× (riducendo il tempo da ~20,2s a ~4,6s) rispetto a una baseline a thread singolo.
  • Il dimensionamento ha mostrato miglioramenti quasi lineari fino a 32 thread prima che la larghezza di banda della memoria diventasse un collo di bottiglia.

5. Significato

Questo documento rappresenta un avanzamento significativo nelle Tecnologie di Potenziamento della Privacy (PET) per la gestione delle identità.

• Conformità Normativa: Offre una soluzione praticabile per le istituzioni (banche, governi) per eseguire matching di identità ad alta fedeltà senza violare le leggi sulla privacy o rischiare violazioni dei dati.
• Scalabilità: Il parallelismo dimostrato suggerisce che l'autenticazione basata su FHE sta diventando computazionalmente fattibile per il dispiegamento reale su larga scala.
• Robustezza: Combinando multiple modalità di dati all'interno di un framework crittografato, il sistema gestisce efficacemente le complessità del "mondo reale" di volti che invecchiano e indirizzi che cambiano, che i sistemi a modalità singola spesso non riescono a risolvere.

In conclusione, gli autori colmano con successo il divario tra i requisiti di privacy ad alta sicurezza e la necessità di una risoluzione delle entità accurata e su larga scala, dimostrando che la crittografia omomorfica completa può essere uno strumento pratico per i sistemi di autenticazione di prossima generazione.