Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

1. Probleemstelling

Het artikel adresseert de kritieke uitdaging van Entiteitsoplossing (Entity Resolution - ER) in sectoren met hoge nalevingsvereisten (bijvoorbeeld overheid, financiën, DMV's), waar veilige identiteitsreconciliatie wordt gehinderd door:

• Dataheterogeniteit: Significante variaties in persoonlijke identificatoren, inclusief syntactische verschillen (bijvoorbeeld "Anne" versus "Ann", "St." versus "Street") en dynamische biografische data (adreswijzigingen, naamverkortingen).
• Beperkingen van Biometrie: De afhankelijkheid van enkele modaliteiten (bijvoorbeeld gezichtsherkenning) is vaak onvoldoende door veroudering, slechte beeldkwaliteit of het ontbreken van historische biometrische data.
• Privacybeperkingen: Traditionele fusie van biometrische en biografische data vereist het ontsleutelen van gevoelige Persoonlijk Identificeerbare Informatie (PII), wat veiligheidsrisico's creëert waarbij sjablonen kunnen worden gereconstrueerd of gelekt.
• Bestaande Gaten: Huidige multimodale benaderingen vertrouwen vaak op beperkte datasets, zijn vatbaar voor ongecontroleerde variaties (bijvoorbeeld veroudering van portretfoto's), of falen erin privacy te behouden tijdens het matching-proces.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat entiteitsoplossing volledig uitvoert binnen een versleuteld domein met behulp van Volledig Homomorf Versleuteling (Fully Homomorphic Encryption - FHE), specifiek het RNS-CKKS-schema (uit de HEAAN-bibliotheek).

A. Datasetcreatie

• Synthetische Data-Generatie: Om het gebrek aan real-world multimodale datasets te overwinnen, creëerden de auteurs een synthetische dataset met behulp van Stable Diffusion XL voor het genereren van portretfoto's en Claude 3.5-Sonnet voor het genereren van realistische naam- en adresvariaties.
• Schaal: De uiteindelijke dataset bevat 36.661 unieke individuen en 287.532 records, met kenmerken zoals:
  • Meerdere adresstijlen en variaties.
  • Verouderingseffecten op portretfoto's (simulatie van tijdsverschillen tussen KYC en verificatie).
  • Overlappende adressen en naamvariaties.
• Verdeling: 21.661 individuen voor training en 10.000 voor testen (5.000 ingeschreven, 5.000 voor queries).

B. Modelarchitectuur & Training

Het systeem maakt gebruik van een multimodale leerstroom die biometrische (afbeelding) en biografische (tekst) data combineert:

1. Encoders: Voortrainde CLIP ViT-B/32-modellen worden gebruikt als ruggengraat.
   • Afbeeldingsencoder: Genereert biometrische sjablonen ($f_{bm}$).
   • Tekstencoder: Genereert biografische sjablonen ($f_{bg}$) uit getokeniseerde attribuut-waardeparen (bijvoorbeeld [ATT]Naam[VAL]Jonathan).
2. Projectiemodules: Twee trainbare Multi-Layer Perceptrons (MLP's) verwerken de sjablonen:
   • BMMLP: Verwerkt biometrische sjablonen om scorevectoren ($s_{bm}$) te produceren.
   • BGMLP: Verwerkt biografische sjablonen om scorevectoren ($s_{bg}$) te produceren.
3. Trainingsdoel: De vectoren worden genormaliseerd, geconcateneerd en geoptimaliseerd met behulp van Contrastive Loss om embeddings van hetzelfde individu dichter bij elkaar te brengen terwijl verschillende individuen uit elkaar worden geduwd.

C. Privacybehoudend Proces (FHE)

De kerninnovatie is het uitvoeren van matching zonder de data ooit te ontsleutelen:

1. Inschrijving: Scorevectoren worden genormaliseerd en versleuteld met FHE voordat ze worden opgeslagen.
2. Verificatie:
   • Queryvectoren worden versleuteld.
   • Afstandsberekening: De Euklidische afstand $D(q, g) = ||q - g||^2$ wordt berekend op versleutelde data.
   • Niet-lineaire Benadering: Omdat FHE alleen optelling en vermenigvuldiging ondersteunt, worden niet-lineaire functies (zoals vergelijking/drempelwaarden) benaderd met iteratieve polynoomalgoritmen (gebaseerd op [15]) om een vergelijkingsfunctie ($comp(a, b)$) te emuleren.
3. Fusiestrategieën:
   • Feature-Level Fusie: Het concateneren van versleutelde vectoren voordat er wordt gematcht.
   • Score-Level Fusie: Het versleutelen van individuele modaliteitsscores, en deze vervolgens middelen/combineren in het versleutelde domein.

3. Belangrijkste Bijdragen

1. Entiteitsoplossing in Versleuteld Domein: Een volledig processtroom waarbij PII computatieel ontoegankelijk blijft gedurende de hele matching-levenscyclus, wat strikte regelgevende mandaten (bijvoorbeeld GDPR, HIPAA) voldoet via cryptografische garanties.
2. Multimodaal Raamwerk: Integratie van biometrische (gezicht) en biografische (naam/adres) data om veroudering en dataheterogeniteit aan te pakken, wat aanzienlijk beter presteert dan unimodale baselines.
3. Nieuwe Synthetische Dataset: Publicatie van een grootschalige, realistische dataset die real-world ER-scenario's simuleert (veroudering, adreswijzigingen, naamvariaties) om toekomstig onderzoek te faciliteren.
4. Prestaties versus Privacy: Aantonen dat FHE kan worden gebruikt voor complexe multimodale matching met nul verlies aan bruikbaarheid in vergelijking met plaintext-verwerking.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op de synthetische dataset met behulp van Equal Error Rate (EER), True Positive Rate (TPR) en latentie-metrics.

• Nauwkeurigheid & Bruikbaarheid:

  • Nul Verlies aan Bruikbaarheid: De ciphertext (CT)-resultaten waren identiek aan plaintext (PT)-resultaten, wat bewijst dat versleuteling de prestaties niet verslechtert.
  • Superioriteit van Multimodaliteit:
    • Alleen Biografisch: EER = 12,37%
    • Alleen Biometrisch: EER = 7,78%
    • Fusie (Score-Level): EER = 4,08% (Beste algehele EER)
    • Fusie (Feature-Level): EER = 5,17%
  • Rank-1 Identificatie: Feature-level fusie behaalde 75,86% nauwkeurigheid, wat beter presteerde dan score-level fusie (71,55%).
  • Rank-5 Identificatie: Score-level fusie toonde betere robuustheid (87,07% versus 85,34%), wat suggereert dat het matches beter verdeelt wanneer de topkandidaat onjuist is.

• Latentie & Schaalbaarheid:

  • Het systeem toonde indrukwekkende parallelisatie-efficiëntie.
  • Met 128 threads behaalde het systeem een 4,42× snelheidswinst (verlaging van de tijd van ~20,2s naar ~4,6s) in vergelijking met een single-threaded baseline.
  • Schaling toonde bijna lineaire verbeteringen tot 32 threads, waarna de geheugenbandbreedte een knelpunt werd.

5. Betekenis

Dit artikel vertegenwoordigt een significante vooruitgang in Privacy-Versterkende Technologieën (PETs) voor identiteitsbeheer.

• Regelgevende Naleving: Het biedt een levensvatbare oplossing voor instellingen (banken, overheden) om hoogwaardige identiteitsmatching uit te voeren zonder privacywetten te schenden of datalekken te riskeren.
• Schaalbaarheid: De aangetoonde parallelisatie suggereert dat FHE-gebaseerde authenticatie computationeel haalbaar wordt voor real-world, grootschalige implementatie.
• Robuustheid: Door meerdere data-modaliteiten te combineren binnen een versleuteld raamwerk, verwerkt het systeem effectief de "real-world" complexiteiten van verouderende gezichten en veranderende adressen, wat systemen met één modaliteit vaak niet kunnen oplossen.

Concluderend slagen de auteurs erin de kloof te overbruggen tussen hoge beveiligingsprivacyvereisten en de behoefte aan nauwkeurige, grootschalige entiteitsoplossing, en bewijzen dat volledig homomorf versleuteling een praktisch hulpmiddel kan zijn voor authenticatiesystemen van de volgende generatie.