💻 computer science

Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

Ce papier présente un nouveau cadre multimodal exploitant le chiffrement homomorphe entièrement pour permettre une résolution d'entités sécurisée et haute fidélité sur des ensembles de données à grande échelle, tout en garantissant que les informations personnellement identifiables restent cryptographiquement protégées tout au long du processus de mise en correspondance.

Auteurs originaux : Susim Roy, Nalini Ratha

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Susim Roy, Nalini Ratha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver une personne spécifique dans une immense bibliothèque bondée. Habituellement, pour la trouver, vous pourriez demander son nom, regarder sa photo et vérifier son adresse. Mais voici le hic : les gens changent de nom, déménagent et ont une apparence différente en vieillissant. Parfois, la photo que vous avez est ancienne, et le nom qu'ils ont écrit sur un formulaire est légèrement différent (comme « Ann » au lieu de « Anne »).

C'est le problème de la résolution d'entités : déterminer que « Jonathan Diaz » à une adresse est la même personne que « Jonathan Diaz » à une autre adresse, même lorsque les détails ne correspondent pas parfaitement.

Maintenant, imaginez que cette bibliothèque ait une règle stricte : Vous n'avez jamais le droit de regarder les livres ou les photos réels. Vous ne pouvez les observer qu'à travers une boîte en verre magique et incassable. Vous pouvez faire des mathématiques sur les livres à l'intérieur de la boîte sans jamais l'ouvrir ni voir ce qu'elle contient. C'est l'idée centrale du papier.

Voici une décomposition simple de ce que les chercheurs ont fait :

1. La « Boîte en verre magique » (Chiffrement Homomorphe Complet)

Les chercheurs ont utilisé un type spécial de mathématiques appelé Chiffrement Homomorphe Complet (FHE). Imaginez cela comme une « boîte en verre magique ».

Normalement : Pour vérifier si deux personnes sont identiques, un ordinateur doit « ouvrir la boîte », lire le nom et la photo, les comparer, puis refermer la boîte. C'est risqué car si un pirate informatique s'introduit, il voit toutes les données privées de tout le monde.
Leur méthode : Ils ont placé les données (noms, adresses, photos) à l'intérieur de la « boîte en verre magique » (chiffrement) avant que l'ordinateur ne les examine. L'ordinateur effectue les calculs de comparaison tandis que les données sont toujours verrouillées à l'intérieur. L'ordinateur ne voit jamais les vrais noms ou visages ; il ne voit que des nombres brouillés et chiffrés. Le résultat sort de la boîte sous la forme d'un « Oui, cela correspond » ou d'un « Non, cela ne correspond pas », mais les détails privés restent secrets tout au long du processus.

2. L'Enquêteur à « Deux Pistes » (Données Multimodales)

Les chercheurs ont réalisé que se fier à une seule piste (comme une photo) ne suffit pas car les gens vieillissent. Se fier uniquement à un nom ne suffit pas non plus car les gens font des fautes de frappe.

La Solution : Ils ont construit un système qui agit comme un enquêteur disposant de deux pistes de preuves :
1. Biométrique (Le Visage) : Une photo de la personne.
2. Biographique (L'Histoire) : Le nom et l'adresse de la personne.
Ils ont entraîné une IA à examiner à la fois le « visage » et l'« histoire » simultanément. Même si l'adresse est légèrement mal orthographiée ou si la photo date de 10 ans, le système combine les deux indices pour faire une meilleure hypothèse.

3. La « Bibliothèque d'Entraînement » (Jeu de Données Synthétique)

Pour tester cela, ils ne pouvaient pas simplement utiliser les données privées de vraies personnes (ce qui serait illégal et contraire à l'éthique). Alors, ils ont créé une gigantesque bibliothèque factice à l'aide d'ordinateurs.

Ils ont généré 36 000 personnes factices.
Ils leur ont donné de faux noms, de fausses adresses et de fausses photos.
Ils ont intentionnellement créé des perturbations : ils ont modifié l'orthographe des noms, donné plusieurs adresses aux personnes et fait paraître les photos plus vieilles ou plus jeunes.
Cela a créé un « terrain d'entraînement » où leur système pouvait apprendre à identifier les personnes malgré la confusion, sans jamais toucher à de vraies données humaines.

4. Les Résultats : Rapide, Sécurisé et Précis

Les chercheurs ont testé leur système « boîte en verre magique » contre un système normal (où l'ordinateur voit les données réelles).

Précision : Le système « boîte en verre magique » était aussi précis que le système normal. Il n'a perdu aucune performance simplement parce qu'il travaillait sur des données chiffrées. En fait, en combinant le visage et l'histoire, il est devenu bien meilleur pour trouver la bonne personne que de regarder uniquement un visage ou uniquement un nom.
Vitesse : Faire des mathématiques sur des données « verrouillées » est généralement très lent. Cependant, ils ont trouvé un moyen d'exécuter de nombreux calculs simultanément (comme avoir 128 enquêteurs travaillant en parallèle). Cela a rendu le processus étonnamment rapide, réduisant le temps de plus de 20 secondes à moins de 5 secondes.

La Conclusion

Le papier présente une nouvelle façon de vérifier les identités (comme pour les passeports ou les comptes bancaires) qui est ultra-sécurisée. Elle permet aux organisations de vérifier si deux enregistrements appartiennent à la même personne sans jamais voir réellement le nom privé, l'adresse ou la photo de la personne. Ils ont prouvé qu'il est possible d'avoir une haute sécurité (en gardant les données verrouillées) sans sacrifier la vitesse ni la précision.

En bref : Ils ont construit un système capable de résoudre l'énigme « Qui est cette personne ? » en utilisant un mélange de photos et d'adresses, le tout pendant que les données restent verrouillées dans un coffre-fort numérique que personne ne peut ouvrir.

1. Énoncé du problème

Le papier aborde le défi critique de la Résolution d'Entités (ER) dans les secteurs à forte conformité (par exemple, gouvernement, finance, services d'immatriculation des véhicules) où la réconciliation sécurisée des identités est entravée par :

Hétérogénéité des données : Des variations significatives dans les identifiants personnels, incluant des différences syntaxiques (par exemple, "Anne" vs "Ann", "Rue" vs "R.") et des données biographiques dynamiques (changements d'adresse, abréviations de noms).
Limites biométriques : La dépendance à des modalités uniques (par exemple, reconnaissance faciale) est souvent insuffisante en raison du vieillissement, de la mauvaise qualité des images ou de l'absence de données biométriques historiques.
Contraintes de confidentialité : La fusion traditionnelle des données biométriques et biographiques nécessite le déchiffrement d'informations personnellement identifiables (IPI) sensibles, créant des risques de sécurité où les modèles pourraient être reconstruits ou divulgués.
Lacunes existantes : Les approches multimodales actuelles reposent souvent sur des ensembles de données restreints, sont vulnérables aux variations non contrôlées (par exemple, vieillissement des portraits), ou échouent à préserver la confidentialité lors du processus de mise en correspondance.

2. Méthodologie

Les auteurs proposent un cadre novateur qui effectue la résolution d'entités entièrement dans un domaine chiffré en utilisant le Chiffrement Homomorphe Complet (FHE), spécifiquement le schéma RNS-CKKS (de la bibliothèque HEAAN).

A. Création de l'ensemble de données

Génération de données synthétiques : Pour surmonter le manque d'ensembles de données multimodaux réels, les auteurs ont créé un ensemble de données synthétique utilisant Stable Diffusion XL pour générer des portraits et Claude 3.5-Sonnet pour générer des variations réalistes de noms et d'adresses.
Échelle : L'ensemble de données final contient 36 661 individus uniques et 287 532 enregistrements, présentant :
- Plusieurs orthographes et variations d'adresses.
- Effets du vieillissement sur les portraits (simulant les écarts de temps entre la vérification de l'identité et la vérification).
- Adresses et variations de noms se chevauchant.
Répartition : 21 661 individus pour l'entraînement et 10 000 pour le test (5 000 inscrits, 5 000 pour les requêtes).

B. Architecture du modèle et entraînement

Le système utilise un flux d'apprentissage multimodal combinant des données biométriques (image) et biographiques (texte) :

Encodeurs : Des modèles CLIP ViT-B/32 pré-entraînés sont utilisés comme colonne vertébrale.
- Encodeur d'image : Génère des modèles biométriques ( $f_{bm}$ ).
- Encodeur de texte : Génère des modèles biographiques ( $f_{bg}$ ) à partir de paires attribut-valeur tokenisées (par exemple, [ATT]Nom[VAL]Jonathan).
Modules de projection : Deux Perceptrons Multicouches (MLP) entraînables traitent les modèles :
- BMMLP : Traite les modèles biométriques pour produire des vecteurs de scores ( $s_{bm}$ ).
- BGMLP : Traite les modèles biographiques pour produire des vecteurs de scores ( $s_{bg}$ ).
Objectif d'entraînement : Les vecteurs sont normalisés, concaténés et optimisés en utilisant une Perte de Contraste pour rapprocher les plongements d'un même individu tout en éloignant les individus différents.

C. Pipeline de préservation de la confidentialité (FHE)

L'innovation centrale consiste à effectuer la mise en correspondance sans jamais déchiffrer les données :

Inscription : Les vecteurs de scores sont normalisés et chiffrés à l'aide du FHE avant stockage.
Vérification :
- Les vecteurs de requête sont chiffrés.
- Calcul de distance : La distance euclidienne $D(q, g) = ||q - g||^2$ est calculée sur des données chiffrées.
- Approximation non linéaire : Puisque le FHE ne prend en charge que l'addition et la multiplication, les fonctions non linéaires (comme la comparaison/seuil) sont approximées à l'aide d'algorithmes polynomiaux itératifs (basés sur [15]) pour émuler une fonction de comparaison ($comp(a, b)$).
Stratégies de fusion :
- Fusion au niveau des caractéristiques : Concaténation des vecteurs chiffrés avant la mise en correspondance.
- Fusion au niveau des scores : Chiffrement des scores de modalités individuelles, puis moyenne/combiner dans le domaine chiffré.

3. Contributions clés

Résolution d'entités dans le domaine chiffré : Un pipeline complet où les IPI restent computationnellement inaccessibles tout au long du cycle de vie de la mise en correspondance, satisfaisant des mandats réglementaires stricts (par exemple, RGPD, HIPAA) par des garanties cryptographiques.
Cadre multimodal : Intégration de données biométriques (visage) et biographiques (nom/adresse) pour gérer le vieillissement et l'hétérogénéité des données, surpassant considérablement les bases de référence unimodales.
Nouvel ensemble de données synthétique : Publication d'un ensemble de données à grande échelle et réaliste simulant des scénarios ER réels (vieillissement, changements d'adresse, variations de noms) pour faciliter les recherches futures.
Performance vs Confidentialité : Démonstration que le FHE peut être utilisé pour une mise en correspondance multimodale complexe avec zéro perte d'utilité par rapport au traitement en clair.

4. Résultats expérimentaux

Le système a été évalué sur l'ensemble de données synthétique en utilisant le taux d'erreur égale (EER), le taux de vrais positifs (TPR) et des métriques de latence.

Précision et utilité :
- Zéro perte d'utilité : Les résultats du texte chiffré (CT) étaient identiques aux résultats du texte clair (PT), prouvant que le chiffrement ne dégrade pas les performances.
- Supériorité multimodale :
  - Biographique uniquement : EER = 12,37 %
  - Biométrique uniquement : EER = 7,78 %
  - Fusion (niveau des scores) : EER = 4,08 % (Meilleur EER global)
  - Fusion (niveau des caractéristiques) : EER = 5,17 %
- Identification Rang-1 : La fusion au niveau des caractéristiques a atteint une précision de 75,86 %, surpassant la fusion au niveau des scores (71,55 %).
- Identification Rang-5 : La fusion au niveau des scores a montré une meilleure robustesse (87,07 % contre 85,34 %), suggérant qu'elle répartit mieux les correspondances lorsque le candidat principal est incorrect.
Latence et évolutivité :
- Le système a démontré une efficacité de parallélisation impressionnante.
- En utilisant 128 threads, le système a atteint un accélération de 4,42× (réduisant le temps de ~20,2 s à ~4,6 s) par rapport à une base de référence monothread.
- La mise à l'échelle a montré des améliorations quasi linéaires jusqu'à 32 threads avant que la bande passante mémoire ne devienne un goulot d'étranglement.

5. Importance

Ce papier représente une avancée significative dans les Technologies de Renforcement de la Confidentialité (PET) pour la gestion des identités.

Conformité réglementaire : Il offre une solution viable pour les institutions (banques, gouvernements) afin d'effectuer une mise en correspondance d'identité haute fidélité sans violer les lois sur la confidentialité ou risquer des violations de données.
Évolutivité : La parallélisation démontrée suggère que l'authentification basée sur le FHE devient computationnellement traitable pour un déploiement réel à grande échelle.
Robustesse : En combinant plusieurs modalités de données dans un cadre chiffré, le système gère efficacement les complexités du "monde réel" des visages vieillissants et des adresses changeantes, que les systèmes à modalité unique échouent souvent à résoudre.

En conclusion, les auteurs comblent avec succès le fossé entre les exigences de confidentialité à haute sécurité et le besoin d'une résolution d'entités précise et à grande échelle, prouvant que le chiffrement homomorphe complet peut être un outil pratique pour les systèmes d'authentification de nouvelle génération.