Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

1. Formulação do Problema

O artigo aborda o desafio crítico da Resolução de Entidades (ER) em setores de alta conformidade (por exemplo, governo, finanças, departamentos de veículos motorizados), onde a reconciliação segura de identidades é impedida por:

• Heterogeneidade de Dados: Variações significativas em identificadores pessoais, incluindo diferenças sintáticas (por exemplo, "Anne" vs. "Ann", "St." vs. "Street") e dados biográficos dinâmicos (mudanças de endereço, abreviações de nome).
• Limitações Biométricas: A dependência de modalidades únicas (por exemplo, reconhecimento facial) é frequentemente insuficiente devido ao envelhecimento, baixa qualidade da imagem ou falta de dados biométricos históricos.
• Restrições de Privacidade: A fusão tradicional de dados biométricos e biográficos exige a descriptografia de Informações Pessoalmente Identificáveis (PII) sensíveis, criando riscos de segurança onde os modelos podem ser reconstituídos ou vazados.
• Lacunas Existentes: Abordagens multimodais atuais frequentemente dependem de conjuntos de dados restritos, são suscetíveis a variações não controladas (por exemplo, envelhecimento de fotos de perfil) ou falham em preservar a privacidade durante o processo de correspondência.

2. Metodologia

Os autores propõem um novo framework que realiza a resolução de entidades inteiramente dentro de um domínio criptografado usando Criptografia Homomórfica Totalmente Homomórfica (FHE), especificamente o esquema RNS-CKKS (da biblioteca HEAAN).

A. Criação do Conjunto de Dados

• Geração de Dados Sintéticos: Para superar a falta de conjuntos de dados multimodais do mundo real, os autores criaram um conjunto de dados sintético usando Stable Diffusion XL para gerar fotos de perfil e Claude 3.5-Sonnet para gerar variações realistas de nome/endereço.
• Escala: O conjunto de dados final contém 36.661 indivíduos únicos e 287.532 registros, apresentando:
  • Múltiplas grafias e variações de endereço.
  • Efeitos de envelhecimento em fotos de perfil (simulando lacunas de tempo entre KYC e verificação).
  • Endereços sobrepostos e variações de nome.
• Divisão: 21.661 indivíduos para treinamento e 10.000 para teste (5.000 cadastrados, 5.000 para consultas).

B. Arquitetura do Modelo e Treinamento

O sistema utiliza um fluxo de aprendizado multimodal combinando dados biométricos (imagem) e biográficos (texto):

1. Codificadores: Modelos CLIP ViT-B/32 pré-treinados são usados como base.
   • Codificador de Imagem: Gera modelos biométricos ($f_{bm}$).
   • Codificador de Texto: Gera modelos biográficos ($f_{bg}$) a partir de pares tokenizados atributo-valor (por exemplo, [ATT]Nome[VAL]Jonathan).
2. Módulos de Projeção: Duas Redes Neurais Perceptron Multicamada (MLPs) treináveis processam os modelos:
   • BMMLP: Processa modelos biométricos para produzir vetores de pontuação ($s_{bm}$).
   • BGMLP: Processa modelos biográficos para produzir vetores de pontuação ($s_{bg}$).
3. Objetivo de Treinamento: Os vetores são normalizados, concatenados e otimizados usando Função de Perda Contrastiva para aproximar os embeddings do mesmo indivíduo enquanto afastam indivíduos diferentes.

C. Pipeline Preservador de Privacidade (FHE)

A inovação central é realizar a correspondência sem nunca descriptografar os dados:

1. Cadastro: Vetores de pontuação são normalizados e criptografados usando FHE antes do armazenamento.
2. Verificação:
   • Vetores de consulta são criptografados.
   • Cálculo de Distância: A distância euclidiana $D(q, g) = ||q - g||^2$ é computada sobre dados criptografados.
   • Aproximação Não Linear: Como o FHE suporta apenas adição e multiplicação, funções não lineares (como comparação/limiar) são aproximadas usando algoritmos polinomiais iterativos (baseados em [15]) para emular uma função de comparação ($comp(a, b)$).
3. Estratégias de Fusão:
   • Fusão em Nível de Recurso: Concatenar vetores criptografados antes da correspondência.
   • Fusão em Nível de Pontuação: Criptografar pontuações de modalidades individuais e, em seguida, médias/combina-las no domínio criptografado.

3. Contribuições Principais

1. Resolução de Entidades em Domínio Criptografado: Um pipeline completo onde a PII permanece computacionalmente inacessível durante todo o ciclo de vida da correspondência, satisfazendo mandatos regulatórios estritos (por exemplo, GDPR, HIPAA) por meio de garantias criptográficas.
2. Framework Multimodal: Integração de dados biométricos (rosto) e biográficos (nome/endereço) para lidar com envelhecimento e heterogeneidade de dados, superando significativamente as bases unimodais.
3. Novo Conjunto de Dados Sintético: Lançamento de um conjunto de dados em grande escala e realista simulando cenários de ER do mundo real (envelhecimento, mudanças de endereço, variações de nome) para facilitar pesquisas futuras.
4. Desempenho vs. Privacidade: Demonstração de que o FHE pode ser usado para correspondência multimodal complexa com perda zero de utilidade em comparação com o processamento em texto simples.

4. Resultados Experimentais

O sistema foi avaliado no conjunto de dados sintético usando Taxa de Erro Igual (EER), Taxa de Verdadeiros Positivos (TPR) e métricas de latência.

• Precisão e Utilidade:

  • Perda Zero de Utilidade: Os resultados do texto cifrado (CT) foram idênticos aos resultados do texto simples (PT), provando que a criptografia não degrada o desempenho.
  • Superioridade Multimodal:
    • Apenas Biográfico: EER = 12,37%
    • Apenas Biométrico: EER = 7,78%
    • Fusão (Nível de Pontuação): EER = 4,08% (Melhor EER geral)
    • Fusão (Nível de Recurso): EER = 5,17%
  • Identificação Rank-1: A fusão em nível de recurso alcançou 75,86% de precisão, superando a fusão em nível de pontuação (71,55%).
  • Identificação Rank-5: A fusão em nível de pontuação mostrou melhor robustez (87,07% vs. 85,34%), sugerindo que ela distribui melhor as correspondências quando o candidato principal está incorreto.

• Latência e Escalabilidade:

  • O sistema demonstrou eficiência impressionante de paralelização.
  • Usando 128 threads, o sistema alcançou um aceleramento de 4,42× (reduzindo o tempo de ~20,2s para ~4,6s) em comparação com uma linha de base de thread única.
  • A escalabilidade mostrou melhorias quase lineares até 32 threads, antes que a largura de banda da memória se tornasse um gargalo.

5. Significado

Este artigo representa um avanço significativo nas Tecnologias de Aprimoramento de Privacidade (PETs) para gerenciamento de identidades.

• Conformidade Regulatória: Oferece uma solução viável para instituições (bancos, governos) realizarem correspondência de identidade de alta fidelidade sem violar leis de privacidade ou arriscar violações de dados.
• Escalabilidade: A paralelização demonstrada sugere que a autenticação baseada em FHE está se tornando computacionalmente tratável para implantação em larga escala no mundo real.
• Robustez: Ao combinar múltiplas modalidades de dados dentro de um framework criptografado, o sistema lida efetivamente com as complexidades do "mundo real" de rostos envelhecidos e endereços em mudança, que sistemas de modalidade única frequentemente falham em resolver.

Em conclusão, os autores conectam com sucesso a lacuna entre requisitos de privacidade de alta segurança e a necessidade de resolução de entidades precisa e em grande escala, provando que a criptografia homomórfica totalmente homomórfica pode ser uma ferramenta prática para sistemas de autenticação de próxima geração.