From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

Este artigo apresenta um novo benchmark para auditar vazamento de identidade em embeddings visuais congelados e propõe o método ISP, um projetor linear que remove subespaços de identidade para garantir privacidade sem comprometer a utilidade das representações para tarefas de recuperação.

O essencial

Imagine que você tem uma câmera muito inteligente, capaz de tirar uma "foto matemática" (um código numérico) de qualquer imagem que você mostre a ela. Essas câmeras são usadas para coisas úteis, como encontrar fotos parecidas, detectar falsificações ou organizar grandes arquivos.

O problema é que, quando você tira uma foto de um rosto, essa câmera inteligente, sem querer, guarda segredos demais: ela guarda a sua identidade biológica (seu rosto). Se alguém mal-intencionado pegar esse código, pode tentar reconstruir o seu rosto ou usá-lo para se passar por você.

Este artigo é como um manual de segurança para essas câmeras. Os autores propõem uma solução simples e elegante para limpar esses códigos, removendo o "rosto" mas mantendo o resto da imagem útil.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: A "Fotografia" que Vaza Segredos

Pense nos códigos gerados por essas câmeras (chamados de embeddings) como uma receita de bolo.

• Se a receita é para um bolo de chocolate, ela lista ingredientes como "cacau", "açúcar" e "farinha".
• O problema é que, quando a receita é de um rosto, ela inclui ingredientes secretos como "formato do nariz", "cor dos olhos" e "sorriso".

Mesmo que a câmera não tenha sido treinada para reconhecer rostos (ela foi treinada apenas para achar fotos parecidas), ela acaba guardando esses detalhes biológicos. Se um hacker pegar a receita, ele pode tentar "assentar o bolo" de volta (reconstruir o rosto) ou usar a receita para enganar um sistema de segurança.

2. A Solução: O "Filtro de Segurança" (ISP)

Os autores criaram uma ferramenta chamada ISP (Projeção de Sanitização de Identidade).

Imagine que você tem um peneira muito especial.

• Você joga a "receita do bolo" (o código da imagem) na peneira.
• A peneira é desenhada para deixar passar tudo o que é útil (a cor da roupa, o fundo da foto, o estilo da imagem), mas segura tudo o que é o rosto (o nariz, os olhos, a identidade).
• O que cai no outro lado é uma versão "limpa" da receita. Ela ainda serve para achar fotos parecidas (útil), mas se alguém tentar usar para descobrir quem é a pessoa, não consegue mais.

Isso é feito de uma só vez, sem precisar reensinar a câmera inteira. É como aplicar um filtro de segurança instantâneo.

3. Como Eles Mediram o Perigo? (O "Teste de Hacker")

Antes de criar o filtro, eles precisavam saber o quão vazado estava o sistema. Eles agiram como hackers éticos:

• O Teste de Reconstrução (Template Inversion): Eles tentaram usar inteligência artificial avançada para "desfazer" o código e desenhar o rosto original.
  • Resultado: Para câmeras de reconhecimento facial (que são feitas para isso), o rosto foi reconstruído com facilidade. Para as câmeras comuns (como CLIP ou DINO), foi muito difícil reconstruir o rosto, mas não impossível.
• O Teste de "Quem é Quem" (Open-Set Verification): Eles tentaram usar o código para adivinhar se duas fotos eram da mesma pessoa, mesmo sem ter visto essa pessoa antes.
  • Resultado: As câmeras comuns vazavam um pouco de informação sobre a identidade, mas não tanto quanto as câmeras de segurança dedicadas.

4. O Resultado: Segurança sem Perder a Utilidade

A grande descoberta foi que o "Filtro de Segurança" (ISP) funciona maravilhosamente bem:

1. Identidade Zera: Depois de aplicar o filtro, a chance de um hacker adivinhar quem é a pessoa cai para quase zero (como chutar a resposta de uma prova).
2. Utilidade Mantida: A imagem "limpa" ainda é ótima para o trabalho original. Se você quiser achar fotos de "pessoas usando chapéu vermelho em Paris", o filtro não estraga essa busca. Ele apenas remove o "rosto" da equação.
3. Funciona em Qualquer Lugar: O filtro treinado em um conjunto de fotos de celebridades funciona bem em fotos de pessoas comuns, e vice-versa. É um filtro universal.

5. A Analogia Final: O Cartão de Identidade vs. O Cartão de Biblioteca

Imagine que você tem um Cartão de Identidade (que tem sua foto e dados biológicos) e um Cartão de Biblioteca (que tem seu nome e endereço, mas não sua foto).

• Sem o filtro: O sistema estava usando o Cartão de Identidade para entrar na biblioteca. Era seguro, mas arriscado se o cartão fosse roubado, pois revelava sua biometria.
• Com o filtro (ISP): O sistema pega o Cartão de Identidade, rasga a foto e os dados biométricos, e entrega um novo cartão que só tem o nome e o endereço.
  • Resultado: Você ainda consegue entrar na biblioteca (a utilidade da imagem permanece), mas se alguém roubar o cartão, não consegue descobrir como você é fisicamente (sua privacidade está protegida).

Conclusão

Este trabalho é um passo importante para usar tecnologias de visão computacional no mundo real sem violar a privacidade das pessoas. Eles provaram que é possível ter sistemas inteligentes que entendem o mundo visual, mas que "esquecem" quem somos, garantindo que a tecnologia sirva a todos sem expor nossos segredos mais pessoais.

Resumo técnico

Título: Da Medição à Mitigação: Quantificando e Reduzindo o Vazamento de Identidade em Codificadores de Representação de Imagem com Remoção de Subespaço Linear

Autores: Daniel George, Charles Yeh, Daniel Lee, Yifei Zhang (Persona Identities, USA)

---

1. O Problema

Codificadores visuais congelados (frozen visual encoders), como CLIP, DINOv2/v3 e SSCD, são amplamente utilizados em sistemas de recuperação de imagens, verificação de integridade e detecção de manipulação. Diferentemente dos sistemas de Reconhecimento Facial (FR) tradicionais, que são explicitamente treinados para biometria, esses codificadores são treinados sem supervisão de identidade e destinados a tarefas não biométricas.

No entanto, quando aplicados a dados contendo rostos, surge um dilema prático: as invariantes que tornam esses recursos robustos para busca e integridade também podem expor cues biométricos residuais (vazamento de identidade).

• A Lacuna: A maioria das auditorias de privacidade foca em modelos de FR ou analisa o CLIP isoladamente, sem uma calibração para pontos de operação de baixa taxa de falso aceite (FAR) em cenários de conjunto aberto (open-set).
• O Risco: Operadores não possuem uma maneira calibrada de certificar se o uso desses codificadores é "seguro" sob ameaças de adversários que tentam extrair identidade ou reconstruir rostos a partir dos embeddings.

2. Metodologia

Os autores propõem uma abordagem consciente do atacante ("attacker-aware") dividida em duas partes principais: uma suíte de medição rigorosa e uma técnica de mitigação leve.

A. Suíte de Medição (Auditoria)

Para quantificar o vazamento, o paper introduz três métricas/calibrações:

1. Verificação Open-Set de Baixa FAR: Utiliza sondas lineares (Ridge) e não lineares (MLP) para medir a Taxa de Aceitação Verdadeira (TAR) em taxas de Falso Aceite (FAR) extremamente baixas ($10^{-4}$ a $10^{-6}$), simulando cenários reais de produção onde o número de impostores é massivo.
2. Inversão de Template Calibrada: Utiliza modelos difusivos (DiffMI) e outros métodos de reconstrução para tentar gerar uma imagem de rosto a partir do embedding. O sucesso é julgado por verificação cruzada com um codificador de FR separado.
3. Atribuição Rosto-Contexto: Introduz diagnósticos para localizar onde a evidência de identidade reside (rosto vs. fundo):
   • FII (Face Importance Index): Compara o impacto de oclusões de área igual no rosto e no fundo.
   • CPI (Context Preference Index): Mede a preferência do modelo por contexto vs. identidade à medida que o rosto é embaçado.
   • B (Background Revelation Threshold):* Testa quanto fundo é necessário para que o contexto supere a identidade na similaridade.

B. Mitigação: Projeção de Sanitização de Identidade (ISP)

O paper propõe o Identity Sanitization Projection (ISP), um projetor linear one-shot (de um único passo) que remove o subespaço de identidade estimado enquanto preserva o espaço complementar necessário para a utilidade da tarefa.

• Funcionamento: Calcula as médias de embeddings por identidade, centraliza-as e realiza uma Decomposição em Valores Singulares (SVD).
• Projeção: Remove as direções principais (top-r) que correspondem à estrutura de médias entre classes (identidade).
• Vantagens: É leve, não requer retreinamento do codificador, é auditável (o rank $r$ controla o trade-off privacidade/utilidade) e pode ser exportado como uma matriz fixa para pipelines de inferência.

3. Principais Contribuições

1. Primeira Auditoria Calibrada para Codificadores Não-FR: Fornece a primeira avaliação de privacidade facial para DINOv2, DINOv3 e SSCD em cenários de conjunto aberto e baixa FAR, mostrando que, embora tenham vazamento, ele é significativamente menor que em modelos de FR dedicados.
2. Método ISP: Apresenta um projetor linear de baixo custo computacional que reduz o acesso linear à identidade a níveis próximos do acaso (chance), mantendo a utilidade para tarefas não biométricas.
3. Transferibilidade do Subespaço: Demonstra que o subespaço de identidade estimado é compacto e transferível entre datasets (ex: treinado no CelebA, funciona no VGGFace2), permitindo um projetor fixo e auditável.
4. Kit de Ferramentas Open-Source: Comprometimento de liberar o código, incluindo os projetores e a suíte de avaliação.

4. Resultados Chave

• Vazamento Inicial:

  • CLIP apresentou vazamento de identidade linear relativamente maior em comparação a DINOv2/v3 e SSCD.
  • DINOv2/v3 e SSCD mostraram-se robustos sob sondas lineares open-set, mas ainda com vazamento mensurável.
  • Inversão de Template: Codificadores não-FR falharam consistentemente em gerar rostos reconhecíveis via ataques de difusão (DiffMI), ao contrário dos modelos de FR (ArcFace/AdaFace), que atingiram taxas de sucesso de 67-100%.

• Eficácia da Mitigação (ISP):

  • Após aplicar o ISP, a TAR (Taxa de Aceitação Verdadeira) para sondas lineares em conjuntos abertos caiu para números de dígito único (próximos ao acaso) em todos os datasets testados.
  • Preservação de Utilidade: A aplicação do ISP resultou em perda mínima de utilidade para tarefas downstream. Em ImageNet (classificação) e DISC2021 (detecção de cópia), a precisão manteve-se próxima de 100% da linha de base.
  • Robustez Não-Linear: Mesmo após a remoção linear, sondas MLP não conseguiram recuperar a identidade, sugerindo que o sinal de identidade nos codificadores não-FR é fraco e concentrado no subespaço linear removido.

• Atribuição:

  • Os codificadores não-FR mostraram-se dominantes por contexto (o fundo influencia mais a similaridade que o rosto em certos testes de estresse), ao contrário dos modelos de FR que são dominantes pelo rosto. O ISP não alterou drasticamente essa dinâmica, apenas removeu a componente de identidade linear.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na segurança de IA, estabelecendo que codificadores visuais modernos, embora úteis para busca e integridade, não são inerentemente privados por padrão, mas seu vazamento de identidade é gerenciável.

• Viabilidade de Implantação: O ISP oferece uma solução prática para organizações que precisam usar embeddings visuais para verificação de integridade ou busca de imagens similares sem violar regulamentações de privacidade (como GDPR/CCPA) que restringem o uso de biometria explícita.
• Garantia Auditável: Ao fornecer um projetor fixo e auditável, o método permite que operadores certifiquem que seus sistemas não estão expostos a ataques lineares de extração de identidade, mantendo a utilidade do sistema.
• Futuro: O estudo sugere que a privacidade em modelos visuais pode ser alcançada através de edição de subespaço linear sem a necessidade de retreinamento complexo, abrindo caminho para a adoção segura de modelos de fundação em aplicações sensíveis a dados.

Em resumo, o paper demonstra que é possível "sanitizar" embeddings visuais de forma eficiente, transformando-os de ferramentas com vazamento de privacidade não quantificado em ativos seguros para uso em larga escala.