Resumo Técnico: Certificado na Teoria, Quebrado na Prática

Declaração do Problema

O artigo aborda uma vulnerabilidade crítica em protocolos de Certificação de Modelo Criptográfico (CMC) utilizados para auditoria de aprendizado de máquina preservadora de privacidade. Embora os frameworks de CMC existentes utilizem provas de conhecimento zero (ZKP) e compromissos criptográficos para verificar propriedades de modelos (ex: acurácia, justiça, privacidade diferencial) sem revelar os detalhes internos do modelo ou os dados de treinamento, eles sofrem de um gap de suposição fundamental.

As definições de segurança atuais tipicamente certificam que um modelo satisfaz uma propriedade $f$ em um conjunto de dados de auditoria fixo $S_{audit}$. No entanto, elas falham em garantir que essa propriedade se generalize para a distribuição de dados subjacente $D$ da qual $S_{audit}$ foi extraído. Os autores argumentam que, se o provedor do modelo (provador) conhece o conjunto de dados de auditoria antes de se comprometer com seu modelo, ele pode realizar ataques de falsificação de dados. Ao projetar cuidadosamente os dados de treinamento, um provedor malicioso pode produzir um modelo que passa na auditoria criptográfica (exibindo comportamento "benigno" em $S_{audit}$) enquanto exibe comportamento "patológico" em novas amostras da mesma distribuição $D$. Isso cria uma falsa sensação de segurança, permitindo a implantação de modelos que falham em cumprir suas garantias pretendidas em cenários do mundo real.

Metodologia

1. Modelo de Ameaça e Jogo de Ataque

Os autores formalizam um modelo de ameaça envolvendo um provedor de modelo malicioso (provador) e um auditor honesto-mas-curioso (verificador). Eles introduzem um jogo de Treinamento Adaptativo com Dados de Auditoria Conhecidos (Definição 3) para demonstrar a vulnerabilidade:

• Configuração: O adversário recebe um conjunto de dados de auditoria $S_{audit} \sim D^\ell$.
• Objetivo: O adversário gera uma hipótese $h$ e dados de treinamento $S_{train}$ tais que:
  1. O modelo passa na auditoria: $f(h, S_{train}, S_{audit}) = 1$.
  2. O modelo falha na verdadeira propriedade de segurança na distribuição: $F(h, S_{train}) = 0$.
  3. O modelo satisfaz um predicado de utilidade $L$ (ex: maximizar negações de sinistros para um provedor de seguros).

2. Ataques de Falsificação de Dados

O artigo apresenta três estratégias concretas de falsificação de dados que contornam as defesas criptográficas padrão (ZKPs e compromissos) sem alterar o processo de treinamento em si, mas sim manipulando os dados de entrada:

• Atacando a Acurácia: Usando o Algoritmo 1, o atacante constrói um conjunto de treinamento $S'_{train}$ contendo os pontos de auditoria com rótulos corretos, aumentados por vizinhos $\epsilon$-perturbados rotulados com a classe oposta. Ao treinar com esses dados (ex: usando Árvores de Decisão até a homogeneidade das folhas), o modelo alcança acurácia perfeita em $S_{audit}$, mas prevê o rótulo oposto para qualquer ponto fora do $\epsilon$-vizinhança dos dados de auditoria, resultando em acurácia próxima de zero no restante da distribuição.
• Atacando a Justiça (Fairness): Usando o Algoritmo 2, o atacante manipula atributos sensíveis e rótulos. No conjunto de auditoria, os rótulos são randomizados para garantir paridade demográfica (parecendo justo). No restante da distribuição, o modelo aprende a prever com base em atributos sensíveis, resultando em injustiça máxima.
• Atacando a Privacidade Diferencial (DP): Usando o Algoritmo 3, o atacante duplica pontos de dados específicos no conjunto de treinamento. Como a sensibilidade de DP depende da mudança na saída quando um único registro é modificado, a duplicação de registros quebra as suposições de sensibilidade, permitindo que o atacante treine um modelo com garantias de privacidade significativamente piores do que as alegadas, enquanto ainda passa em uma prova ZKP de "procedimento de treinamento DP correto".

3. Evasão Estatística

Os autores demonstram que esses conjuntos de dados falsificados são indistinguíveis de conjuntos de dados honestos sob testes estatísticos padrão. Ao adicionar cópias suficientes dos dados de auditoria ao conjunto de treinamento, o atacante garante que os dados de treinamento e de auditoria passem no teste t de Welch e no teste de Levene (verificando igualdade de média e variância) com alta probabilidade, tornando a detecção estatística ineficaz.

4. Template de CMC Seguro

Para mitigar esses ataques, o artigo propõe um template de protocolo Commit-Sample-Prove ($\Pi_{csp}$):

1. Commit (Compromisso): O provedor do modelo primeiro se compromete com seu modelo $h$ (e opcionalmente com os dados de treinamento) usando um esquema de compromisso criptográfico.
2. Sample (Amostragem): Somente após o compromisso ser recebido, o auditor amostra o conjunto de dados de auditoria $S_{audit}$ da distribuição $D$.
3. Prove (Prova): O provedor e o auditor executam um ZKP para verificar se o modelo comprometido satisfaz o predicado empírico $f$ no recém-amostrado $S_{audit}$.

Essa ordem garante que $S_{audit}$ seja independente do modelo $h$ e dos dados de treinamento, impedindo que o provedor adapte os dados ao conjunto de auditoria. Os autores fornecem definições formais para $\tilde{F}$-relaxed knowledge soundness, garantindo que, se um modelo passar na auditoria, ele satisfaça a propriedade desejada $F$ na distribuição (até um pequeno limite quantificável derivado de desigualdades de concentração).

Principais Contribuições

1. Identificação de Vulnerabilidades Dependentes de Dados: O artigo identifica que os esquemas de CMC existentes são vulneráveis à falsificação de dados quando o conjunto de dados de auditoria é conhecido pelo provedor antes do compromisso do modelo. Esse gap permite a certificação de modelos que são "quebrados na prática", apesar de passarem em auditorias teóricas.
2. Demonstração Empírica de Ataques: Através de experimentos em seis conjuntos de dados de referência (ex: Adult, COMPAS, German Credit) usando Árvores de Decisão, XGBoost e Redes Neurais, os autores mostram que:
   • Modelos podem alcançar >99% de acurácia nos dados de auditoria enquanto caem para <30% em amostras novas.
   • Modelos podem parecer perfeitamente justos nos dados de auditoria enquanto exibem disparidade máxima em implantação.
   • Esses ataques evadem a detecção por testes estatísticos padrão (teste t de Welch).
3. Estudo de Caso Sistemático: Os autores analisaram nove trabalhos recentes em segurança e aprendizado de máquina (incluindo zkCNN, Confidential-DPproof e OATH). Eles descobriram que seis desses trabalhos são pelo menos parcialmente vulneráveis porque utilizam conjuntos de dados públicos para auditoria ou falham em impor o compromisso antes da revelação do conjunto de dados.
4. Framework de Segurança Formal: O artigo introduz definições de segurança rigorosas adaptadas para CMC, distinguindo entre garantias específicas de conjuntos de dados e garantias distributivas. Ele fornece um template de protocolo genérico ($\Pi_{csp}$) e prova sua segurança sob suposições criptográficas padrão, garantindo que as propriedades certificadas se generalizem para a distribuição subjacente.

Resultados

• Vulnerabilidade: No jogo de ataque, adversários passaram com sucesso em auditorias que exigiam 99% de acurácia, enquanto alcançavam apenas ~30% de acurácia em dados de teste. Da mesma forma, modelos passaram em auditorias de justiça com lacunas de disparidade próximas de zero, mas exibiram disparidade quase máxima em teste.
• Indetectabilidade: Os conjuntos de dados de treinamento falsificados passaram nos testes t de Welch e de Levene contra o conjunto de dados de auditoria com níveis de significância de $\alpha=0.05$, demonstrando que verificações estatísticas não podem distinguir de forma confiável dados de treinamento maliciosos de dados honestos neste contexto.
• Restauração da Segurança: O template $\Pi_{csp}$ proposto mostrou-se compatível com construções de ZKP existentes (ex: para árvores de decisão e CNNs). Ao aplicar a ordem "commit-then-sample" (comprometer-então-amostrar), a segurança desses protocolos é restaurada, impedindo os ataques de falsificação de dados.

Significância e Alegações

O artigo afirma que suas descobertas servem como evidência cautelar em vez de uma declaração de que trabalhos criptográficos anteriores estão tecnicamente quebrados. A asserção central é que as garantias de segurança fornecidas pelos frameworks de CMC existentes não se alinham com os requisitos práticos de auditoria, que exigem que as propriedades certificadas se mantenham em dados novos da mesma distribuição, e não apenas em um conjunto de dados de auditoria específico.

Os autores enfatizam que:

• Soluções de auditoria segura que utilizam conjuntos de dados públicos conhecidos ou reutilizam conjuntos de dados de teste (onde o provedor conhece os dados) dificilmente fornecerão garantias robustas.
• A importância da amostragem contínua de dados novos ou de mecanismos criptográficos que ocultem os dados de auditoria até que o modelo seja comprometido é primordial para uma infraestrutura de auditoria bem-sucedida.
• Designs futuros para auditoria de ML criptograficamente segura devem abordar explicitamente o gap entre a certificação específica de conjuntos de dados e a generalização distributiva, exigindo uma comunicação estreita entre as comunidades de criptografia, segurança e aprendizado de máquina.

O trabalho não pretende resolver todos os desafios de auditoria preservadora de privacidade (ex: a certificação eficiente de DP continua difícil devido à necessidade de geração de dados de treinamento confiáveis), mas fornece um framework fundamental e um template de protocolo específico para mitigar as vulnerabilidades de falsificação de dados identificadas.