Resumo Técnico: Sobre a Confiabilidade da Avaliação Eficiente de Vulnerabilidade a Inferência de Membro

1. Declaração do Problema

Ataques de Inferência de Membro (AIMs) são o método empírico padrão para avaliar o vazamento de privacidade em modelos de aprendizado de máquina. A vulnerabilidade é tipicamente medida pela Taxa de Verdadeiros Positivos (TPR) em uma Taxa de Falsos Positivos (FPR) fixa e baixa. No entanto, estimar confiavelmente a TPR em FPRs muito baixos (por exemplo, $FPR \le 0,01$) requer um número proibitivo de modelos-alvo ($M$), pois $M$ deve satisfazer $M \ge 10/FPR$ para uma estimativa estável.

Para contornar esse custo computacional, os praticantes frequentemente agregam pontuações de AIMs através de múltiplos modelos-alvo e múltiplas amostras de dados (concatenação). O artigo identifica duas falhas críticas nesse pipeline de avaliação "eficiente":

1. Miscalibração na Avaliação Concatenada: Simplesmente concatenar pontuações de diferentes amostras e aplicar um único limiar global não garante uma FPR uniforme entre as amostras individuais. Isso leva a FPRs por amostra heterogêneas, tornando a métrica global pouco confiável para auditoria de privacidade diferencial ou comparação de defesas.
2. Viés de População Finita no LiRA Eficiente: A implementação amplamente utilizada de "LiRA eficiente" (Carlini et al., 2022) recicla um conjunto finito de modelos sombra. Como esses modelos são treinados em subconjuntos sobrepostos de um conjunto de dados finito sem reposição, a variância empírica dos resultados de aprendizado é subestimada. Isso resulta em um viés positivo nas estimativas de vulnerabilidade, fazendo com que os modelos pareçam mais vulneráveis do que realmente são em relação à distribuição de dados subjacente.

2. Metodologia

Estrutura Teórica

Os autores enquadram o AIM como um teste de hipótese binário ($H_0$: amostra $\notin$ conjunto de treinamento vs. $H_1$: amostra $\in$ conjunto de treinamento). Eles distinguem entre:

• Vulnerabilidade por amostra: A distinguibilidade de uma amostra específica $x$ através de diferentes resultados de aprendizado (estocasticidade no treinamento).
• Vulnerabilidade concatenada: Agregar pontuações através de $M$ modelos e $N$ amostras para estimar uma vulnerabilidade média.

Soluções Propostas

A. Pós-processamento para Calibração de FPR

Para abordar a miscalibração das pontuações concatenadas, os autores propõem um método de pós-processamento baseado em transformações afins das pontuações de AIM (pontuações LiRA).

• Pressuposto: As distribuições de entrada/saída para uma amostra $x$ podem ser aproximadas como Gaussianas: $S^{out}_x \sim \mathcal{N}(\mu_{out,x}, \sigma^2_{out,x})$ e $S^{in}_x \sim \mathcal{N}(\mu_{in,x}, \sigma^2_{in,x})$.
• Transformação: As pontuações são padronizadas usando os parâmetros da distribuição de saída:
  $$f_x(t) = \text{sign}(\Delta_x) \frac{t - \mu_{out,x}}{\sigma_{out,x}}$$
  onde $\Delta_x = \mu_{in,x} - \mu_{out,x}$.
• Efeito: Sob essa transformação, a distribuição de saída para todas as amostras torna-se uma normal padrão $\mathcal{N}(0, 1)$. Um único limiar global $t_\alpha = \Phi^{-1}(1-\alpha)$ pode então ser aplicado para garantir que a FPR seja exatamente $\alpha$ para cada amostra (assumindo variâncias iguais ou usando a aproximação da normal padrão).
• Variâncias Desiguais: Mesmo se as variâncias diferirem ($\sigma_{in,x} \neq \sigma_{out,x}$), a transformação garante que a distribuição de saída seja normal padrão, preservando a calibração da FPR. Embora o teste não seja mais o teste Uniformemente Mais Poderoso (UMP), ele fornece um limite inferior calibrado sobre a vulnerabilidade média.

B. Correção de População Finita (CPF)

Para abordar o viés no LiRA eficiente, os autores aplicam a teoria clássica de amostragem (Cochran, 1977).

• Observação: Quando os conjuntos de treinamento são amostrados sem reposição de um superconjunto finito $D_{full}$ de tamanho $N_+$, a variância do estimador é reduzida por um fator de $(1 - N/N_+)$, onde $N$ é o tamanho do conjunto de treinamento.
• Correção: As variâncias empíricas estimadas a partir dos modelos sombra devem ser escalonadas para cima pelo inverso do fator de Correção de População Finita (CPF):
  $$\text{CPF} = 1 - \frac{N}{N_+}$$
  $$\sigma^2_{corrigido} \approx \frac{\sigma^2_{empírico}}{\text{CPF}}$$
  Essa correção alinha a variância empírica com a variância esperada de extrações independentes da distribuição populacional subjacente.

3. Contribuições Principais

1. Análise Teórica da Agregação: O artigo explicita as fontes de aleatoriedade nas avaliações de AIM por amostra versus concatenada, demonstrando que um único limiar global induz FPRs por amostra heterogêneas, tornando a concatenação ingênua pouco confiável para auditoria de baixo FPR.
2. Método de Calibração: Um método simples de pós-processamento é proposto para calibrar FPRs por amostra, permitindo que avaliações concatenadas relatem uma TPR média em um FPR alvo sob pressupostos Gaussianos moderados.
3. Identificação de Viés de População Finita: Os autores identificam que implementações de LiRA eficiente sofrem de subestimação de variância devido à reutilização de conjuntos de dados sombra finitos. Eles propõem uma correção baseada em CPF para corrigir esse viés.
4. Validação Empírica: Experimentos em modelos TabPFN treinados nos conjuntos de dados UCI Adult e Credit demonstram que a concatenação ingênua superestima o risco de privacidade, enquanto o pós-processamento proposto produz estimativas mais estáveis e inferiores. Simulações confirmam que a correção CPF recupera o desvio padrão analítico dos resultados de aprendizado.

4. Resultados Experimentais

• Comparação de Estratégias: Usando modelos TabPFN, os autores compararam concatenação ingênua, concatenação pós-processada e média por amostra.
  • Concatenação Ingênua: Consistentemente produziu TPRs mais altas, superestimando o risco porque não levou em conta as diferenças de variância por amostra.
  • Concatenação Pós-processada (PP): Produziu estimativas de TPR mais baixas e estáveis. À medida que o número de modelos ($M$) aumentava, a "TPR Média/Amostra" (a verdade fundamental para agregação por amostra) convergia para a "TPR Concatenada (PP)", validando a PP como um proxy confiável e computacionalmente eficiente.
  • Limiarização: O uso de um limiar analítico baseado em $\mathcal{N}(0,1)$ levou a TPRs infladas para $M$ pequeno. O uso de um limiar baseado na distribuição $t$ de Student forneceu resultados mais precisos para $M \ge 256$.
• Viés de População Finita: Em simulações analíticas com dados Gaussianos, o desvio padrão empírico ($\sigma_{emp}$) do LiRA eficiente foi consistentemente menor que o desvio padrão analítico ($\sigma_{ana}$). A razão $\sigma_{emp}/\sigma_{ana}$ concentrou-se em torno de $\sqrt{\text{CPF}}$. A aplicação da correção CPF recuperou com sucesso a variância analítica.

5. Significado e Alegações

O artigo afirma fornecer um framework mais confiável e eficiente para avaliar a vulnerabilidade de AIM, especificamente para a vulnerabilidade média em um conjunto de dados em FPRs baixos.

• Confiabilidade: O pós-processamento proposto garante que a TPR relatada corresponda ao FPR pretendido entre as amostras, abordando uma falha crítica nas práticas atuais de auditoria "eficiente".
• Eficiência: O método permite estimativas válidas de baixo FPR sem exigir o número massivo de modelos-alvo que seria necessário para calibração por amostra.
• Correção de Viés: A identificação e correção do viés de população finita no LiRA eficiente previnem a superestimação sistemática de vulnerabilidade causada pela reutilização de conjuntos de dados sombra finitos.

Os autores mantêm uma postura modesta, observando que, embora a TPR média seja uma métrica útil, ela pode "diluir" o risco das amostras mais vulneráveis. Eles reconhecem que identificar e testar as amostras mais vulneráveis permanece o padrão-ouro, mas é computacionalmente proibitivo. Sua abordagem oferece uma "alternativa relativamente barata e fácil" para obter uma TPR válida em um FPR conhecido, uma capacidade anteriormente indisponível em pipelines de avaliação eficientes.