🤖 machine learning

Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models

Este artigo argumenta que métricas agregadas de inferência de associação, como o ROC-AUC, obscurecem o risco severo e dependente da capacidade de extração de dados de treinamento literais de modelos de linguagem de caixa preta, demonstrando que documentos específicos contendo identificadores ou código são frequentemente vazados independentemente de baselines cegos ou deduplicação, e propõe um framework de auditoria probabilística por documento via a ferramenta "leakit" para medir com precisão este dano à privacidade.

Autores originais: Victor Maricato

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Victor Maricato

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir se uma receita específica e secreta foi usada para assar um bolo gigante e misterioso. Você não consegue ver a cozinha e não pode perguntar ao confeiteiro a lista de ingredientes. Tudo o que você pode fazer é pedir ao confeiteiro para fazer mais algumas fatias de bolo baseando-se em uma pequena migalha que você encontrou anteriormente. Se o confeiteiro continuar cuspindo exatamente a mesma lista de ingredientes secretos toda vez que você pede, você pode supor que a receita secreta estava, de fato, na memória dele. Este é o mundo dos "Modelos de Linguagem" — programas de computador superinteligentes que aprendem lendo quantidades massivas de texto da internet. Eles são como esses confeiteiros, mas em vez de bolos, eles preveem a próxima palavra em uma frase.

A grande questão que os cientistas estão fazendo é: esses confeiteiros digitais lembram dos livros específicos que comeram? Isso é chamado de "Inferência de Membro". Se um modelo lembra de um documento específico, ele pode acidentalmente cuspir detalhes privados, como o endereço de e-mail ou o número de telefone de uma pessoa que estavam escondidos dentro desse documento. Por muito tempo, pesquisadores tentaram medir isso observando o desempenho "médio" de seus testes. Eles diriam: "Ei, nosso teste é 90% preciso!" Mas, assim como uma previsão do tempo que diz que estará "majoritariamente ensolarado", mas ignora uma tempestade repentina e perigosa, essas pontuações médias podem esconder o fato de que o modelo está vazando segredos perigosos para algumas pessoas azaradas.

Este artigo, intitulado "LEAK IT", lança um novo olhar sobre como pegamos esses vazamentos digitais. O autor, liderado por Victor Maricato, argumenta que a antiga maneira de medir a privacidade é enganosa. Eles descobriram que muitos testes "inteligentes" que alegavam detectar se um documento estava nos dados de treinamento eram, na verdade, apenas palpites baseados no estilo do próprio texto, e não na memória do modelo. É como tentar adivinhar se um bolo foi feito com uma receita secreta apenas olhando para a cor da cobertura, quando a cor da cobertura é, na verdade, apenas uma coincidência.

No entanto, o artigo revela uma verdade mais perigosa: embora o teste "médio" possa parecer inofensivo, o modelo está vazando, mas apenas para um grupo muito específico e pequeno de documentos. O pesquisador descobriu que, se você pedir ao modelo para continuar uma frase de um trecho de código ou de um documento contendo um e-mail real, ele às vezes cuspirá essa exata informação privada de forma literal. É como se o confeiteiro, ao ser solicitado para terminar uma frase sobre um tempero raro e específico, de repente gritasse a marca e o número do lote exatos daquele tempero, mesmo que ele não fizesse isso para um ingrediente comum como a farinha.

O estudo mostra que essa "extração literal" piora à medida que os modelos ficam maiores. Para um modelo com 6,9 bilhões de parâmetros, cerca de 16,6% dos documentos contendo identificadores reais (como e-mails ou números de telefone) foram vazados desta forma. Surpreendentemente, o autor descobriu que simplesmente remover textos duplicados dos dados de treinamento (um passo comum de segurança) não impediu realmente que isso acontecesse. Eles também mostraram que esse risco não é distribuído uniformemente; é muito maior para códigos de computador do que para histórias ou artigos comuns.

A principal conclusão é que precisamos parar de olhar para a pontuação de privacidade "média" e começar a verificar esses vazamentos específicos de alto risco. O autor lançou uma nova ferramenta chamada "leakit" para ajudar auditores a encontrar esses momentos exatos onde um modelo pode acidentalamente revelar um segredo privado. Eles sugerem que, em vez de apenas dizer "o modelo é majoritariamente seguro", devemos admitir que, para certos documentos, o modelo é um vazamento de memória muito eficaz, e que precisamos de proteções mais fortes, como um escudo de privacidade especial chamado "privacidade diferencial", para corrigir isso.

Resumo Técnico: LEAK IT – Uma Abordagem Probabilística para a Extração de Dados de Treinamento de Modelos de Linguagem Black-Box

Declaração do Problema

O artigo aborda a avaliação dos riscos de privacidade em Grandes Modelos de Linguagem (LLMs), focando especificamente em Ataques de Inferência de Membros (MIA) e na extração de dados de treinamento. As auditorias de privacidade atuais dependem predominantemente de métricas agregadas, como o ROC-AUC, para determinar se um modelo vaza informações sobre seu conjunto de treinamento. No entanto, trabalhos recentes (Das et al., 2025) demonstram que essas métricas agregadas são confundidas: classificadores "cegos" livres de modelo (ex: bag-of-words, detecção de datas) podem frequentemente distinguir membros do treinamento de não membros baseando-se apenas em estatísticas de texto de superfície, tornando os escores de AUC agregados indicadores não confiáveis de vazamento real do modelo.

Além disso, embora a extração baseada em amostragem seja conhecida por ocorrer, a extensão de como isso afeta documentos individuais versus a população agregada, e como se comporta sob restrições rigorosas de black-box (sem logits de nível de token, sem acesso white-box), permanece subcaracterizada. O artigo argumenta que as métricas agregadas obscurecem o "risco de cauda" (tail risk) — um subconjunto pequeno de documentos altamente expostos que sofrem extração verbatim, mesmo quando o desempenho médio do modelo sugere baixo vazamento.

Metodologia

Estrutura Probabilística

O autor propõe uma lente probabilística para analisar o vazamento de amostragem em black-box. Dado um prefixo $x$ , eles tratam $N$ amostras independentes $C_1, \dots, C_N \sim p_\theta(\cdot | x)$ como uma estimativa empírica da distribuição de saída do modelo. Os sinais de vazamento são definidos como funcionais desta distribuição:

Sobreposição de Média (Mean Overlap): A sobreposição média entre as amostras e uma continuação retida (held-out) $y$ (correspondente ao SaMIA).
Valor Extremo (Extreme Value): A sobreposição máxima (ou recall de união de conjunto) entre qualquer amostra única e $y$ .
Autoconcentração (Self-Concentration): A sobreposição mútua entre as próprias amostras, medindo o quão concentrada é a distribuição sem referenciar $y$ .

Configuração Experimental

Benchmarks: O estudo utiliza WikiMIA (para demonstrar a natureza de confusão da separabilidade de texto de superfície) e MIMIR (uma divisão IID treino/teste de The Pile com deduplicação de n-grams entre membros e não membros).
Baselines Cegas: Para isolar o verdadeiro vazamento do modelo, o autor reproduz classificadores cegos livres de modelo (detecção de data, TF-IDF bag-of-words, seleção de n-grama raro) e os compara com funcionais de amostragem.
Modelos: Experimentos são conduzidos na família de modelos Pythia (410M a ly 6.9B parâmetros) e OLMo-1B.
Auditoria de Extração: Um conjunto de sondagem específico de 500 documentos de parte da divisão de treinamento de The Pile é construído, contendo endereços de e-mail e números de telefone reais. O ataque envolve a amostragem de continuações a partir de um prefixo imediatamente precedente ao identificador.
Controles: Para atribuir o vazamento a documentos específicos em vez de geração de strings genéricas, um controle de prefixo incompatível (mismatched-prefix control) é usado. Um documento é contado como "vazado" apenas se o identificador for reproduzido com o prefixo correto, mas não com um prefixo incompatível.

Resultados Principais

1. Métricas Agregadas são Confundidas

No benchmark WikiMIA, um classificador cego de bag-of-words atinge um AUC de 0.97, enquanto os funcionais de amostragem (incluindo recuperação de continuação de ouro/gold-continuation) operam próximo ao acaso (AUC ~0.52). No split IID do MIMIR, onde os desvios temporais foram removidos, o baseline cego cai para o acaso (0.56), mas os funcionais de amostragem (autoconcentração, recuperação de continuação de ouro) falham em exceder significativamente o baseline cego residual. O AUC incremental da amostragem sobre o baseline cego inclui zero em seu intervalo de confiança de 95%.

Conclusão: Como um classificador de membros agregado, a amostragem black-box não adiciona sinal significativo além do que o texto de superfície já revela.

2. Extração Verbatim de uma "Cauda" de Documentos

Embora as métricas agregadas falhem, a amostragem consegue extrair verbatim dados de treinamento para uma cauda específica de documentos que ataques cegos não conseguem alcançar.

Vazamento de PII: No Pythia-6.9B, 16,6% de 500 documentos de sondagem (83 documentos) tiveram seus identificadores específicos reais (e-mail/telefone) reproduzidos verbatim, uma taxa que é atribuível ao documento específico e não à emissão genérica. Para endereços de e-mail especificamente, a taxa de vazamento é de 21,3%.
Dependência de Escala: O vazamento específico do documento cresce monotonicamente com a capacidade do modelo (de 5,6% em 410M para 16,6% em 6.9B).
Especificidade de Domínio: O vazamento é aproximadamente 3× mais forte em código do que em prosa. Embora o vazamento em prosa seja menor (4,0% a 12,1% através das escalas), ele permanece estatisticamente positivo.
Recuperação de Continuação Arbitrária: A recuperação de continuações arbitrárias retidas é amplamente confinada ao domínio GitHub (gap de membro +0,44), sendo negligenciável em domínios de prosa (Wikipedia, ArXiv).

3. Características do Regime de Extração

Comprimento do Prefixo: Um prefixo de 16 tokens é suficiente para disparar a extração.
Orçamento de Amostragem: O orçamento de amostragem necessário escala inversamente com o comprimento do prefixo.
Parâmetros de Decodificação: Temperatura e amostragem de núcleo (nucleus sampling/top-p) têm efeitos menores na taxa de extração.
Deduplicação: Treinar em um corpus deduplicado (Pythia-2.8B-deduped) não reduziu significativamente a extração de PII verbatim comparado ao modelo padrão (12,8% vs 14,0%, $p=0.52$ ). O autor observa que a quase-deduplicação pode aumentar o número de passagens sobre os dados, potencialmente compensando os benefícios.

Contribuições

O artigo apresenta quatro contribuições principais:

Estrutura Probabilística: Uma visão de estimativa funcional do vazamento de amostragem em black-box que unifica estatísticas de sobreposição de média, valor extremo e autoconcentração como funcionais da distribuição de saída do modelo.
Extensão da Crítica ao Baseline Cego: Demonstrar que, em divisões IID, nenhum funcional de amostragem supera significativamente um baseline livre de modelo como um classificador de membro agregado.
Caracterização do Risco de Cauda: Mostrar que a amostragem extrai verbatim dados de treinamento (incluindo PII) para uma cauda de documentos perdidos pelas métricas agregadas, e caracterizar o regime de extração em relação a escala, domínio e parâmetros de decodificação.
Lançamento de Ferramenta: O lançamento do leakit, uma ferramenta de auditoria de extração black-box, e o argumento de que as auditorias de privacidade devem relatar taxas de extração por documento em vez de escores de membros agregados.

Significância e Alegações

O artigo argumenta que a prática atual de relatar o ROC-AUC agregado para auditorias de privacidade é insuficiente e potencialmente enganosa. Ele alega que:

O AUC agregado esconde o dano real: Ele faz a média de uma cauda de alto risco onde ocorre a extração verbatim.
A divulgação por documento é a métrica crítica: A capacidade de reproduzir um identificador ou continuação específica para um documento específico é o dano concreto de privacidade que o MIA visa detectar, e isso é invisível para métricas agregadas.
Implicações de Mitigação: Como a deduplicação não reduziu mensuravelmente a extração neste conjunto de testes, o autor motiva a privacidade diferencial como uma estratégia de mitigação necessária que oferece garantias formais.
Padrão de Auditoria: As auditorias de privacidade devem mudar o foco da inferência de membro agregada para a análise de extração por documento.

O autor afirma explicitamente que seus resultados não pretendem alegar uma falha geral da deduplicação, mas destacam que, sob as condições testadas, ela não protegeu identificadores individuais, reforçando a necessidade de mitigações mais fortes e garantidas.