Resumo Técnico: SynBench – Um Benchmark para Geração de Texto com Privacidade Diferencial

Declaração do Problema

A proliferação de Modelos de Linguagem de Grande Escala (LLMs) criou um gargalo crítico: o esgotamento de dados de treinamento de alta qualidade publicamente disponíveis. Embora vastas quantidades de dados sensíveis existam em domínios especializados (saúde, finanças, direito), restrições de privacidade e regulatórias impedem seu uso. A geração de dados sintéticos oferece uma solução potencial, mas as abordagens atuais enfrentam três desafios fragmentados:

1. Falta de Padronização: As avaliações existentes dependem de conjuntos de dados e métricas de "escolha e seleção", frequentemente utilizando dados simples de domínio aberto (por exemplo, avaliações de produtos) que não capturam complexidades específicas do domínio, como jargão técnico ou dependências de longo contexto.
2. Contaminação do Pré-treinamento: Muitos conjuntos de dados de benchmark usados para avaliar geradores com privacidade diferencial (DP) podem ter sido encontrados durante o pré-treinamento dos LLMs subjacentes. Isso leva a uma superestimação da qualidade de geração, pois os modelos podem estar explorando informações memorizadas em vez de aprender a partir do conjunto de dados privado.
3. Auditoria de Privacidade Insuficiente: A pesquisa atual frequentemente confia exclusivamente em garantias formais $(\epsilon, \delta)$ sem verificação empírica rigorosa. Consequentemente, violações de privacidade causadas pela exposição ao pré-treinamento permanecem indetectadas, e o paradigma "pré-treinamento público e geração privada" pode invalidar os limites de privacidade reivindicados na prática.

Metodologia: O Framework SynBench

Os autores introduzem o SynBench, um benchmark unificado e framework de auditoria projetado para avaliar a geração de texto com DP ao longo de três eixos: Utilidade, Fidelidade e Vazamento de Privacidade.

1. Curadoria de Conjuntos de Dados

O SynBench utiliza nove conjuntos de dados curados abrangendo domínios de alto risco, indo além de benchmarks de domínio aberto:

• Saúde: HOC (literatura sobre câncer), N2C2'08 (resumos clínicos), PSYTAR (efeitos de drogas em mídias sociais) e MIMIC (resumos de triagem).
• Finanças: DMSAFN, LC37FND e ZSTFNS (notícias e tweets para análise de sentimento).
• Jurídico: ASYLEX (raciocínio) e EURLEX (classificação multilabel).
  Estes conjuntos de dados apresentam documentos longos, acesso restrito, terminologia especializada e espaços de rótulos complexos.

2. Linhas de Base de Avaliação

O framework avalia três paradigmas distintos de geração com DP:

• AUG-PE: Um método baseado em API que estima estatísticas de recursos privatizadas e consulta iterativamente um LLM para correspondê-las.
• DP-Gen (DP-transformers): Geração neural de ponta a ponta usando DP-SGD (corte de gradiente e injeção de ruído) para treinar modelos Transformer.
• DP-Diffusion (DP-Dfs): Um gerador baseado em difusão que aprende um processo reverso de remoção de ruído com restrições de DP.

3. Protocolo de Avaliação

• Utilidade: Medida pelo treinamento de modelos de classificação downstream em dados sintéticos e avaliação do desempenho em dados originais retidos.
• Fidelidade: Avaliada via MAUVE (alinhamento semântico), divergência na distribuição de Reconhecimento de Entidades Nomeadas (NER) e estatísticas de comprimento de texto.
• Auditoria de Privacidade (MIA): Os autores propõem um novo Ataque de Inferência de Membro em Texto Sintético (MIA). Ao contrário das MIAs padrão que assumem acesso aos logits do modelo, este ataque opera em um cenário de caixa preta onde o adversário possui apenas o conjunto de dados sintético.
  • Processo: O pipeline identifica registros outliers no conjunto de dados privado, particiona os dados em conjuntos privado e auxiliar, gera dados sintéticos e treina modelos de n-gramas para detectar sinais de pertencimento.
  • Métrica: A Área Sob a Curva (AUC) da Curva Característica de Operação do Receptor (ROC) é usada para quantificar o vazamento.

4. Análise de Contaminação

Para abordar o vazamento de pré-treinamento, os autores utilizam a API Infini-gram para medir a sobreposição exata entre conjuntos de treinamento privados e corpora públicos em escala web (proximados pelo RedPajama). Eles correlacionam essa fração de vazamento com a qualidade dos dados sintéticos e os riscos de privacidade.

Resultados Principais

1. Desafios de Utilidade e Fidelidade

• Dependência de Domínio: Os métodos atuais de DP lutam para corresponder às linhas de base de dados reais, particularmente em configurações complexas e específicas de domínio. Alta utilidade é frequentemente dependente do conjunto de dados, e não do método.
• Compromisso Privacidade-Utilidade: Orçamentos de privacidade mais estritos ($\epsilon$) nem sempre se correlacionam linearmente com o desempenho diminuído, mas a geração de alta qualidade sob fortes restrições de DP permanece elusiva.
• Colapso do Modelo: O DP-Diffusion exibe fragilidade sob fortes restrições de privacidade (por exemplo, $\epsilon=0.5$), frequentemente colapsando em saídas degeneradas (strings vazias ou aleatórias).
• Deterioração da Fidelidade: Pontuações MAUVE e métricas distribucionais mostram que as distribuições de dados sintéticos desviam-se significativamente dos dados reais, uma lacuna que se amplia sob restrições de DP.

2. O Impacto da Contaminação de Pré-treinamento

• Pontuações Infladas: Existe uma forte correlação positiva entre a fração de amostras vazadas (sobreposição com dados de pré-treinamento) e a qualidade medida dos dados sintéticos (tanto utilidade quanto fidelidade).
• Estudo de Caso PSYTAR: No conjunto de dados de acesso restrito PSYTAR, os autores sinalizaram 416/5102 amostras como potencialmente contaminadas. A remoção dessas amostras reduziu monotonicamente a utilidade downstream, provando que "altas pontuações" foram impulsionadas por dados de pré-treinamento memorizados em vez de aprendizado genuíno a partir do conjunto de dados privado.

3. Achados da Auditoria de Privacidade

• Violação de Limites: Os resultados empíricos de MIA frequentemente excedem os limites teóricos $(\epsilon, \delta)$, particularmente para conjuntos de dados com alto vazamento de pré-treinamento (por exemplo, PSYTAR, DMSAFN).
• Não Monotonicidade: A mapeamento do orçamento de privacidade $\epsilon$ para vazamento empírico é não monotônico. Orçamentos mais apertados nem sempre reduzem o vazamento; em alguns casos (por exemplo, PSYTAR), a AUC aumentou à medida que $\epsilon$ diminuiu de 4 para 0.5.
• Risco de Pré-treinamento: Modelos treinados em dados sintéticos gerados sem DP (ou com DP fraco) podem ser mais vulneráveis à inferência de membro do que modelos treinados diretamente em dados privados com DP, sugerindo interações complexas entre a exposição ao pré-treinamento e o pipeline sintético.

Significado e Reivindicações

O artigo argumenta que a geração de texto sintético com DP permanece um desafio não resolvido para aplicações de alta qualidade e específicas de domínio. Suas principais contribuições são:

1. Framework Unificado: Fornece o primeiro benchmark padronizado para geração de texto com DP que integra utilidade, fidelidade e auditoria rigorosa de privacidade em diversos domínios de alto risco.
2. Consciência de Contaminação: Demonstra que ignorar a contaminação de pré-treinamento leva a uma superestimação fundamental da qualidade de geração e a uma falsa sensação de segurança em relação às garantias de privacidade.
3. Validação Empírica: Fornece evidências quantitativas de que o paradigma "pré-treinamento público e geração privada" pode invalidar limites de privacidade do mundo real. Os autores afirmam que utilidade e fidelidade devem ser interpretadas juntamente com auditorias rigorosas de privacidade, e não inferidas exclusivamente a partir de orçamentos de privacidade ou intuição.
4. Chamado para Auditoria: O trabalho motiva a adoção de relatórios conscientes de contaminação e auditorias padronizadas baseadas em modelos de múltiplos ataques para garantir a validade prática das garantias de DP na geração de dados sintéticos.

Os autores concluem que, embora a DP ofereça uma abordagem principista para o compartilhamento de dados, os métodos atuais ainda não podem equilibrar de forma confiável utilidade, fidelidade e privacidade sem levar em conta a interação complexa entre dados de pré-treinamento e tarefas de geração privada.