Resumo Técnico: Quando Tabelas Vazam: Atacando a Memorização de Strings em Geração de Dados Tabulares Baseada em LLM

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) emergiram como geradores de ponta para dados tabulares sintéticos, utilizando dois regimes primários: Aprendizado em Contexto (ICL), onde exemplos são fornecidos na janela de contexto, e Ajuste Fino Supervisionado (SFT), onde os modelos são treinados em dados tabulares codificados como strings. Embora esses métodos ofereçam alta fidelidade estatística e utilidade para tarefas subsequentes, eles introduzem uma nova vulnerabilidade de privacidade distinta dos modelos generativos tradicionais (por exemplo, GANs, VAEs).

Os geradores tabulares tradicionais operam diretamente no espaço de características, tratando amostras como unidades atômicas. Em contraste, os LLMs decompõem linhas tabulares em sequências de strings autoregressivas (token por token). Este artigo postula que essa mudança arquitetural cria uma superfície de ataque única: os LLMs tendem a memorizar e reproduzir padrões rígidos e estruturados de dígitos numéricos de seus dados de treinamento. Como os dados tabulares carecem da ambiguidade semântica da linguagem natural (onde o parafraseamento é possível), mesmo reproduções mínimas em nível de caractere constituem memorização exata de informações sensíveis (por exemplo, valores financeiros, identificadores).

Os Ataques de Inferência de Membros (MIAs) existentes para dados sintéticos focam em distâncias no espaço de características (por exemplo, distância euclidiana, estimativa de densidade). Os autores argumentam que esses métodos falham em detectar vulnerabilidades inerentes à representação intermediária de strings usada pelos LLMs, deixando uma lacuna crítica na auditoria de privacidade para geradores tabulares baseados em LLMs.

2. Metodologia

2.1 Modelo de Ameaça

O estudo adota um modelo de ameaça No-box conservador. O adversário tem acesso apenas ao conjunto de dados sintético gerado ($S$). O adversário não possui:

• Acesso aos internos do modelo, pesos ou hiperparâmetros.
• Acesso de consulta ao modelo.
• Um conjunto de dados de referência ou dados auxiliares para calibração.
  Este modelo reflete cenários realistas onde dados sintéticos são compartilhados publicamente sem divulgação do processo de geração.

2.2 O Ataque: LevAtt (Ataque Levenshtein)

Para explorar a natureza baseada em strings da geração por LLMs, os autores propõem o LevAtt, um MIA No-box baseado em similaridade de strings, em vez de proximidade no espaço de características.

• Mecanismo: O ataque converte registros tabulares em representações de strings canônicas, preservando a estrutura (precisão consistente para números, tokens estáveis para categorias). Em seguida, calcula a distância de edição de Levenshtein (distância de edição em nível de caractere) entre uma observação de teste ($x^*$) e o registro sintético mais próximo no conjunto de dados gerado.
• Pontuação: A pontuação do ataque é definida como $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$, onde $\ell$ é a distância de Levenshtein. Menores distâncias (maiores pontuações) indicam uma correspondência mais próxima, sugerindo que os dados sintéticos memorizaram o registro de treinamento.
• Racional: Diferentemente da linguagem natural, as strings numéricas tabulares são rígidas. Uma única alteração de dígito altera o valor de forma significativa. Portanto, uma correspondência de string quase exata é um sinal forte e de alta confiança de memorização que os ataques no espaço de características ignoram.

2.3 Defesas Propostas

O artigo avalia duas estratégias para mitigar esse vazamento:

1. Modificador de Dígitos (DM): Um algoritmo de pós-processamento que itera pelas colunas numéricas e inverte dígitos com base em uma função de probabilidade $g$. Valores de maior magnitude recebem probabilidades de perturbação mais altas. Isso é aplicado após a geração.
2. Processador de Logits Baseado em Tendência (TLP): Uma defesa no momento da amostragem integrada ao processo de geração. Ela aplica uma função de curvatura côncava e monótona ($f_t(x) = x^{1/t}$) aos logits do modelo antes da amostragem. Isso suprime tokens de alta confiança (frequentemente sequências memorizadas) e amplifica tokens de menor probabilidade, introduzindo aleatoriedade controlada sem quebrar dependências de características.

3. Resultados Experimentais

3.1 Regime ICL (Aprendizado em Contexto)

Experimentos foram conduzidos em 35 conjuntos de dados de regressão do mundo real usando LLaMA 3.3-70B, GPT-4o-mini e TabPFN-v2.

• Vazamento: O LevAtt demonstrou vazamento de privacidade substancial. Para TabPFN-v2 e LLaMA 3.3-70B, o ataque alcançou classificação perfeita de membros (AUC-ROC $\approx$ 1.0) nos 20 piores casos.
• Correlação: O LevAtt mostrou correlação fraca com MIAs tradicionais no espaço de características (DCR, Estimativa de Densidade, MC), confirmando que detecta um sinal de vazamento único e ortogonal.
• Escala: O vazamento de privacidade aumentou com o tamanho do modelo (modelos de 70B vazaram mais do que modelos na escala de 7B) e diminuiu com o número de exemplos em contexto (menos exemplos levaram a maior memorização).

3.2 Regime SFT (Ajuste Fino Supervisionado)

Experimentos envolveram o ajuste fino de modelos (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) em conjuntos de dados como CASP, Diabetes e CA-Housing, comparados com RealTabFormer e GREAT.

• Vazamento: Modelos SFT exibiram vazamento menor, mas ainda significativo, em comparação com ICL. O RealTabFormer, apesar de alegações de consciência de privacidade, mostrou a maior vulnerabilidade (AUC do LevAtt $\approx$ 0.65–0.70).
• Modelos Convencionais: Geradores tradicionais de aprendizado profundo (CT-GAN, TVAE) foram imunes ao LevAtt, pois não geram sequências de tokens.
• Fatores: O vazamento aumentou monotonicamente com o volume de dados sintéticos gerados e o comprimento das sequências de dígitos nos dados de treinamento.
• Compromisso: Uma correlação negativa foi observada entre privacidade (AUC do LevAtt) e fidelidade (MMD, distância de Wasserstein). Modelos com maior fidelidade estatística foram mais propensos à memorização de strings.

3.3 Avaliação de Defesa

• Modificador de Dígitos (DM): Reduziu com sucesso o AUC do LevAtt, mas causou uma queda catastrófica na fidelidade dos dados. A injeção de ruído empurrou valores para fora da distribuição válida, tornando os dados inúteis para tarefas subsequentes.
• TLP: Reduziu com sucesso o AUC do LevAtt para níveis próximos ao aleatório ($\approx$ 0.55) e a TPR para $<0.125$, mantendo a fidelidade estatística (distâncias MMD e Wasserstein permaneceram comparáveis à geração padrão) e a utilidade subsequente (desempenho do XGBoost).
• Privacidade Diferencial (DP): Embora o DP2Stage (DP-SGD) derrotasse efetivamente o LevAtt, resultou na pior utilidade e fidelidade entre todos os modelos, destacando o severo compromisso privacidade-utilidade do DP no momento do treinamento para LLMs.

4. Contribuições Principais

1. Identificação da Memorização de Strings: O artigo identifica que geradores tabulares baseados em LLMs memorizam padrões rígidos de strings numéricas, uma vulnerabilidade invisível para ataques no espaço de características.
2. Ataque LevAtt: Introdução de um MIA simples, No-box, usando distância de Levenshtein que alcança classificação perfeita em modelos de ponta sob suposições adversariais mínimas.
3. Evidência Empírica de Risco: Demonstração de que modelos SFT e ICL de alta fidelidade (incluindo RealTabFormer) vazam informações de membros, enquanto geradores convencionais não o fazem.
4. Defesa Eficaz (TLP): Proposta do TLP, um mecanismo no momento da amostragem que mitiga a memorização perturbando logits, equilibrando com sucesso proteção de privacidade com utilidade e fidelidade dos dados.

5. Significado e Alegações

Os autores afirmam que a geração de dados tabulares baseada em LLMs introduz um risco de privacidade fundamentalmente novo, distinto dos modelos generativos tradicionais. O significado deste trabalho reside em:

• Redefinir a Superfície de Ataque: Deslocar o foco da distância no espaço de características para a similaridade de strings em nível de caractere, o que é crítico para modelos autoregressivos.
• Desafiar Suposições de Privacidade: Demonstrar que mesmo métodos SFT "conscientes de privacidade" e geradores de alta fidelidade podem vazar catastroficamente dados de treinamento quando a estrutura dos dados é rígida.
• Mitigação Prática: Fornecer uma defesa implantável (TLP) que não requer retreinamento nem sacrifica a utilidade dos dados, ao contrário da Privacidade Diferencial.

O artigo conclui que, embora os LLMs ofereçam utilidade superior, sua natureza autoregressiva os torna propensos a "recuperação" em vez de "generalização" em contextos tabulares. Os autores enfatizam que, sem defesas específicas como o TLP, a implantação de dados tabulares sintéticos baseados em LLMs em setores sensíveis à privacidade (saúde, finanças) representa um risco significativo de reidentificação.

Limitações Notadas:

• O LevAtt depende de formatação de string consistente; variações de formatação (por exemplo, "17.5" vs "17.500") poderiam obscurecer sinais.
• As defesas (DM, TLP) são empíricas e carecem de garantias formais de privacidade (diferentemente da DP).
• O estudo assume um modelo No-box; ataques mais poderosos com acesso ao modelo poderiam ser mais eficazes.
• O ataque é menos eficaz em campos de texto aberto em comparação com esquemas rígidos numéricos/categóricos.