Resumo Técnico: LLM-como-Discriminador

Declaração do Problema

Organizações utilizam cada vez mais dados tabulares sintéticos para compartilhar informações enquanto mitigam riscos de privacidade. No entanto, auditar a privacidade de tais dados permanece um desafio. Ferramentas clássicas de Controle de Divulgação Estatística (SDC) (ex: $k$-anonimato) e medidas modernas baseadas em ataques (ex: Ataques de Inferência de Membro ou MIA) frequentemente falham em capturar se uma tabela sintética é perceptivelmente distinguível de uma real por um observador humano ou por IA. Embora o MIA enquadre o risco de privacidade como uma classificação binária de se um registro pertence ou não ao conjunto de treinamento, ele não avalia diretamente se um adversário informado pode distinguir uma liberação sintética de uma real com base na aparência e nas propriedades distributivas dos dados.

Metodologia

Os autores propõem um protocolo de LLM-como-Discriminador, enquadrando a auditoria de privacidade como uma tarefa de classificação binária onde um Modelo de Linguagem de Grande Escala (LLM) atua como um discriminador ($D$).

Condições Experimentais

O estudo avalia dois modelos de ameaça:

• C1 (Apenas Tabela): O discriminador recebe uma amostra de 20 linhas em formato Markdown da tabela, contendo os nomes das colunas e as dimensões do conjunto de dados. Isso simula um adversário com acesso apenas à liberação dos dados.
• C2 (Tabela + Metadados): A mesma amostra é aumentada com um bloco de metadados estruturados contendo estatísticas descritivas por coluna (média, desvio padrão, quartis, assimetria, curtose), resultados do teste de Shapiro–Wilk, frequências das top-$k$ categorias, entropia de Shannon e uma matriz de correlação de Pearson. Isso simula um cenário onde estatísticas de resumo são publicadas juntamente com os dados sintéticos.

Protocolo e Métricas

• Modelos: O estudo utiliza Gemini-2.5-Flash (Google) e LLaMA-3.1-8b-instant (via Groq) como discriminadores.
• Métodos de Síntese: Três geradores foram testados: CTGAN (GAN Condicional), TVAE (Autoencoder Variacional) e Gaussian Copula.
• Datasets: Dois conjuntos de dados do censo foram utilizados: UCI Adult (codificações de strings legíveis por humanos) e ACS Census 2018 (codificações inteiras numéricas para colunas categóricas).
• Pontuação de Risco de Divulgação (DRS): Para traduzir a acurácia bruta em um escalar orientado à privacidade, os autores definem o DRS como o mínimo das taxas de verdadeiros positivos para ambas as classes:
  $$DRS = \min(\hat{p}_{REAL}, \hat{p}_{SYNTHETIC})$$
  Um DRS próximo de 0 indica que o discriminador não consegue distinguir os dados (seja devido a uma boa privacidade ou a um modelo colapsado), enquanto um DRS próximo de 0,5 indica discriminação ao nível do acaso. Um DRS > 0,5 sugere que os dados sintéticos contêm artefatos discriminativos.
• Baselines: Os resultados do LLM foram comparados contra:
  1. Teste de Duas Amostras de Classificador (C2ST): Um classificador de regressão logística treinado para separar as distribuições real e sintética.
  2. Vinculação de Registros (Record Linkage): Medindo a distância euclidiana entre registros sintéticos e seus vizinhos reais mais próximos.
  3. Anotação Humana: Um estudo piloto com dois anotadores humanos realizando as mesmas tarefas C1/C2.

Principais Contribuições

1. Definição de Protocolo: Um protocolo formal de LLM-como-Discriminador para auditoria de privacidade de caixa-preta sob duas distintas condições de ameaça (C1 e C2).
2. Avaliação Empírica: Uma avaliação abrangente envolvendo 451 tentativas válidas, dois conjuntos de dados, três métodos de síntese e duas famílias de LLM, revelando fortes dependências da escolha do modelo e da codificação dos dados.
3. Proposta de Métrica: A introdução do Disclosure Risk Score (DRS) para normalizar a acurácia de discriminação e considerar artefatos de viés de rótulo.
4. Comparação Humano-LLM: Um estudo piloto controlado demonstrando que, embora LLMs de fronteira possam igualar ou exceder o desempenho humano, modelos menores abertos podem colapsar para baselines enviesados, falhando em fornecer um sinal de privacidade útil.

Resultados Experimentais

Disparidade de Desempenho do Modelo

A escolha do modelo discriminador provou ser tão crítica quanto a escolha do sintetizador:

• LLaMA (Groq): Exibiu um viés severo. No UCI Adult, rotulou quase todas as tabelas como REAL (DRS = 0%). No ACS Census, rotulou todas as tabelas como SINTÉTICA (DRS = 0%). Em ambos os casos, o modelo colapsou, não fornecendo sinal discriminativo.
• Gemini: Demonstrou alta capacidade discriminativa.
  • No UCI Adult, o Gemini alcançou DRS = 100% para CTGAN e TVAE sob ambas as condições C1 e C2.
  • No ACS Census, o Gemini alcançou DRS = 100% sob C1 para todos os métodos. Sob C2, o desempenho caiu para CTGAN (0%) e TVAE (25%), enquanto o Gaussian Copula manteve-se em 100%.

Efeitos dos Metadados (C1 vs. C2)

O impacto da adição de metadados distributivos foi dependente do dataset e do método:

• No UCI Adult, os metadados não tiveram efeito na discriminação perfeita do Gemini para CTGAN e TVAE.
• No ACS Census, os metadados reduziram significativamente a discriminação para CTGAN e TVAE, sugerindo que, quando as marginais reais e sintéticas estão estreitamente alinhadas, as estatísticas de resumo podem obscurecer o sinal de detecção.

Alinhamento com Baselines Formais

• UCI Adult: O DRS do Gemini atingiu um teto (100%) para CTGAN e TVAE, impedindo o ranking de métodos. No entanto, os scores de C2ST variaram (TVAE: 0,725, CTGAN: 0,538), indicando que, embora o Gemini tenha detectado artefatos em ambos, o C2ST pôde diferenciar o grau de separação distributiva.
• ACS Census: Sob C2, a ordenação do DRS (Gaussian Copula > TVAE > CTGAN) foi invertida em relação aos scores de C2ST. O Gaussian Copula teve um score de C2ST baixo (0,542), mas manteve um DRS alto, sugerindo que seus artefatos permaneceram perceptualmente salientes apesar da similaridade estatística.

Humano vs. LLM

• Desempenho Humano: Anotadores humanos alcançaram um DRS agrupado de 66,4%, superando significativamente o LLaMA (que colapsou para 0%), mas geralmente abaixo do Gemini.
• Gemini vs. Humanos: O Gemini igualou ou excedeu o desempenho humano na maioria das células, particularmente no UCI Adult, onde alcançou 100% de DRS comparado às taxas humanas de 33–60%.
• Raciocínio: Tanto humanos quanto o Gemini identificaram os mesmos artefatos estruturais como principais discriminadores, como mapeamentos quebrados entre níveis de escolaridade e códigos numéricos (ex: "Bachelors" vs. 13) e contradições nos campos de estado civil/relacionamento.

Significância e Alegações

O artigo afirma que a discriminação por LLM é um sinal prático de auditoria de privacidade, mas apenas quando interpretada com cautela em relação ao modelo específico e à codificação dos dados utilizados.

• Dependência do Modelo: A capacidade do discriminador é o gargalo. Um modelo colapsado (como o LLaMA neste estudo) gera um DRS de 0%, o que mimetiza uma privacidade perfeita, mas na verdade indica uma falha do avaliador. Por outro vez, um modelo forte (Gemini) pode detectar violações estruturais sutis que testes estatísticos podem perder.
• Utilidade Prática: Os autores posicionam o DRS como uma "triagem distributiva rápida" em vez de uma garantia de privacidade isolada. Eles recomendam o uso do DRS junto com o C2ST para triagem inicial, seguido de um MIA mais rigoroso se a memorização ao nível de registro for uma preocupação específica.
• Interpretabilidade: Ao contrário de testes estatísticos de caixa-preta, os LLMs fornecem justificativas em linguagem natural (ex: identificando restrições quebradas específicas), tornando o processo de auditoria transparente e acionável para profissionais.

O estudo conclui que, embora o paradigma seja promissor, trabalhos futuros exigem modelos hospedados localmente para evitar falhas de API, validação mais ampla em mais métodos de síntese (incluindo difusão e geradores baseados em LLM) e auditoria consciente da codificação para lidar com representações numéricas versus strings.