Resumo Técnico: CONTINUOUSBENCH

Declaração do Problema

A síntese de texto com privacidade diferencial (DP - Differentially Private) visa desbloquear corpora sensíveis (ex: notas clínicas, dados proprietários de usuários) para o treinamento de modelos, preservando a privacidade. No entanto, permanece incerto se os dados sintéticos DP transmitem genuinamente os fatos e capacidades de alto valor presentes nos corpora restritos originais. As avaliações existentes falham em responder a essa questão de "substituibilidade" devido a três confundidores primários:

1. Contaminação de Pré-treinamento: Benchmarks padrão (ex: sentimento de IMDB, pontuações do OpenReview) estão frequentemente próximos da saturação para modelos de linguagem modernos. O desempenho forte nessas tarefas pode refletir o conhecimento já presente no pré-treinamento do modelo base, em vez de conhecimento transferido do corpus privado.
2. Simplicidade da Tarefa: Métricas comuns como previsão do próximo token ou similaridade de distribuição (ex: MAUVE) podem melhorar através de um ajuste superficial de estilo, sem exigir que o modelo recupere fatos específicos e de alto valor.
3. Destilação Professor-Aluno: Muitas avaliações utilizam um gerador mais forte para produzir dados para um modelo downstream mais fraco. Os ganhos de desempenho podem advir de efeitos de destilação, em vez da utilidade dos dados privados em si.

Consequentemente, os benchmarks atuais não conseguem distinguir se um método de síntese DP preserva com sucesso as capacidades específicas do corpus ou se apenas mimetiza a distribuição da fonte.

Metodologia: CONTINUOUSBENCH

Os autores introduzem o CONTINUOUSBENCH, um benchmark regenerado continuamente projetado para medir rigorosamente os ganhos de capacidade a partir de texto sintético DP. O framework impõe três princípios de design:

1. Dependência de Acesso e Frescor: As tarefas são construídas para serem insolúveis sem o acesso ao corpus de treinamento liberado. Isso é alcançado através de:
   • Geração Procedural (GEMINON): Um mundo fictício, inspirado em Pokémon, onde entidades, atributos e linhas de evolução são gerados proceduralmente para cada lançamento, garantindo que o conhecimento seja inteiramente novo para modelos pré-treinados.
   • Coleta Pós-Cutoff (NEWS): Um fluxo de artigos de notícias do mundo real coletados após o corte (cutoff) de treinamento de LLMs modernos, capturando fatos que evoluem no tempo.
2. QA Baseado em Fundamentação Factual: A avaliação é realizada via perguntas de resposta curta (QA). As perguntas são construídas de modo que a resposta seja suportada por centenas de registros independentes dentro do corpus. Isso garante que a tarefa teste o conhecimento de nível populacional (aprendível sob DP) em vez da memorização de instâncias únicas (singleton memorization), que o DP é projetado para suprimir.
3. Restrição de Fronteira: Para eliminar confundidores de destilação, o gerador e o avaliador downstream são modelos base idênticos (ex: Gemma 3 1B PT ou 4B). O avaliador é ajustado (fine-tuned) nos dados sintéticos e testado em um conjunto de QA mantido fora (held-out) derivado do mesmo corpus.

O benchmark opera em um ciclo trimestral, regenerando automaticamente novos corpora e conjuntos de QA para evitar contaminação e garantir o frescor para futuros lançamentos de modelos. Inclui duas trilhas: GEMINON (controlado, fictício) e NEWS (ruidoso, mundo real).

Principais Contribuições

• Um Benchmark Contínuo e Regenerado: O CONTINUOUSBENCH fornece uma estrutura padronizada e de código aberto que acopla corpora de treinamento frescos com conjuntos de QA derivados, impondo dependência de acesso e eliminando a contaminação de pré-treinamento.
• Avaliação de Conhecimento de Nível Populacional: Ao estratificar as perguntas com base no número de registros de suporte (de singletons a alta repetição), o benchmark mede quão bem os métodos DP aprendem fatos suportados por redundância, distinguindo-os da memorização de singletons.
• Comparação Padronizada: O framework fixa a receita de treinamento downstream, a seleção de checkpoint e os prompts de avaliação, garantindo que as diferenças de desempenho sejam atribuíveis ao método de síntese de dados, e não aos hiperparâmetros de treinamento.
• Lançamento de Código Aberto: Os autores liberam o corpus, conjuntos de QA, receitas de treinamento e scripts de avaliação para facilitar o progresso reprodutível em dados sintéticos DP.

Resultados Experimentais

Os autores avaliaram métodos de síntese DP de última geração (incluindo ajuste fino DP-SGD e Private Evolution) contra bases de síntese não privadas usando modelos Gemma 3.

1. Lacuna Significativa de Capacidade: Enquanto a síntese não privada (ε = ∞) transfere um conhecimento factual substancial (ex: alcançando ~92,5% de precisão no GEMINON e ~65,5% no NEWS com modelos 4B), os métodos de síntese DP de última geração falham em fazer isso.
   • Em ε = 100, a precisão da síntese DP cai drasticamente para ~13,7% (GEMINON) e ~20,5% (NEWS).
   • Em ε = 10, o desempenho cai ainda mais para ~3,9% e ~5,8%, respectivamente.
2. Utilidade Distribucional vs. Factual: Métricas como MAUVE mostram que os geradores DP preservam a forma distributiva (estilo, tópico, estrutura) do corpus (as pontuações MAUVE permanecem relativamente altas), mas falham em preservar o conteúdo factual específico necessário para o QA fundamentado. Isso indica que a similaridade de distribuição é insuficiente para avaliar a síntese de texto DP.
3. Falha de Métodos Sem Treinamento: O Private Evolution (PE), um popular método DP sem treinamento, teve um desempenho pior do que o acaso no GEMINON e não conseguiu melhorar em relação ao checkpoint base no NEWS. Isso sugere que o PE depende de conhecimento já presente no gerador, o que é insuficiente para fatos "novos".
4. Ajuste Fino DP Direto: Mesmo quando o avaliador é diretamente ajustado no corpus original usando DP-SGD (ignorando a etapa de dados sintéticos), o desempenho permanece muito abaixo do treinamento não privado. Isso indica que o gargalo reside na dificuldade fundamental de aprender sinais factuais novos sob restrições de DP, não apenas no processo de síntese ou amostragem.
5. Sensibilidade à Contagem de Suporte: A transferibilidade de conhecimento correlaciona-se fortemente com o número de registros de suporte. Enquanto fatos de alta repetição são aprendíveis (embora ainda degradados sob DP), fatos de instância única (singleton facts, que aparecem em apenas um registro) são efetivamente suprimidos, confirmando que o mecanismo de privacidade funciona conforme pretendido para dados de nível de instância.

Significância e Alegações

O artigo afirma que o CONTINUOUSBENCH revela uma "lacuna acentuada" no estado atual da síntese de texto DP. Os autores argumentam que:

• Métodos atuais são insuficientes: Mesmo com orçamentos de privacidade altos (ε = 100), a síntese DP falha em recuperar os ganhos de capacidade que o acesso ao corpus sensível original proporcionaria.
• Benchmarks existentes são enganosos: Benchmarks saturados padrão e métricas de distribuição superestimam a utilidade dos dados sintéticos DP ao falhar em testar a transferência de capacidade específica do corpus.
• Um problema central em aberto: A incapacidade dos métodos DP de recuperar informações atestadas em centenas de registros independentes sugere uma limitação fundamental nas abordagens atuais. Os autores postulam que um método que não consegue recuperar o conhecimento de nível populacional não preservou meaningfulmente o corpus.
• Progresso Futuro: O CONTINUOUSBENCH serve como um medidor reprodutível para medir e acelerar o progresso, destacando que fechar a lacuna entre a síntese não privada e a DP é o desafio central para a área.

O artigo conclui que, embora a síntese de texto DP possa preservar propriedades estilísticas, ela atualmente falha em transmitir o conhecimento factual de alto valor que motiva o uso de dados sensíveis em primeiro lugar.