DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

Resumo Técnico: DP-RFT

1. O Problema

A geração de dados sintéticos com Privacidade Diferencial (DP) é crucial para o desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) em cenários onde os proprietários de dados não podem fornecer acesso direto ("eyes-on") aos exemplos individuais devido a restrições regulatórias ou de privacidade.

Existem atualmente dois paradigmas principais, ambos com limitações significativas:

• Ajuste Fino com DP (DP-Finetuning): Métodos como DP-SGD treinam um LLM diretamente nos dados privados com garantias formais de privacidade. No entanto, isso exige que os dados brutos sejam expostos ao processo de treinamento, violando a restrição de "acesso sem olhar" (eyes-off).
• Métodos sem Acesso Direto (ex: Aug-PE): Abordagens como Augmented Private Evolution (Aug-PE) evitam expor os dados, utilizando prompting iterativo para guiar um LLM congelado (não ajustado) a gerar dados similares à distribuição privada. A limitação aqui é que, como o modelo não é ajustado, a fidelidade dos dados gerados e a utilidade para tarefas downstream são frequentemente inferiores, especialmente em domínios específicos ou com orçamentos de privacidade rigorosos.

A Questão Central: É possível treinar um LLM para gerar texto sintético de alta qualidade, com garantias de privacidade, sem nunca expor exemplos privados individuais ao modelo durante o treinamento?

2. Metodologia: DP-RFT

Os autores propõem o DP-RFT (Privacidade Diferencial com Ajuste Fino por Reforço), um algoritmo de Aprendizado por Reforço (RL) online projetado para superar o compromisso entre qualidade e privacidade.

Principais Componentes:

• Recompensa Baseada em Votos DP (DP Votes): Em vez de usar os dados brutos como entrada, o sistema utiliza um corpus privado para calcular uma função de recompensa.
  • O modelo gera amostras sintéticas.
  • Um mecanismo de "votação" calcula a similaridade entre a amostra sintética e os documentos privados.
  • Para garantir a privacidade, os scores de similaridade são truncados e adiciona-se ruído Gaussiano (mecanismo de privacidade diferencial) antes de serem expostos ao modelo.
• Otimização de Política Próxima (PPO): O LLM é ajustado iterativamente usando PPO para maximizar a recompensa esperada (os votos DP protegidos). Isso permite que o modelo aprenda a ajustar seus pesos para se alinhar melhor à distribuição dos dados privados sem nunca "ver" os dados brutos.
• Prevenção de "Reward Hacking": Para evitar que o modelo otimize apenas a similaridade de embeddings (que pode capturar ruídos ou vieses), o sistema emprega uma recompensa composta:
  • $R_{sim}$: Similaridade com o corpus privado (protegida por DP).
  • $R_{prompt}$: Adesão ao prompt de entrada (avaliada por um LLM-judge e verificações baseadas em regras).
  • A recompensa final é $R_{sim}$ apenas se $R_{prompt}$ superar um limiar; caso contrário, é zero.

Fluxo de Trabalho:

1. Geração de prompts diversificados (conteúdo e comprimento).
2. O LLM gera amostras sintéticas.
3. Cálculo da similaridade com dados privados + adição de ruído DP.
4. Atualização dos pesos do modelo via PPO.
5. Repetição até a convergência.

3. Contribuições Chave

1. Novo Método de Ajuste Fino: O DP-RFT é a primeira abordagem que combina RL com funções de recompensa protegidas por DP para treinar LLMs em corpora privados, satisfazendo estritamente a restrição de "acesso sem olhar" enquanto ainda ajusta os pesos do modelo.
2. Superioridade em Utilidade e Fidelidade: Demonstra que é possível fechar a lacuna de desempenho entre métodos de ajuste fino com acesso direto (DP-Finetuning) e métodos sem acesso (Aug-PE), especialmente em orçamentos de privacidade apertados.
3. Análise Abrangente: Avaliação em quatro conjuntos de dados diversos (artigos de notícias, transcrições de reuniões, logs de chat e resumos médicos), cobrindo tanto dados longos quanto estruturados.

4. Resultados Experimentais

Os experimentos foram realizados em quatro datasets (PubMed, BBC News, WildChat, QMSum) com diferentes orçamentos de privacidade ($\epsilon = 1, 2, 4, \infty$).

• Desempenho Downstream:
  • O DP-RFT superou consistentemente o método Aug-PE em tarefas de previsão do próximo token (usando BERTSmall e GPT-2) em todos os datasets e orçamentos de privacidade.
  • Em cenários com orçamentos de privacidade rigorosos ($\epsilon < \infty$), o DP-RFT superou até mesmo o método de Ajuste Fino com DP (DP-FT) em modelos menores (BERTSmall), especialmente em regimes de poucos dados (ex: QMSum com apenas 700 exemplos).
• Fidelidade e Similaridade:
  • Métricas intrínsecas (similaridade de embeddings e Fréchet Inception Distance - FID) mostraram que o DP-RFT gera dados mais similares aos privados do que o Aug-PE.
  • A análise qualitativa revelou que o DP-RFT captura melhor a similaridade léxica e estrutural (ex: distribuição de palavras por turno em conversas) do que métodos baseados apenas em prompting.
• Eficiência Computacional:
  • Embora o treinamento do DP-RFT tenha um custo inicial (aprox. 40 horas de GPU para 200 passos), ele é mais eficiente a longo prazo para geração de grandes volumes de dados em comparação com o Aug-PE, que requer iterações contínuas de geração sem treinamento (custo total de ~100 horas de GPU para 10 iterações no mesmo volume).

5. Significado e Impacto

O DP-RFT representa um avanço significativo na interseção entre Privacidade Diferencial e Aprendizado por Reforço para LLMs.

• Viabilidade Prática: Permite que organizações treinem modelos de IA de alta qualidade em dados sensíveis (médicos, financeiros, legais) sem violar políticas de "não acesso" aos dados brutos.
• Redução de Riscos: Minimiza o risco de vazamento de dados ou inferência de exemplos individuais, mantendo a utilidade dos dados sintéticos para o desenvolvimento de modelos downstream.
• Futuro: Abre caminho para o uso responsável de LLMs em domínios onde a privacidade é crítica, demonstrando que a adaptação de modelos (fine-tuning) é possível sem comprometer a segurança dos dados de origem.

Em resumo, o DP-RFT resolve o dilema clássico de qualidade vs. privacidade, oferecendo uma solução onde o modelo aprende a "imitar" a distribuição dos dados privados através de sinais de recompensa protegidos, sem nunca precisar ver os dados em si.