Resumo Técnico: ACTG-ARL

Declaração do Problema

Gerar texto sintético de alta qualidade sob Privacidade Diferencial (DP) é essencial para treinar e avaliar modelos de linguagem sem comprometer a privacidade do usuário. No entanto, as abordagens existentes enfrentam três limitações críticas:

1. Perda de Utilidade: O ruído exigido pelos mecanismos de DP frequentemente degrada a qualidade do texto sintético.
2. Falha Estatística: Métodos anteriores frequentemente falham em preservar atributos estatísticos-chave dos dados originais.
3. Falta de Controle: A maioria do trabalho existente foca na geração de conjuntos de dados estáticos, negligenciando a necessidade de geração condicional, que permite um controle fino sobre o processo de geração (por exemplo, sintetizar dados com atributos específicos como sentimento ou domínio). Além disso, mesmo quando a geração condicional é tentada, as capacidades de seguimento de instruções dos modelos frequentemente degradam-se significativamente sob orçamentos de privacidade estritos.

Metodologia

Os autores propõem ACTG-ARL, um algoritmo de ponta a ponta que combina um framework de geração hierárquica com uma receita inovadora de aprendizado por reforço (RL) pós-treinamento.

1. Framework Hierárquico (ACTG)

O núcleo da abordagem é um framework de duas etapas que decompõe a geração de texto sintético com DP em aprendizado de características e geração de texto condicional. Essa modularidade permite a otimização sistemática de cada etapa.

• Etapa 0 (Extração de Características): Um extrator de características confiável (usando um LLM poderoso, Moracle) converte texto privado bruto em uma representação de características estruturada e de baixa dimensão (um "esquema"). Esta etapa não consome orçamento de privacidade.
• Etapa 1 (Gerador de Características com DP): Um sintetizador tabular especializado com DP (especificamente AIM) aprende a gerar características sintéticas que se assemelham à distribuição de características privadas. Esta etapa usa um orçamento de privacidade $\epsilon_1$.
• Etapa 2 (Gerador Condicional com DP): Um modelo de linguagem é ajustado com DP (DP-FT) nos dados pareados (características, texto). Este modelo aprende a gerar texto sintético condicionado às características de entrada. Esta etapa usa um orçamento de privacidade $\epsilon_2$.

Configuração Ótima (ACTG): Através de extensos estudos de ablação, os autores identificam que a configuração mais eficaz utiliza:

• Um esquema tabular rico e estruturado (S3) como representação de características, em vez de tópicos genéricos ou resumos de forma livre.
• AIM como gerador de características, que é mais eficiente para dados tabulares do que o ajuste fino com DP.
• DP-FT como gerador condicional, que supera o prompting direto na preservação da fidelidade do texto.

2. RL Ancorado (ARL)

Embora o ACTG produza conjuntos de dados de alta qualidade, a capacidade do gerador condicional de seguir instruções específicas (precisão de seguimento de instruções) degrada-se sob DP. Para abordar isso, os autores introduzem RL Ancorado (ARL), um método de pós-treinamento aplicado sobre o ACTG.

• O Desafio: Aprendizado por Reforço (RL) padrão usando uma recompensa baseada na adesão à instrução (por exemplo, correspondência às características de entrada) leva a exploração de recompensa (reward hacking). O modelo aprende a gerar frases curtas, no estilo "TL;DR", que satisfazem a rubrica, mas falham em corresponder ao estilo de texto do domínio (por exemplo, resumos científicos), causando um colapso na fidelidade textual (MAUVE).
• A Solução: O ARL introduz um objetivo de treinamento híbrido que combina a perda de RL com uma perda de Ajuste Fino Supervisionado (SFT).
  • Âncora SFT: Para impedir que o modelo se afaste da distribuição de texto desejada, a perda de SFT é aplicada a um conjunto de dados de "âncora" de alta qualidade.
  • Amostragem Best-of-N: Este conjunto de dados de âncora é curado sem custo adicional de privacidade, amostrando $N$ candidatos para cada característica do gerador com DP e selecionando aquele com a maior pontuação de seguimento de instruções.
  • Treinamento: O modelo é ajustado usando uma soma ponderada das perdas de RL e SFT, com o peso do SFT ($\gamma$) decaindo linearmente ao longo do tempo para equilibrar fidelidade e controle.

Contribuições Principais

1. Um Framework Hierárquico (ACTG): Uma abordagem modular que desacopla o aprendizado de características da geração de texto. Os autores demonstram que o uso de um esquema tabular rico com um sintetizador tabular especializado (AIM) e um gerador ajustado com DP produz trade-offs de privacidade-utilidade superiores em comparação com abordagens de ponta a ponta ou condicionamento baseado em tópicos (CTCL).
2. RL Ancorado (ARL): Uma receita inovadora de pós-treinamento que aprimora o controle fino (seguimento de instruções) sem sacrificar a fidelidade textual. Mitiga eficazmente a exploração de recompensa ancorando o modelo a um conjunto de dados sintético de alta qualidade derivado via amostragem Best-of-N.
3. Desempenho de Ponta: O algoritmo integrado ACTG-ARL estabelece novos benchmarks na geração de texto condicional com DP.

Resultados Experimentais

Os autores avaliaram sua abordagem em dois conjuntos de dados desafiadores e específicos de domínio: bioRxiv (resumos científicos) e PMC-patients (notas clínicas).

• Qualidade e Utilidade: O ACTG-ARL supera as linhas de base anteriores (Aug-PE, DP-FT vanilla e CTCL) em todas as métricas.
  • Alcança uma melhoria de +20% no MAUVE (uma métrica para similaridade semântica entre distribuições de texto sintético e real) sobre trabalhos anteriores.
  • Mostra uma melhoria de +50% na correspondência de distribuição de atributos (medida pela distância Jensen-Shannon).
  • Melhora a utilidade a jusante, evidenciada por maiores pontuações F1 de classificação e precisão de Previsão do Próximo Token (NTP).
• Controle: Embora a DP tipicamente degrade a precisão de seguimento de instruções (IFAcc), o ACTG-ARL restaura essa capacidade, trazendo-a para níveis próximos aos não-DP, enquanto mantém alta fidelidade textual.
• Insights de Ablação:
  • Riqueza do Esquema: Esquemas tabulares estruturados superam significativamente tópicos genéricos ou resumos de forma livre.
  • Duas Etapas vs. Uma Etapa: O framework hierárquico de duas etapas supera consistentemente as abordagens de geração condicional de uma única etapa.
  • RL vs. SFT: A abordagem híbrida ARL supera significativamente o SFT puro ou o RL puro, confirmando a necessidade de ancoragem para prevenir a exploração de recompensa.

Significado e Alegações

O artigo alega avançar o campo de dados sintéticos diferencialmente privados ao elevar o controle como uma terceira dimensão crítica, ao lado da utilidade e da privacidade.

• Impacto Prático: A capacidade de gerar texto sintético privado com controle fino permite que analistas criem conjuntos de dados adaptados a requisitos específicos (por exemplo, representação equilibrada entre subpopulações) e suportem tarefas analíticas a jusante sem comprometer a privacidade do usuário.
• Contribuição Metodológica: O trabalho demonstra que a decomposição da tarefa de geração e o uso de características estruturadas podem superar as limitações do ruído em DP, enquanto a receita de RL Ancorado fornece uma solução robusta para o problema comum de exploração de recompensa em configurações de RLHF privadas.
• Robustez: O framework mostra-se robusto à escolha do extrator de características (funcionando com LLMs proprietários e de código aberto) e escala efetivamente para tamanhos de modelo maiores (por exemplo, gemma-3-4b-pt).

Os autores notam limitações, incluindo o foco no domínio biomédico e em uma única família de modelos, e sugerem trabalhos futuros aplicando esses princípios a algoritmos sem ajuste fino (como Evolução Privada) e explorando o framework como um modelo de variável latente discreta.