Resumo Técnico: SelPE: Seleção Progressiva para Síntese de Texto Estruturado Privado

1. Definição do Problema

O artigo aborda o desafio da síntese de texto estruturado com privacidade diferencial (DP) em regimes de amostras pequenas. Dados de texto estruturado (ex: notas de triagem clínica, registros financeiros) consistem em campos heterogêneos — numéricos, categóricos e texto livre — aderindo a esquemas (schemas) rigorosos.

As abordagens existentes enfrentam três limitações principais quando aplicadas a este domínio com dados privados limitados:

1. Esparsidade de Sinal: Em configurações de amostras pequenas, os mecanismos de ruído aditivo (comuns em DP) dominam o sinal de utilidade. À medida que o tamanho do pool de candidatos cresce em relação ao tamanho do conjunto de dados privado, a relação sinal-ruído (SNR) desaparece, tornando a seleção de candidatos não confiável.
2. Fidelidade ao Esquema: Gerar texto que satisfaça restrições de esquema complexas e entre campos é difícil. Restrições rígidas frequentemente degradam a expressividade semântica, enquanto a geração de texto livre frequentemente viola regras estruturais.
3. Alinhamento entre Tipos: Avaliar candidatos requer comparar campos heterogêneos (texto, números, categorias) que existem em espaços incompatíveis. Métricas unificadas costumam colapsar esses sinais, levando a comparações desalinhadas.

O problema central é sintetizar um conjunto de dados que preserve a validade estrutural, a fidelidade (precisão semântica e numérica) e a utilidade downstream enquanto satisfaz $(\epsilon, \delta)$-privacidade diferencial com pouquíssimos exemplos privados.

2. Metodologia: SelPE

Os autores propõem o SelPE (Selection-guided Progressive Evolution), um framework que desloca o orçamento de privacidade da agregação ruidosa para uma sequência de seleções progressivas de alta confiança e conscientes da estrutura.

Componentes Principais

A. Geração Desacoplada de Contexto–Esquema
Para equilibrar expressividade semântica com validade estrutural, o SelPE emprega um pipeline de dois estágios:

1. Contexto de Dados Latente (Estágio I): Um modelo de linguagem gera uma descrição textual de texto livre ($t$) representando uma instância coerente do mundo real. Este estágio foca puramente na abstração semântica sem restrições de esquema.
2. Realização Fundamentada no Esquema (Estágio II): O contexto latente $t$ é convertido em um registro estruturado ($s$) usando decodificação restrita (via LLGuidance). Um autômato de restrição induzido pelo esquema garante que os tokens gerados adiram estritamente aos tipos de campo e intervalos de valores, garantindo a validade estrutural.

B. Kernel de Distância Multicanal
Para avaliar candidatos através de campos heterogêneos, o SelPE define um kernel de distância $g(s, s')$ que opera em espaços nativos:

• Canais Semânticos: Campos textuais e categóricos são codificados em vetores semânticos normalizados usando um codificador de sentenças. Um canal semântico global captura a coerência entre campos.
• Canais Numéricos: Campos numéricos são preservados como valores escalares via normalização robusta para manter a precisão.
• Agregação: A distância total é uma soma ponderada de distâncias de cosseno (para canais semânticos) e diferenças absolutas (para canais numéricos). Isso permite uma comparação precisa sem colapsar sinais heterogêneos.

C. Evolução Progressiva Guiada por Seleção
Em vez de agregar dados privados, o SelPE concentra o orçamento de privacidade em seleções top-1 multibatches de alta confiança:

1. Geração Condicional Progressiva: A síntese ocorre ao longo de $T$ rodadas. O número de amostras geradas por rodada aumenta ($m_t = t \cdot q$), permitindo que as rodadas posteriores construam sobre um contexto mais rico de amostras de alta qualidade selecionadas anteriormente.
2. Seleção Privada de Multi-Batch: O conjunto de dados privado é particionado em batches disjuntos. Para cada batch, um centro empírico é computado. Os candidatos são pontuados com base em sua distância a esses centros de batch.
3. Mecanismo Exponencial Top-1: O melhor candidato de cada batch é selecionado usando o Mecanismo Exponencial Top-1. Ao usar composição paralela, a perda de privacidade é governada pela perda máxima de qualquer seleção de batch individual, em vez de acumular através de todo o pool.
4. Expansão Contrastiva Não-Privada: Para garantir diversidade sem custo adicional de privacidade, cada exemplo "bom" selecionado é pareado com um exemplo "contrastivo" (o candidato mais distante do selecionado). Esses pares guiam a próxima rodada de geração, afastando o modelo de modos de colapso.

3. Principais Contribuições

1. Geração e Avaliação Conscientes de Esquema: Um framework coeso que desacopla a abstração semântica da realização de esquema e utiliza um kernel de distância multicanal para garantir tanto a valididade estrutural quanto a consistência entre campos.
2. Evolução Privada Dirigida por Seleção: Uma abordagem inovadora adaptada para texto estruturado de amostras pequenas que substitui a agregação baseada em ruído pela seleção DP top-1 multi-batch, mitigando efetivamente o problema da esparsidade de sinal.
3. Validação Empírica: Experimentos extensos em três conjuntos de dados realistas (Water, MIMIC-ED, Loan) demonstrando melhorias consistentes na fidelidade estrutural e utilidade downstream sob orçamentos de privacidade estritos.

4. Resultados Experimentais

Os autores avaliaram o SelPE contra cinco baselines (DP-DS, DP-Gen, Aug-PE, WASP, CTCL) em três datasets com variando complexidade de esquema e comprimento de texto.

• Desempenho: O SelPE superou consistentemente os baselines em utilidade TabSTAR (medindo dependências de texto estruturado) e fidelidade R-CFG/S-CFG (medindo validade de esquema), particularmente sob orçamentos de privacidade apertados ($\epsilon \in \{1, 2\}$).
• Robustez:
  • Transferibilidade de Backbone: O SelPE manteve alto desempenho em diferentes backbones de LLM (Llama, Gemma, Mistral, Qwen), indicando que sua eficácia não depende de um gerador específico.
  • Escala de Dados: O SelPE se destacou em regimes de baixos dados ($n=5, 10$), onde outros métodos sofreram com a dominação do ruído.
  • Hiperparâmetros: O método mostrou desempenho ótimo com profundidade de evolução moderada ($T \approx 4-5$) e multiplicidade de candidatos ($K \approx 3-4$), sugerindo retornos decrescentes para geração privada mais profunda ou exploratória.
• Estudos de Ablação: Remover qualquer componente (exemplos contrastivos, quota progressiva, geração consciente de esquema ou o kernel de distância) levou a quedas de desempenho, confirmando que o pipeline completo é necessário para resultados ótimos. O kernel de distância multicanal foi particularmente crítico para a utilidade de texto estruturado.

5. Significância e Alegações

O artigo afirma que concentrar o orçamento de privacidade na seleção estruturada é uma estratégia mais eficaz do que a agregação baseada em ruído para a síntese de texto estruturado de amostras pequenas.

• Abordando o "Gap Texto-Estrutura": Os autores observam que, embora alguns baselines alcancem alta fluência de texto holística (scores RoBERTa), eles falham em manter a consistência entre campos. O SelPE fecha esse gap ao modelar explicitamente as dependências estruturais.
• Design Principiado: O trabalho postula que, para texto estruturado, onde os registros são composicionais e diversos, a "média" via agregação ruidosa é fundamentalmente falha. Em vez disso, focar o orçamento de privacidade em uma sequência de decisões de alta confiança e conscientes da estrutura produz maior utilidade downstream.
• Escalabilidade: O framework é apresentado como uma direção principada para a síntese de texto estruturado com DP, oferecendo uma solução viável para domínios sensíveis à privacidade onde os dados são escassos, mas a integridade estrutural é primordial.