Resumo Técnico: TabPATE: Aprendizado em Contexto Tabular com Privacidade Diferencial Sem Dados Públicos

1. Definição do Problema

Os Modelos de Fundação Tabulares (TFMs) permitem previsões precisas via Aprendizado em Contexto (ICL - In-Context Learning), onde um pequeno conjunto de dados rotulados é colocado no contexto do modelo para guiar a inferência sem atualizações de parâmetros. Embora eficaz neste paradigma em domínios como saúde e finanças, ele introduz uma vulnerabilidade crítica de privacidade: os registros colocados no contexto podem conter informações privadas sensíveis.

Os autores demonstram primeiro que este risco não é meramente hipotético. Ao adaptar ataques padrão de Inferência de Membro (MIAs) para o cenário de ICL tabular, eles mostram que as previsões do modelo vazam informações sobre se um registro específico foi incluído no contexto de demonstração privado.

• Modelos de Ameaça: O estudo avalia quatro modelos de ameaça, variando de acesso passivo de caixa-preta (apenas rótulos) a acesso ativo de caixa-cinza (com manipulação/envenenamento de contexto).
• Descobertas: Mesmo adversários de caixa-cinza passivos alcançam uma Taxa de Verdadeiros Positivos (TPR) de 9,9% com uma Taxa de Falsos Positivos (FPR) de 1%. Ataques ativos, como o uso de envenenamento "Truth Serum", podem atingir 75,4% de TPR, indicando que os registros de contexto privados são significativamente expostos através do comportamento do modelo.

Métodos padrão de treinamento com Privacidade Diferencial (DP), como o Gradiente Descendente Estocástico com Privacidade Diferencial (DPSGD), são inadequados aqui porque os TFMs são usados como modelos de inferência congelados. Abordagens PATE (Private Aggregation of Teacher Ensembles) existentes, como o PromptPATE, dependem de dados públicos de distribuição in-distribution não rotulados para gerar consultas para os modelos professores. Em domínios tabulares sensíveis (ex: finanças, saúde), tais dados públicos são frequentemente indisponíveis, criando uma lacuna para o implante privado prático.

2. Metodologia: TabPATE

O artigo apresenta o TabPATE, um framework de DP centralizado projetado para ICL tabular que elimina a necessidade de dados públicos de distribuição in-distribution. Ele segue uma arquitetura professor-aluno:

A. Particionamento de Professores e Geração de Consultas

1. Particionamento: O conjunto de dados sensível privado $D$ é particionado em $K$ subconjuntos disjuntos. Cada subconjunto serve como o contexto de demonstração para um "professor" TFM separado (o mesmo modelo congelado sendo solicitado com dados diferentes).
2. Geração de Consultas Sintéticas (A Inovação Central): Ao contrário do PATE padrão que consulta professores em dados públicos, o TabPATE gera consultas tabulares sintéticas ($\tilde{x}$) sem dados públicos. Isso aproveita as propriedades específicas de dados tabulares (características de limites, tipos e baixa dimensionalidade):
   • Prior Independente de Dados ($\alpha=0$): As consultas são amostradas de um prior fixo baseado em limites de características conhecidos (ex: distribuições uniforme ou Gaussiana sobre os intervalos das características). Isso incorre em custo de privacidade zero.
   • Estatísticas Marginais de DP ($\alpha>0$): Uma parte do orçamento de privacidade ($\alpha\epsilon$) é usada para liberar estatísticas marginais ruidosas (médias e variâncias) dos dados privados. As consultas são então amostradas da distribuição de produto resultante. Isso é benéfico para conjuntos de dados desbalanceados ou tarefas de regressão.

B. Agregação Privada

Os professores são consultados nos registros sintéticos. Suas previsões são agregadas usando o algoritmo Confident-GNMax:

• Se os professores concordarem suficientemente sobre um rótulo, um rótulo de pluralidade ruidoso é liberado.
• Se a confiança for baixa, o mecanismo se abstém.
• Os pares sintéticos rotulados resultantes $(\tilde{x}, \tilde{y})$ formam o contexto do aluno ($\tilde{D}$).

C. Garantia de Privacidade

O contexto do aluno liberado satisfaz $(\epsilon, \delta)$-Privacidade Diferencial. O orçamento de privacidade é dividido entre a liberação marginal opcional e a agregação de rótulos. Como as previsões subsequentes dependem apenas do contexto do aluno liberado, elas não incorrem em custo adicional de privacidade.

3. Principais Contribuições

1. Verificação Empírica do Risco: Os autores adaptam MIAs para ICL tabular, demonstrando que os registros de contexto privado vazam através de previsões, com ataques ativos causando vazamentos severos.
2. Framework TabPATE: Uma defesa do tipo PATE de DP centralizada para ICL tabular que substitui a necessidade de dados de transferência de distribuição in-distribution pública por consultas tabulares sintéticas derivadas de limites de características ou marginais de DP.
3. Validação Empírica: Avaliação em múltiplos benchmarks tabulares mostrando que o TabPATE preserva uma utilidade competitiva enquanto reduz o sucesso de inferência de membro para níveis próximos ao aleatório.

4. Resultados Experimentais

Os autores avaliaram o TabPATE em cinco conjuntos de dados de classificação padrão (ex: German Credit, Diabetes) e oito conjuntos de dados de regressão, comparando-o com ICL não privado, DP-SGD, dados sintéticos DP, agregação em tempo de consulta (Query-Time) e PromptPATE.

• Utilidade: Com um orçamento de privacidade de $\epsilon=10$, o TabPATE alcançou 71,2% de acurácia balanceada, superando outras baselines livres de dados públicos (ex: Query-Time com 61,3%) e aproximando-se do PromptPATE (68,6%), que requer dados públicos.
• Proteção de Privacidade: O TabPATE mitigou com sucesso a inferência de membro. Para o TabPFN não privado, ataques LiRA alcançaram um AUC de ~0,76. O TabPATE reduziu isso para um desempenho próximo ao aleatório (AUC $\approx$ 0,5) tanto em $\epsilon=1$ quanto em $\epsilon=10$.
• Regressão: O método foi estendido para tarefas de regressão agregando previsões ruidosas e limitadas dos professores. Embora a regressão tenha se mostrado mais desafiadora que a classificação, alocar um pequeno orçamento para a geração de consultas marginais ($\alpha > 0$) melhorou o desempenho em relação às consultas puramente independentes de dados.
• Comparação com Baselines: O TabPATE consistentemente superou as baselines de DP-SGD e DP-Synthetic data, que tiveram dificuldade em manter a utilidade sob restrições de privacidade.

5. Significância e Alegações

O artigo afirma que o TabPATE fornece um caminho prático para o ICL tabular privado em cenários onde dados públicos de distribuição in-distribution não estão disponíveis. Ao explorar a natureza estruturada das características tabulares (intervalos delimitados e tipos), o método gera consultas úteis sem comprometer a privacidade ou exigir dados externos.

Os autores concluem que o TabPeste oferece um mecanismo de defesa viável que:

1. Preserva utilidade competitiva para tarefas subsequentes.
2. Reduz os riscos de inferência de membro para um nível próximo ao acaso.
3. Permite o implante de TFMs em domínios sensíveis (como saúde e finanças) onde o compartilhamento de dados para conjuntos de treinamento públicos é restrito.

O trabalho sugere que a transferência de conhecimento do tipo PATE livre de dados públicos é uma rota viável para assegurar modelos de fundação em ambientes de dados estruturados.