Resumen Técnico: TabPATE: Aprendizaje en Contexto Tabular con Privacidad Diferencial sin Datos Públicos

1. Planteamiento del Problema

Los Modelos de Fundación Tabulares (TFMs) permiten realizar predicciones precisas mediante el Aprendizaje en Contexto (ICL), donde un pequeño conjunto de datos etiquetados se coloca en el contexto del modelo para guiar la inferencia sin actualizaciones de parámetros. Aunque es efectivo en dominios como la salud y las finanzas, este paradigma introduce una vulnerabilidad de privacidad crítica: los registros colocados en el contexto pueden contener información privada sensible.

Los autores demuestran primero que este riesgo no es meramente hipotético. Al adaptar los ataques de Inferencia de Membresía (MIA) estándar al entorno de ICL tabular, muestran que las predicciones del modelo filtran información sobre si un registro específico fue incluido en el contexto de demostración privado.

• Modelos de Amenaza: El estudio evalúa cuatro modelos de amenaza que van desde el acceso pasivo de caja negra (solo etiquetas) hasta el acceso activo de caja gris (con manipulación/envenenamiento de contexto).
• Hallazgos: Incluso los adversarios de caja gris pasivos logran una Tasa de Verdaderos Positivos (TPR) del 9.9% con una Tasa de Falsos Positivos (FPR) del 1%. Los ataques activos, como el uso de envenenamiento "Truth Serum", pueden alcanzar un TPR del 75.4%, lo que indica que los registros del contexto privado están significativamente expuestos a través del comportamiento del modelo.

Los métodos de entrenamiento de Privacidad Diferencial (DP) estándar, como el Gradiente Descendente Estocástico de Privacidad Diferencial (DPSGD), no son adecuados aquí porque los TFMs se utilizan como modelos congelados en el tiempo de inferencia. Los enfoques PATE (Agregación Privada de Conjuntos de Maestros) existentes, como PromptPATE, dependen de datos públicos de la misma distribución no etiquetados para generar consultas para los modelos maestros. En dominios tabulares sensibles (por ejemplo, finanzas, salud), tales datos públicos suelen ser inexistentes, lo que crea una brecha para el despliegue privado práctico.

2. Metodología: TabPATE

El artículo presenta TabPATE, un marco de DP central diseñado para el ICL tabular que elimina el requisito de datos públicos de la misma distribución. Sigue una arquitectura de maestro-estudiante:

A. Partición de Maestros y Generación de Consultas

1. Partición: El conjunto de datos privados sensibles $D$ se particiona en $K$ subconjuntos disjuntos. Cada subconjunto sirve como el contexto de demostración para un "maestro" TFM separado (el mismo modelo congelado siendo instanciado con diferentes datos).
2. Generación de Consultas Sintéticas (La Innovación Central): A diferencia del PATE estándar que consulta a los maestros sobre datos públicos, TabPATE genera consultas tabulares sintéticas ($\tilde{x}$) sin datos públicos. Esto aprovecha las propiedades específicas de los datos tabulares (características acotadas, tipadas y de baja dimensionalidad):
   • Prior Independiente de los Datos ($\alpha=0$): Las consultas se muestrean de un prior fijo basado en los límites de las características conocidas (por ejemplo, distribuciones uniformes o gaussianas sobre los rangos de las características). Esto incurre en un costo de privacidad de cero.
   • Estadísticas Marginales con DP ($\alpha>0$): Una parte del presupuesto de privacidad ($\alpha\epsilon$) se utiliza para liberar estadísticas marginales ruidosas (medias y varianzas) de los datos privados. Las consultas se muestrean entonces a partir de la distribución producto resultante. Esto es beneficioso para conjuntos de datos desequilibrados o tareas de regresión.

B. Agregación Privada

Los maestros son consultados sobre los registros sintéticos. Sus predicciones se agregan utilizando el algoritmo Confident-GNMax:

• Si los maestros están suficientemente de acuerdo sobre una etiqueta, se libera una etiqueta de pluralidad ruidosa.
• Si la confianza es baja, el mecanismo se abstiene.
• Los pares sintéticos etiquetados resultantes $(\tilde{x}, \tilde{y})$ forman el contexto del estudiante ($\tilde{D}$).

C. Garantía de Privacidad

El contexto del estudiante liberado satisface la $(\epsilon, \delta)$-Privacidad Diferencial. El presupuesto de privacidad se divide entre la liberación opcional de marginales y la agregación de etiquetas. Dado que las predicciones posteriores dependen únicamente del contexto del estudiante liberado, estas no incurren en un costo de privacidad adicional.

3. Contribuciones Clave

1. Verificación Empírica del Riesque: Los autores adaptan los MIA al ICL tabular, demostrando que los registros del contexto privado se filtran a través de las predicciones, con ataques activos causando una filtración severa.
2. Marco TabPATE: Un mecanismo de defensa tipo PATE de DP central para el ICL tabular que reemplaza la necesidad de datos de transferencia públicos de la misma distribución con consultas tabulares sintéticas derivadas de los límites de las características o marginales de DP.
3. Validación Empírica: Evaluación a través de múltiples benchmarks tabulares que muestra que TabPATE preserva una utilidad competitiva mientras reduce el éxito de la inferencia de membresía a niveles cercanos al azar.

4. Resultados Experimentales

Los autores evaluaron TabPATE en cinco conjuntos de datos de clasificación estándar (por ejemplo, German Credit, Diabetes) y ocho conjuntos de datos de regresión, comparándolo contra ICL no privado, DP-SGD, datos sintéticos con DP, agregación en tiempo de consulta y PromptPATE.

• Utilidad: Con un presupuesto de privacidad de $\epsilon=10$, TabPATE logró un 71.2% de precisión balanceada, superando a otros baselines sin datos públicos (por ejemplo, Query-Time con 61.3%) y acercándose a PromptPate (68.6%), que requiere datos públicos.
• Protección de Privacidad: TabPATE mitigó con éxito la inferencia de membresía. Para el modelo no privado TabPFN, los ataques LiRA lograron un AUC de ~0.76. TabPATE redujo esto a un rendimiento cercano al azar (AUC $\approx$ 0.5) tanto en $\epsilon=1$ como en $\epsilon=10$.
• Regresión: El método se extendió a tareas de regresión agregando predicciones de maestros acotadas y ruidosas. Aunque la regresión resultó más desafiante que la clasificación, la asignación de un pequeño presupuesto a la generación de consultas marginales ($\alpha > 0$) mejoró el rendimiento respecto a las consultas puramente independientes de los datos.
• Comparación con Baselines: TabPATE superó consistentemente a los baselines de DP-SGD y DP-Synthetic data, que tuvieron dificultades para mantener la utilidad bajo restricciones de privacidad.

5. Significado y Reivindicaciones

El artículo afirma que TabPATE proporciona un camino práctico hacia el ICL tabular privado en escenarios donde no hay disponibilidad de datos públicos de la misma distribución. Al explotar la naturaleza estructurada de las características tabulares (rangos acotados y tipos), el método genera consultas útiles sin comprometer la privacidad ni requerir datos externos.

Los autores concluyen que TabPATE ofrece un mecanismo de defensa viable que:

1. Preserva una utilidad competitiva para tareas posteriores.
2. Reduce los riesgos de inferencia de membresía a un nivel cercano a la adivinación aleatoria.
3. Permite el despliegue de TFMs en dominios sensibles (como salud y finanzas) donde el intercambio de datos para conjuntos de entrenamiento públicos está restringido.

El trabajo sugiere que la transferencia de conocimiento de tipo PATE sin datos públicos es una ruta factible para asegurar los modelos fundacionales en entornos de datos estructurados.