Resumen Técnico: Cuando las Tablas Filtran: Atacando la Memorización de Cadenas en la Generación de Datos Tabulares Basada en LLM

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) han surgido como generadores de vanguardia para datos tabulares sintéticos, utilizando dos regímenes principales: Aprendizaje en Contexto (ICL), donde se proporcionan ejemplos en la ventana de contexto, y Ajuste Fino Supervisado (SFT), donde los modelos se entrenan con datos tabulares codificados como cadenas. Si bien estos métodos ofrecen alta fidelidad estadística y utilidad para tareas posteriores, introducen una vulnerabilidad de privacidad novedosa, distinta de los modelos generativos tradicionales (por ejemplo, GANs, VAEs).

Los generadores tabulares tradicionales operan directamente en el espacio de características, tratando las muestras como unidades atómicas. En contraste, los LLM descomponen las filas tabulares en secuencias de cadenas autoregresivas (token a token). Este artículo postula que este cambio arquitectónico crea una superficie de ataque única: los LLM tienden a memorizar y reproducir patrones rígidos y estructurados de dígitos numéricos de sus datos de entrenamiento. Dado que los datos tabulares carecen de la ambigüedad semántica del lenguaje natural (donde es posible el parafraseo), incluso reproducciones mínimas a nivel de carácter constituyen una memorización exacta de información sensible (por ejemplo, cantidades financieras, identificadores).

Los Ataques de Inferencia de Membresía (MIAs) existentes para datos sintéticos se centran en distancias en el espacio de características (por ejemplo, distancia euclidiana, estimación de densidad). Los autores argumentan que estos métodos no logran detectar vulnerabilidades inherentes a la representación intermedia de cadenas utilizada por los LLM, dejando una brecha crítica en la auditoría de privacidad para generadores tabulares basados en LLM.

2. Metodología

2.1 Modelo de Amenaza

El estudio adopta un modelo de amenaza conservador de Caja Negra. El adversario tiene acceso únicamente al conjunto de datos sintético generado ($S$). El adversario no tiene:

• Acceso a los internos del modelo, pesos o hiperparámetros.
• Acceso de consulta al modelo.
• Un conjunto de datos de referencia o datos auxiliares para calibración.
  Este modelo refleja escenarios realistas donde los datos sintéticos se comparten públicamente sin revelar el proceso de generación.

2.2 El Ataque: LevAtt (Ataque Levenshtein)

Para explotar la naturaleza basada en cadenas de la generación de LLM, los autores proponen LevAtt, un MIA de Caja Negra basado en la similitud de cadenas en lugar de la proximidad en el espacio de características.

• Mecanismo: El ataque convierte los registros tabulares en representaciones de cadena canónicas, preservando la estructura (precisión consistente para números, tokens estables para categorías). Luego calcula la distancia de edición Levenshtein (distancia de edición a nivel de carácter) entre una observación de prueba ($x^*$) y el registro sintético más cercano en el conjunto de datos generado.
• Puntuación: La puntuación del ataque se define como $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$, donde $\ell$ es la distancia de Levenshtein. Menores distancias (puntuaciones más altas) indican una coincidencia más cercana, sugiriendo que los datos sintéticos memorizaron el registro de entrenamiento.
• Racional: A diferencia del lenguaje natural, las cadenas numéricas tabulares son rígidas. Un cambio de un solo dígito altera el valor de manera significativa. Por lo tanto, una coincidencia de cadena casi exacta es una señal fuerte y de alta confianza de memorización que los ataques en el espacio de características pasan por alto.

2.3 Defensas Propuestas

El artículo evalúa dos estrategias para mitigar esta filtración:

1. Modificador de Dígitos (DM): Un algoritmo de post-procesamiento que itera a través de las columnas numéricas e invierte dígitos basándose en una función de probabilidad $g$. Los valores de mayor magnitud reciben probabilidades de perturbación más altas. Esto se aplica después de la generación.
2. Procesador de Logits basado en Tendencia (TLP): Una defensa integrada en el proceso de generación durante el muestreo. Aplica una función de curvado cóncava y monótona ($f_t(x) = x^{1/t}$) a los logits del modelo antes del muestreo. Esto suprime los tokens de alta confianza (a menudo secuencias memorizadas) y amplifica los tokens de menor probabilidad, introduciendo aleatoriedad controlada sin romper las dependencias de características.

3. Resultados Experimentales

3.1 Régimen ICL (Aprendizaje en Contexto)

Los experimentos se realizaron en 35 conjuntos de datos de regresión del mundo real utilizando LLaMA 3.3-70B, GPT-4o-mini y TabPFN-v2.

• Filtración: LevAtt demostró una filtración de privacidad sustancial. Para TabPFN-v2 y LLaMA 3.3-70B, el ataque logró una clasificación perfecta de membresía (AUC-ROC $\approx$ 1.0) en los 20 peores casos.
• Correlación: LevAtt mostró una correlación débil con los MIAs tradicionales en el espacio de características (DCR, Estimación de Densidad, MC), confirmando que detecta una señal de filtración única y ortogonal.
• Escalado: La filtración de privacidad aumentó con el tamaño del modelo (los modelos de 70B filtraron más que los modelos de escala 7B) y disminuyó con el número de ejemplos en contexto (menos ejemplos condujeron a una mayor memorización).

3.2 Régimen SFT (Ajuste Fino Supervisado)

Los experimentos involucraron el ajuste fino de modelos (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) en conjuntos de datos como CASP, Diabetes y CA-Housing, comparados con RealTabFormer y GREAT.

• Filtración: Los modelos SFT exhibieron una filtración menor pero aún significativa en comparación con ICL. RealTabFormer, a pesar de sus afirmaciones de conciencia de privacidad, mostró la mayor vulnerabilidad (LevAtt AUC $\approx$ 0.65–0.70).
• Modelos Convencionales: Los generadores de aprendizaje profundo tradicionales (CT-GAN, TVAE) fueron inmunes a LevAtt, ya que no generan secuencias de tokens.
• Factores: La filtración aumentó monótonamente con el volumen de datos sintéticos generados y la longitud de las secuencias de dígitos en los datos de entrenamiento.
• Compensación: Se observó una correlación negativa entre la privacidad (LevAtt AUC) y la fidelidad (MMD, distancia de Wasserstein). Los modelos con mayor fidelidad estadística fueron más propensos a la memorización de cadenas.

3.3 Evaluación de Defensas

• Modificador de Dígitos (DM): Redujo exitosamente el AUC de LevAtt, pero causó una caída catastrófica en la fidelidad de los datos. La inyección de ruido empujó los valores fuera de la distribución válida, haciendo que los datos fueran inútiles para tareas posteriores.
• TLP: Redujo exitosamente el AUC de LevAtt a niveles cercanos al azar ($\approx$ 0.55) y la TPR a $<0.125$, manteniendo la fidelidad estadística (las distancias MMD y Wasserstein permanecieron comparables a la generación estándar) y la utilidad posterior (rendimiento de XGBoost).
• Privacidad Diferencial (DP): Aunque DP2Stage (DP-SGD) derrotó efectivamente a LevAtt, resultó en la peor utilidad y fidelidad entre todos los modelos, destacando la severa compensación entre privacidad y utilidad de la DP en tiempo de entrenamiento para LLMs.

4. Contribuciones Clave

1. Identificación de la Memorización de Cadenas: El artículo identifica que los generadores tabulares basados en LLM memorizan patrones rígidos de cadenas numéricas, una vulnerabilidad invisible para los ataques en el espacio de características.
2. Ataque LevAtt: Introducción de un MIA simple de Caja Negra que utiliza la distancia de Levenshtein y logra una clasificación perfecta en modelos de vanguardia bajo suposiciones adversarias mínimas.
3. Evidencia Empírica de Riesgo: Demostración de que los modelos SFT e ICL de alta fidelidad (incluido RealTabFormer) filtran información de membresía, mientras que los generadores convencionales no lo hacen.
4. Defensa Efectiva (TLP): Propuesta de TLP, un mecanismo en tiempo de muestreo que mitiga la memorización perturbando los logits, equilibrando exitosamente la protección de la privacidad con la utilidad y fidelidad de los datos.

5. Significado y Afirmaciones

Los autores afirman que la generación de datos tabulares basada en LLM introduce un riesgo de privacidad fundamentalmente nuevo, distinto de los modelos generativos tradicionales. La importancia de este trabajo radica en:

• Redefinir la Superficie de Ataque: Desplazar el enfoque de la distancia en el espacio de características a la similitud de cadenas a nivel de carácter, lo cual es crítico para los modelos autoregresivos.
• Desafiar las Suposiciones de Privacidad: Demostrar que incluso los métodos SFT "conscientes de la privacidad" y los generadores de alta fidelidad pueden filtrar catastróficamente los datos de entrenamiento cuando la estructura de los datos es rígida.
• Mitigación Práctica: Proporcionar una defensa desplegable (TLP) que no requiere reentrenamiento ni sacrifica la utilidad de los datos, a diferencia de la Privacidad Diferencial.

El artículo concluye que, aunque los LLM ofrecen una utilidad superior, su naturaleza autoregresiva los hace propensos a la "recuperación" en lugar de la "generalización" en contextos tabulares. Los autores enfatizan que, sin defensas específicas como TLP, el despliegue de datos tabulares sintéticos basados en LLM en sectores sensibles a la privacidad (salud, finanzas) plantea un riesgo significativo de reidentificación.

Limitaciones Notadas:

• LevAtt depende de un formato de cadena consistente; las variaciones de formato (por ejemplo, "17.5" vs "17.500") podrían ocultar señales.
• Las defensas (DM, TLP) son empíricas y carecen de garantías formales de privacidad (a diferencia de la DP).
• El estudio asume un modelo de Caja Negra; ataques más potentes con acceso al modelo podrían ser más efectivos.
• El ataque es menos efectivo en campos de texto abierto en comparación con esquemas numéricos/categóricos rígidos.