Resumen Técnico: LLM-como-Discriminador

Declaración del Problema

Las organizaciones utilizan cada vez más datos tabulares sintéticos para compartir información mitigando los riesgos de privacidad. Sin embargo, auditar la privacidad de dichos datos sigue siendo un desafío. Las herramientas clásicas de Control de Divulgación Estadística (SDC) (por ejemplo, $k$-anonimidad) y las medidas modernas basadas en ataques (por ejemplo, Ataques de Inferencia de Membresía o MIA) a menudo no logran capturar si una tabla sintética es perceptiblemente distinguible de una real para un observador humano o una IA. Mientras que el MIA enmarca el riesgo de privacidad como una clasificación binaria de si un registro perteneció o no al conjunto de entrenamiento, no evalúa directamente si un adversario informado puede distinguir un lanzamiento sintético de uno real basándose en la apariencia y las propiedades de distribución de los datos.

Metodología

Los autores proponen un protocolo de LLM-como-Discriminador, enmarcando la auditoría de privacidad como una tarea de clasificación binaria donde un Modelo de Lenguaje Grande (LLM) actúa como un discriminador ($D$).

Condiciones Experimentales

El estudio evalúa dos modelos de amenaza:

• C1 (Solo Tabla): El discriminador recibe una muestra de la tabla en formato Markdown de 20 filas con los nombres de las columnas y las dimensiones del conjunto de datos. Esto simula un adversario con acceso únicamente al lanzamiento de los datos.
• C2 (Tabla + Metadatos): La misma muestra se aumenta con un bloque de metadatos estructurados que contiene estadísticas descriptivas por columna (media, desviación estándar, cuartiles, asimetría, curtosis), resultados de la prueba de Shapiro–Wilk, frecuencias de las categorías top-$k$, entropía de Shannon y una matriz de correlación de Pearson. Esto simula un escenario donde se publican estadísticas de resumen junto con los datos sintéticos.

Protocolo y Métricas

• Modelos: El estudio utiliza Gemini-2.5-Flash (Google) y LLaMA-3.1-8b-instant (vía Groq) como discriminadores.
• Métodos de Síntesis: Se probaron tres generadores: CTGAN (GAN condicional), TVAE (Autoencoder Variacional) y Gaussian Copula.
• Conjuntos de Datos: Se utilizaron dos conjuntos de datos de censo: UCI Adult (codificaciones de cadenas legibles por humanos) y ACS Census 2018 (codificaciones enteras numéricas para columnas categóricas).
• Puntuación de Riesgo de Divulgación (DRS): Para traducir la precisión bruta en un escalar orientado a la privacidad, los autores definen el DRS como el mínimo de las tasas de verdaderos positivos para ambas clases:
  $$DRS = \min(\hat{p}_{REAL}, \hat{p}_{SINTÉTICO})$$
  Un DRS cercano a 0 indica que el discriminador no puede distinguir los datos (ya sea debido a una buena privacidad o a un modelo colapsado), mientras que un DRS cercano a 0.5 indica una discriminación a nivel de azar. Un DRS > 0.5 sugiere que los datos sintéticos contienen artefactos discriminativos.
• Líneas Base: Los resultados del LLM se compararon contra:
  1. Prueba de Dos Muestras de Clasificador (C2ST): Un clasificador de regresión logística entrenado para separar las distribuciones real y sintética.
  2. Vinculación de Registros: Medición de la distancia euclidiana entre los registros sintéticos y sus vecinos reales más cercanos.
  3. Anotación Humana: Un estudio piloto con dos anotadores humanos realizando las mismas tareas C1/C2.

Contribuciones Clave

1. Definición del Protocolo: Un protocolo formal de LLM-como-Discriminador para la auditoría de privacidad de caja negra bajo dos distintas condiciones de amenaza (C1 y C2).
2. Evaluación Empírica: Una evaluación exhaustiva de 451 ensayos válidos involucrando dos conjuntos de datos, tres métodos de síntesis y dos familias de LLM, revelando fuertes dependencias en la elección del modelo y la codificación de los datos.
3. Propuesta de Métrica: La introducción de la Puntuación de Riesgo de Divulgación (DRS) para normalizar la precisión de la discriminación y dar cuenta de los artefactos de sesgo de etiqueta.
4. Comparación Humano-LLM: Un estudio piloto controlado que demuestra que, si bien los LLM de frontera pueden igualar o exceder el rendimiento humano, los modelos abiertos más pequeños pueden colapsar hacia líneas base sesgadas, fallando en proporcionar una señal de privacidad útil.

Resultados Experimentales

Disparidad de Rendimiento de los Modelos

La elección del modelo discriminador resultó ser tan crítica como la elección del sintetizador:

• LLaMA (Groq): Exhibió un sesgo severo. En UCI Adult, etiquetó casi todas las tablas como REAL (DRS = 0%). En ACS Census, etiquetó todas las tablas como SINTÉTICAS (DRS = 0%). En ambos casos, el modelo colapsó, proporcionando ninguna señal discriminativa.
• Gemini: Demostró una alta capacidad discriminativa.
  • En UCI Adult, Gemini logró un DRS = 100% para CTGAN y TVAE bajo las condiciones C1 y C2.
  • En ACS Census, Gemini logró un DRS = 100% bajo C1 para todos los métodos. Bajo C2, el rendimiento cayó para CTGAN (0%) y TVAE (25%), mientras que Gaussian Copula se mantuvo en 100%.

Efectos de los Metadatos (C1 vs. C2)

El impacto de añadir metadatos distribucionales dependió del conjunto de datos y del método:

• En UCI Adult, los metadatos no tuvieron efecto en la discriminación perfecta de Gemini para CTGAN y TVAE.
• En ACS Census, los metadatos redujeron significativamente la discriminación para CTGAN y TVAE, sugiriendo que cuando las marginales reales y sintéticas están estrechamente alineadas, las estadísticas de resumen pueden oscurecer la señal de detección.

Alineación con Líneas Base Formales

• UCI Adult: El DRS de Gemini alcanzó un techo (100%) para CTGAN y TVAE, impidiendo el ranking de métodos. Sin embargo, los puntajes de C2ST variaron (TVAE: 0.725, CTGAN: 0.538), indicando que mientras Gemini detectaba artefactos en ambos, C2ST podía diferenciar el grado de separación distributiva.
• ACS Census: Bajo C2, el orden de DRS (Gaussian Copula > TVAE > CTGAN) se invirtió respecto a los puntajes de C2ST. Gaussian Copula tuvo un puntaje C2ST bajo (0.542) pero mantuvo un DRS alto, sugiriendo que sus artefactos permanecieron perceptualmente salientes a pesar de la similitud estadística.

Humano vs. LLM

• Rendimiento Humano: Los anotadores humanos lograron un DRS agrupado de 66.4%, superando significativamente a LLaMA (que colapsó a 0%) pero generalmente por debajo de Gemini.
• Gemini vs. Humanos: Gemini igualó o excedió el rendimiento humano en la mayoría de las celdas, particularmente en UCI Adult donde logró un DRS del 100% frente a las tasas humanas de 33–60%.
• Razonamiento: Tanto los humanos como Gemini identificaron los mismos artefactos estructurales como discriminadores primarios, tales como mapeos rotos entre niveles de educación y códigos numéricos (ej. "Bachelors" vs 13) y contradicciones en los campos de estado civil/relación.

Significancia y Reivindicaciones

El artículo afirma que la discriminación por LLM es una señal práctica de auditoría de privacidad, pero solo cuando se interpreta con cuidado respecto al modelo específico y la codificación de los datos utilizados.

• Dependencia del Modelo: La capacidad del discriminador es el cuello de botella. Un modelo colapsado (como LLaMA en este estudio) produce un DRS de 0%, lo que imita una privacidad perfecta pero en realidad indica un fallo del evaluador. Por el contrario, un modelo fuerte (Gemini) puede detectar violaciones estructurales sutiles que las pruebas estadísticas podrían pasar por alto.
• Utilidad Práctica: Los autores posicionan el DRS como un "tamiz distributivo rápido" en lugar de una garantía de privacidad independiente. Recomiendan usar el DRS junto con C2ST para un cribado inicial, seguido de un MIA más riguroso si la memorización a nivel de registro es una preocupación específica.
• Interpretabilidad: A diferencia de las pruebas estadísticas de caja negra, los LLM proporcionan justificaciones en lenguaje natural (ej. identificando restricciones rotas específicas), haciendo que el proceso de auditoría sea transparente y accionable para los profesionales.

El estudio concluye que, si bien el paradigma es prometedor, el trabajo futuro requiere modelos alojados localmente para evitar fallos de API, una validación más amplia a través de más métodos de síntesis (incluyendo difusión y generadores basados en LLM) y auditorías conscientes de la codificación para manejar representaciones numéricas vs. de cadenas.