EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

1. El Problema

La generación de datos sintéticos de alta calidad es crucial para el desarrollo de modelos de aprendizaje automático, especialmente cuando los datos reales son sensibles (por ejemplo, registros médicos, documentos internos o feedback de usuarios) y no pueden compartirse libremente. Aunque los Modelos de Lenguaje Grandes (LLMs) son potentes generadores, los métodos existentes para generar datos sintéticos privados sufren de graves ineficiencias:

• Ineficiencia computacional: Métodos como la fine-tuning privada (DP-SGD) son costosos y requieren grandes cantidades de datos.
• Costo de privacidad por token: Métodos de inferencia privada (como Private Prediction) a menudo acoplan el presupuesto de privacidad al número de tokens generados, lo que hace que la generación de grandes volúmenes de datos o secuencias largas sea prohibitiva.
• Baja fidelidad en regímenes de pocos datos: Las estrategias de prompting ingenuas (zero-shot o few-shot) a menudo fallan en capturar la distribución real de los datos o filtran información sensible.
• Falta de diversidad: Los modelos ajustados por instrucciones (instruction-tuned) tienden a colapsar en la diversidad, generando textos repetitivos y poco naturales.

2. Metodología: EPSVEC

El artículo propone EPSVEC (Efficient and Private Synthetic Data Generation via Dataset Vectors), un marco ligero y diferenciablemente privado que se basa en la inyección de vectores de conjunto de datos (dataset vectors) en los estados ocultos del modelo durante la inferencia.

Componentes Clave:

1. Vectores de Conjunto de Datos (Dataset Vectors):

   • Se basan en la hipótesis de representación lineal: las propiedades de un conjunto de datos (estilo, subtemas, flujo semántico) pueden codificarse como una dirección específica en el espacio de activación del LLM.
   • Extracción: Se calcula la diferencia media entre las representaciones ocultas de muestras privadas ($D^+$) y muestras sintéticas generadas por el modelo ($D^-$) para un atributo dado. Esta diferencia captura el "desplazamiento de distribución" (dataset shift) necesario para que el modelo genere datos similares a los privados.
   • Privatización: Una vez extraído el vector, se le añade ruido gaussiano y se aplica recorte (clipping) para cumplir con la Privacidad Diferencial (DP). Este vector se libera una sola vez.

2. Inyección de Vectores (Steering):

   • Durante la generación de nuevos datos sintéticos, el vector privado se inyecta en los estados ocultos del LLM en capas específicas mediante una intervención aditiva: $z_{\ell,t} \leftarrow z_{\ell,t} + \beta_\ell v_\ell$.
   • Ventaja crítica: Una vez que el vector se ha privatizado y liberado, no hay costo adicional de privacidad para generar cualquier cantidad de muestras o de longitud arbitraria. El presupuesto de privacidad se gasta solo en la extracción del vector, no en la generación.

3. Uso de Modelos Preentrenados (Base) y Fixed-Shots:

   • El método utiliza modelos base (preentrenados) en lugar de modelos ajustados por instrucciones, ya que los primeros mantienen una mayor diversidad estilística y evitan el colapso de la diversidad.
   • Para estabilizar la generación en modelos base, se introduce un scaffold de fixed-shot (ejemplos fijos). Estos ejemplos se seleccionan privadamente (usando un histograma privado) de un conjunto de candidatos sintéticos y se reutilizan en todo el pipeline. Esto asegura que la generación comience desde una base que coincida con el formato y atributos gruesos de los datos reales.

3. Contribuciones Clave

• Desacoplamiento del Presupuesto de Privacidad: EPSVEC rompe la dependencia entre el costo de privacidad y el número de tokens generados. Permite generar un número arbitrario de muestras sintéticas con un solo costo de privacidad inicial.
• Eficiencia en Regímenes de Pocos Datos: El método funciona eficazmente incluso con conjuntos de datos privados muy pequeños (baja cantidad de muestras), donde otros métodos fallan.
• Mejora de la Diversidad y Fidelidad: Al combinar vectores de dirección con modelos base y fixed-shots privados, se logra una mayor fidelidad a la distribución real y una mayor diversidad léxica en comparación con los métodos basados en prompting o fine-tuning.
• Garantías Formales de Privacidad: Se proporciona un análisis teórico riguroso que demuestra que el proceso cumple con los estándares de Privacidad Diferencial, incluso mediante muestreo (subsampling) que amplifica la privacidad cuando el conjunto de datos es grande.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos (Reseñas de IMDb, Yelp, Resúmenes de BioRxiv y Reseñas de OpenReview) comparando EPSVEC con métodos de referencia como AUG-PE, InvisibleInk y Private Prediction (PP/PP++).

• Fidelidad Distribucional (MAUVE): EPSVEC supera significativamente a los métodos existentes. En el conjunto de datos IMDb, EPSVEC++ logró un puntaje MAUVE de 72.3 (con $\epsilon=5$), superando al siguiente mejor método en un 150% en promedio.
• Utilidad en Tareas Descendentes: Cuando se utilizan los datos sintéticos de EPSVEC para afinar un clasificador BERT, se alcanzan precisiones comparables a las obtenidas con datos reales.
• Eficiencia Computacional: EPSVEC requiere menos tiempo de ejecución y menos muestras privadas que los métodos basados en agregación de lotes grandes (como PP), los cuales a menudo fallan en generar muestras completas bajo presupuestos de privacidad estrictos.
• Robustez: El método mantiene alta calidad incluso en secuencias largas y bajo presupuestos de privacidad bajos ($\epsilon=3$), donde otros métodos degradan severamente su rendimiento.

5. Significado e Impacto

El trabajo EPSVEC representa un cambio de paradigma en la generación de datos sintéticos privados:

• Escalabilidad: Al mover la privatización de la escala de "token" a la escala de "dirección de conjunto de datos", habilita la generación masiva de datos sin costos de privacidad recurrentes.
• Practicidad: Ofrece una solución viable para entornos con datos sensibles limitados, permitiendo a investigadores y profesionales crear corpus sintéticos que preservan las propiedades estadísticas y semánticas de los datos originales sin riesgo de filtración.
• Nuevas Direcciones: Sugiere que el ruido de privacidad, cuando se aplica correctamente a representaciones de alto nivel, puede actuar como un regularizador que mejora la diversidad, abriendo nuevas líneas de investigación sobre la relación entre privacidad y calidad de generación.

En resumen, EPSVEC demuestra que es posible generar datos sintéticos de alta fidelidad, diversos y masivos de manera eficiente y con garantías estrictas de privacidad, superando las limitaciones de computación y calidad de las técnicas anteriores.