Resumen Técnico: Síntesis de Datos de Preferencia con Privacidad Diferencial para el Alineamiento de Modelos de Lenguaje de Gran Escala

Definición del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) requieren un alineamiento de preferencias (por ejemplo, mediante RLHF o DPO) para asegurar que los resultados se alineen con los valores humanos. Este proceso depende de conjuntos de datos de preferencias por pares donde los anotadores humanos seleccionan respuestas preferidas sobre las no preferidas para ciertos prompts dados. Sin embargo, estos conjuntos de datos frecuentemente contienen prompts de usuarios sensibles (que revelan temas de salud, identidad o temas personales) y retroalimentación humana (que revela creencias privadas o patrones de comportamiento).

Los enfoques de preservación de la privacidad existentes enfrentan limitaciones significativas:

1. Protección Parcial: Muchos métodos protegen solo los prompts o solo las etiquetas, dejando brechas donde los adversarios pueden inferir atributos sensibles de componentes no protegidos.
2. Rigidez Metodológica: Las soluciones actuales suelen dirigirse a algoritmos específicos (por ejemplo, RLHF basado en PPO) y carecen de compatibilidad con métodos emergentes como la Optimización de Preferencia Directa (DPO).
3. Escasez de Datos: Las anotaciones de preferencia humana de alta calidad son costosas y escasas. Aplicar la privacidad diferencial (DP) directamente a conjuntos de datos privados limitados suele degradar la utilidad, resultando en un desempeño de alineamiento deficiente.

La pregunta central abordada es si se puede lograr un alineamiento de preferencias superior asegurando una protección de privacidad exhaustiva y manteniendo la compatibilidad con diversas metodologías de alineamiento.

Metodología: DPPrefSyn

Los autores proponen DPPrefSyn, un marco de trabajo principista para generar datos de preferencia sintéticos con privacidad diferencial (DP). El algoritmo opera sobre el modelo de preferencia de Bradley–Terry y asume una estructura de recompensa lineal ($r_\theta(x, a) = \langle \theta, \phi(x, a) \rangle$) para capturar preferencias humanas heterogéneas.

El proceso consta de tres pasos principales:

1. Representación de Preferencias y Agrupamiento (Clustering):

   • Embedding: Las muestras de preferencia privadas $(x_i, a^+_i, a^-_i)$ se codifican utilizando un modelo de embedding de oraciones público $\psi$. El vector de características se define como la diferencia entre los embeddings de las respuestas preferida y no preferida concatenadas al prompt: $d_i = \psi(x_i, a^+_i) - \psi(x_i, a^-_i)$.
   • Reducción de Dimensionalidad (DP-PCA): Para abordar la ineficiencia de muestreo en espacios de alta dimensión, el algoritmo aplica DP-PCA para proyectar $d_i$ en un espacio de menor dimensión ($z_i$), preservando las señales clave de preferencia bajo un presupuesto de privacidad $\epsilon_0$.
   • Agrupamiento (DP-KMeans): Los vectores proyectados se agrupan mediante DP-KMeans bajo el presupuesto $\epsilon_1$. Esto agrupa muestras con patrones de preferencia similares, permitiendo la suposición de que los usuarios dentro de un clúster comparten un parámetro de recompensa común $\theta_k$.

2. Entrenamiento del Modelo de Recompensa DP:

   • Para cada clúster $C_k$, se entrena un modelo de recompensa lineal parametrizado por $\theta_k$ para minimizar la log-verosimilitud negativa de las preferencias observadas dentro de ese clúster.
   • El entrenamiento utiliza DP-SGD (Descenso de Gradiente Estocástico con Privacidad Diferencial) con un multiplicador de ruido $\sigma_2$.
   • Composición en Paralelo: Dado que los clústeres son disjuntos, el costo de privacidad para entrenar todos los modelos de clúster está acotado por el costo de entrenar en el clúster más pequeño, asegurando un uso eficiente del presupuesto.

3. Generación de Preferencia Sintética DP:

   • El algoritmo utiliza prompts públicos para evitar consumir el presupuesto de privacidad en la síntesis de prompts.
   • Para cada prompt público, un LLM genera $L$ respuestas candidatas diversas.
   • Se selecciona un índice de clúster $k$ basado en la distribución protegida por DP de los tamaños de los clústeres (histograma).
   • Las respuestas candidatas se evalúan utilizando el modelo de recompensa DP entrenado $\theta_k$ (proyectado en el subespacio DP-PCA). El par con la recompensa más alta y la más baja forma un par de preferencia sintética $(\tilde{x}, \tilde{a}^+, \tilde{a}^-)$.
   • Las muestras con brechas de recompensa insuficientes se descartan para asegurar la calidad.

Garantía de Privacidad: El algoritmo satisface la $(\epsilon, \delta)$-privacidad diferencial. El presupuesto total se asigna a DP-PCA ($\epsilon_0$), DP-KMeans ($\epsilon_1$), y el presupuesto restante para DP-SGD. Se utiliza el contador de la Variable Aleatoria de Privacidad (PRV) para componer de manera ajustada los costos de DP-SGD. Debido a la propiedad de post-procesamiento de la DP, el conjunto de datos sintético resultante puede reutilizarse en varios métodos de alineamiento y LLMs sin incurrir en costos de privacidad adicionales.

Contribuciones Clave

1. Algoritmo Novedoso (DPPrefSyn): El primer trabajo en generar datos de preferencia sintéticos con DP específicamente para el alineamiento de LLMs. Combina de manera única el modelo de Bradley–Terry con las estructuras geométricas intrínsecas de los datos por pares.
2. Manejo de la Heterogeneidad de Preferencias: Al aprovechar la estructura lineal compartida de los modelos de recompensa y el agrupamiento, el marco captura eficazmente diversas preferencias humanas (por ejemplo, variaciones en las prioridades de exactitud fáctica frente a la cortesía) dentro de los conjuntos de datos privados.
3. Eficiencia y Robustez:
   • DP-PCA mejora la eficiencia del aprendizaje y la estabilidad del agrupamiento en espacios de alta dimensión.
   • Prompts Públicos permiten que todo el presupuesto de privacidad se concentre en modelar las preferencias, mejorando significativamente la eficiencia de la privacidad.
4. Análisis de Privacidad Riguroso: El artículo proporciona una prueba formal de $(\epsilon, \delta)$-DP, utilizando la contabilidad PRV para una composición ajustada.
5. Versatilidad: A diferencia de trabajos previos restringidos a algoritmos específicos (como PPO), DPPrefSyn es compatible con múltiples métodos de alineamiento, incluyendo SFT, DPO y PPO.

Resultados Experimentales

Los autores evaluaron DPPefSyn en tres bancos de pruebas: OpenAssistant (QA), Anthropic-HH (Utilidad/Inofensividad) y TL;DR (Resumen). El modelo de downstream fue ajustado utilizando SFT seguido de DPO (o PPO).

• Relación Privacidad-Utilidad Superior: DPPefSyn superó consistentemente al ajuste fino directo sobre datos privados usando DP-SGD (DP-FT) en todos los presupuestos de privacidad ($\epsilon = 0.5, 1, 2, 4, 8$).
  • Ejemplo: En Anthropic-HH con $\epsilon=2$, DPPefSyn logró una tasa de victoria de GPT-4o del 56.48% tras DPO, superando significativamente al DP-FT (37.02%) e incluso superando la línea base no privada (38.72%).
• Robustez ante la Escasez de Datos: El método se mantuvo efectivo incluso con prompts públicos limitados (por ejemplo, 5K prompts frente a 14K muestras privadas), demostrando que la generación sintética de alta calidad puede mitigar los problemas de escasez de datos.
• Generalizabilidad: El enfoque funcionó eficazmente a través de diferentes modelos de downstream (Pythia-2.8B, Qwen-3-4B, Llama-3-8B) y métodos de alineamiento (DPO, PPO).
• Ataques de Privacidad: DPPefSyn demostró una fuerte resistencia a los Ataques de Inferencia de Membresía (MIA), con puntuaciones AUC cercanas al azar, mientras que los modelos DP-FT permanecieron vulnerables.

Significado y Reivindicaciones

El artículo afirma que DPPefSyn ofrece una alternativa práctica para el alineamiento de preferencias con preservación de la privacidad. Su significado principal radica en demostrar que los datos de preferencia sintéticos pueden lograr un desempeño de alineamiento competitivo, y a menudo superior, en comparación con el entrenamiento directo sobre datos privados bajo fuertes garantías de DP.

Los autores enfatizan que, al desacoplar el presupuesto de privacidad de la generación de prompts (usando prompts públicos) y centrarlo en modelar la distribución de las preferencias humanas (mediante agrupamiento y modelado de recompensa), el método supera la degradación de utilidad típicamente asociada con el ajuste fino de DP. Esto permite el despliegue de LLMs alineados en aplicaciones que requieren una privacidad estricta (por ejemplo, salud, asistentes personales) sin sacrificar la capacidad del modelo.

El trabajo se presenta como el primero en generar datos de preferencia sintéticos con DP para el alineamiento de LLMs, estableciendo una nueva dirección para equilibrar los beneficios de los grandes datos con la protección de la privacidad individual.