How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

Resumen Técnico: ¿Cómo Afecta la Privacidad Diferencial al Sesgo Social en los Modelos de Lenguaje Grandes? Una Evaluación Sistemática

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) entrenados con corpus a escala web corren el riesgo de memorizar datos sensibles de entrenamiento, lo que plantea amenazas a la privacidad. La Privacidad Diferencial (DP), específicamente mediante DP-SGD, ha surgido como un marco principista para limitar la influencia de puntos de datos individuales durante el entrenamiento, reduciendo así la memorización. Sin embargo, la relación entre limitar la memorización mediante DP y la mitigación del sesgo social en los LLM sigue siendo poco comprendida. Si bien DP podría debilitar la dependencia de asociaciones estereotipadas al amortiguar la influencia de ejemplos de entrenamiento específicos, el ruido introducido durante el entrenamiento también podría distorsionar las representaciones aprendidas de manera impredecible. La investigación existente ha explorado principalmente esta interacción en configuraciones de ajuste fino (fine-tuning), dejando una brecha en la comprensión de cómo se moldea el sesgo cuando DP se aplica durante la fase de preentrenamiento en sí misma.

Metodología
Los autores presentan una evaluación sistemática del sesgo social en un LLM preentrenado entrenado con DP-SGD, comparándolo con líneas base sin DP. El estudio utiliza VaultGemma-1B, el único LLM públicamente disponible preentrenado completamente con DP-SGD (presupuesto de privacidad $\epsilon = 2$), como el modelo DP. Se compara con dos líneas base sin DP: Gemma-3-1B-PT (que coincide con el modelo DP en tamaño) y Gemma-2-2B (que coincide con la familia de entrenamiento pero es más grande).

Para asegurar una evaluación exhaustiva, la evaluación abarca cuatro paradigmas complementarios:

1. Puntuación de Oraciones: Mide el sesgo mediante comparaciones controladas de probabilidad utilizando conjuntos de datos como StereoSet, WinoBias y CrowS-Pairs. Las métricas incluyen Puntuación del Modelo de Lenguaje (LMS), Puntuación de Estereotipo (SS) y Prueba de Asociación de Contexto Idealizada (ICAT).
2. Completado de Texto: Captura el sesgo en la generación abierta utilizando BOLD y HolisticBias. La evaluación se centra en la consideración, el sentimiento y la toxicidad, calculando brechas de sesgo entre grupos demográficos.
3. Clasificación Tabular: Evalúa la equidad de grupo en datos tabulares serializados como texto (Ingresos del Censo Adulto, COMPAS, Crédito Alemán) utilizando Aprendizaje en Contexto (ICL). El estudio prueba cuatro estrategias de ICL (Aleatoria, Balanceada, Instrucción, Eliminación) para aislar el sesgo intrínseco del modelo del sesgo inducido por el prompt.
4. Respuesta a Preguntas: Evalúa el sesgo mediante preguntas de opción múltiple con contexto ambiguo utilizando el conjunto de datos BBQ, midiendo la precisión en contextos desambiguados y las Puntuaciones de Estereotipo en los ambigüos.

Resultados Clave
El estudio revela una discrepancia significativa entre el sesgo a nivel de logits y el sesgo a nivel de salida, con resultados que varían sustancialmente entre los paradigmas de evaluación:

• Puntuación de Oraciones: DP reduce consistentemente el sesgo estereotipado. El modelo VaultGemma-1B logró puntuaciones de estereotipo (SS) más bajas y puntuaciones ICAT más altas en comparación con las líneas base sin DP, particularmente en tareas que requieren dependencia del conocimiento del mundo (por ejemplo, WinoBias Tipo 1). Esto sugiere que DP debilita la confianza del modelo al asignar probabilidades más altas a completaciones estereotipadas.
• Completado de Texto: Los beneficios de DP observados en la puntuación de oraciones no se generalizaron de manera fiable. Si bien el modelo DP mostró brechas de sesgo más pequeñas en consideración y toxicidad para ciertos grupos demográficos, los resultados fueron mixtos entre métricas y conjuntos de datos. Por ejemplo, los modelos sin DP a veces superaron al modelo DP en las brechas de sesgo de sentimiento.
• Clasificación Tabular: No se observó una ventaja consistente para el modelo DP. El rendimiento de todos los modelos se mantuvo cerca de la línea base aleatoria (nivel de azar), y las métricas de equidad estuvieron fuertemente influenciadas por la elección de la estrategia de aprendizaje en contexto en lugar del estado de privacidad del preentrenamiento del modelo. Esto indica que los modelos base preentrenados luchan por extraer señales predictivas de demostraciones tabulares estructuradas a través de ICL.
• Respuesta a Preguntas: En la prueba de referencia BBQ, todos los modelos exhibieron una precisión cercana a la línea base aleatoria y valores de SS cercanos a 50. Los autores atribuyen esto a la incapacidad de los modelos base (que carecen de ajuste por instrucciones) para seguir de manera fiable el formato de tarea de opción múltiple, lo que hace ineficaz la evaluación del sesgo intrínseco mediante esta formulación basada en generación.

Contribuciones Clave

1. Evaluación Unificada: Este es el primer trabajo que evalúa sistemáticamente el efecto del preentrenamiento con privacidad diferencial sobre el sesgo social en LLMs generativos a través de cuatro paradigmas distintos.
2. Discrepancia de Paradigmas: Los autores demuestran que, si bien DP reduce el sesgo estereotipado en la puntuación de oraciones (nivel de logits), esta mejora no se transfiere consistentemente al completado de texto, la clasificación tabular o la respuesta a preguntas (nivel de salida).
3. Sensibilidad del ICL: El estudio destaca que los resultados de la clasificación tabular son altamente sensibles a las estrategias de aprendizaje en contexto, limitando su utilidad para aislar el sesgo intrínseco del modelo en modelos base preentrenados.
4. Limitaciones de la Evaluación: El trabajo subraya que las conclusiones sobre el sesgo social varían sustancialmente dependiendo del paradigma de evaluación, revelando limitaciones en confiar en evaluaciones de un solo punto de referencia.

Significado y Afirmaciones
El artículo afirma que reducir la memorización mediante DP no necesariamente reduce la injusticia en todos los contextos. Los hallazgos destacan una desconexión crítica: debilitar las asociaciones estereotipadas a nivel de logits no garantiza salidas equitativas en tareas de generación abierta o toma de decisiones. En consecuencia, los autores argumentan que el entrenamiento que preserva la privacidad por sí solo es insuficiente para garantizar salidas de modelos equitativas. Subrayan la necesidad de una evaluación multi-paradigma al evaluar la equidad en los LLM, ya que un único método de evaluación puede proporcionar una imagen incompleta o engañosa del comportamiento de un modelo. El estudio concluye que la privacidad y la equidad pueden requerir intervenciones fundamentalmente diferentes, ya que los mecanismos que reducen la memorización no mitigan uniformemente el sesgo social en todos los tipos de tareas.