Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

Resumen Técnico: Dos errores no hacen un acierto: Auditoría del sesgo de deseabilidad social en anotadores de LLM para la ciencia social computacional

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) se despliegan cada vez más como anotadores de bajo costo en la Ciencia Social Computacional (CSS) para medir textos políticos, discurso de odio, sentimiento y opinión pública. Sin embargo, existe una brecha crítica en la comprensión de si los errores "moldeados por el alineamiento" de estos modelos preservan las cantidades empíricas que los investigadores pretenden reportar. Si bien la precisión por instancia suele ser la métrica estándar, la CSS depende de mediciones agregadas (por ejemplo, estimaciones de prevalencia, comparaciones de grupos, cambios temporales). El artículo argumenta que un modelo puede poseer una precisión promedio superficialmente aceptable mientras distorsiona sistemáticamente la distribución subyacente de las etiquetas debido al sesgo de respuesta de deseabilidad social (SDR). Este sesgo se manifiesta como una tendencia a producir respuestas normativamente preferidas en lugar de aquellas fieles a la instancia de entrada, lo que potencialmente conduce a conclusiones científicas erróneas sobre el sentimiento público o la prevalencia de contenido dañino.

Metodología
Los autores realizan una auditoría comparativa a través de tres modelos de código abierto, de 7 mil millones de parámetros y ajustados por instrucciones: Zephyr-7B, Mistral-7B-Instruct-v0.3 y Qwen2.5-7B-Instruct. Estos modelos difieren en sus familias base y recetas de post-entrenamiento (por ejemplo, optimización de preferencias, ajuste fino de instrucciones supervisadas).

La evaluación abarca seis tareas del benchmark TweetEval:

1. Discurso de odio (Hate Speech)
2. Lenguaje ofensivo (Offensive Language)
3. Detección de postura (Stance Detection - Aborto)
4. Sentimiento (Sentiment)
5. Emoción (Emotion)
6. Ironía (Irony)

El estudio pone a prueba cuatro condiciones de prompting para simular intervenciones que los profesionales podrían utilizar sin reentrenar:

1. Neutral: Solo la instrucción de la tarea.
2. Encuadre de seguridad (Safety Framing): Instrucciones explícitas sobre seguridad, equidad y evitación de daños.
3. Despersonalizado (Depersonalized): Encuadrar al modelo como una función de etiquetado determinista en lugar de un asistente servicial.
4. Cadena de pensamiento (Chain-of-Thought - CoT): Permitir el razonamiento intermedio antes de la etiqueta final.

Este diseño genera 72 celdas experimentales (3 modelos × 6 tareas × 4 prompts). Los autores analizan el rendimiento utilizando cuatro métricas complementarias:

• Macro-F1: Rendimiento general de la tarea.
• Tasa de Falsos Benignos (FBR - False Benign Rate): La tasa en la que ejemplos verdaderamente dañinos son asignados a una etiqueta benigna.
• Tasa de Falsas Alarmas (FAR - False Alarm Rate): La tasa en la que ejemplos benignos son incorrectamente etiquetados como dañinos.
• Distorsión descendente (Downstream Distortion): El error absoluto entre la prevalencia de la clase predicha y la real (enfocándose en "EN CONTRA" para la postura sobre el aborto y "DISCURSO DE ODIO" para el discurso de odio).

Contribuciones clave

1. Auditoría multi-tarea: Una evaluación sistemática del comportamiento de anotación sensible al alineamiento a través de discurso de odio, lenguaje ofensivo, postura, sentimiento, emoción e ironía.
2. Evidencia de insuficiencia agregada: Demostración de que las métricas agregadas (como Macro-F1 o la prevalencia total) son insuficientes para el despliegue en CSS. El artículo expone casos donde la precisión de la prevalencia parece correcta solo porque los errores condicionales de clases opuestas (por ejemplo, omitir contenido dañino mientras se sobre-etiqueta contenido benigno) se cancelan accidentalmente a nivel de corpus.
3. Taxonomía de fallos: La identificación de tres patrones de fallo recurrentes con firmas diagnósticas específicas:
   • Sesgo de lenidad (Leniency Bias): FBR alto y FAR bajo (subconteo de contenido dañino).
   • Sobrecorrección (Overcorrection): FBR bajo y FAR alto (sobreconteo de contenido dañino).
   • Sesgo de neutralidad (Neutrality Bias): Supresión de la prevalencia de clases de postura fuerte en favor de etiquetas neutrales infladas.

Resultos clave

• Direcciones de fallo divergentes: Los modelos no fallan de manera uniforme. Zephyr exhibe un fuerte sesgo de lenidad, particularmente en lenguaje ofensivo (FBR = 0.729, FAR = 0.031), aplicando sistemáticamente menos etiquetas de daño. Por el contrario, Mistral y Qwen exhiben sobrecorrección en discurso de odio, con Mistral etiquetando el 60.4% de los tweets no odiosos como discurso de odio (FAR = 0.604).
• Sesgo de neutralidad en postura política: En la tarea de postura sobre el aborto, todos los tres modelos subestimaron sistemáticamente la prevalencia de la posición "EN CONTRA" (tasa real: 67.5%) e inflaron la etiqueta "NINGUNO/Neutral". Bajo un prompting neutral, Zephyr estimó la oposición en solo 27.9%, mientras que Mistral y Qwen estimaron 43.9%. Este sesgo persistió en todas las condiciones de prompting.
• Ineficacia de las intervenciones de prompting: Ninguna intervención de prompting (Seguridad, Despersonalización, CoT) corrigió consistentemente estos fallos en todos los modelos y tareas. En algunos casos, las intervenciones empeoraron la distorsión (por ejemplo, el encuadre de Seguridad redujo aún más la tasa estimada de "EN CONTRA" para Mistral).
• Cancelación accidental: Un hallazgo crítico involucra los resultados de discurso de odio de Zephyr. Bajo un prompting neutral, la prevalencia estimada por Zephyr (43.0%) coincidió exactamente con la tasa real. Sin embargo, esto fue una "cancelación accidental" de un FBR alto (0.316) y un FAR alto (0.239). Un investigador que dependiera únicamente de la precisión de la prevalencia concluiría erróneamente que el modelo es confiable, a pesar de que este etiqueta incorrectamente una parte significativa de las instancias individuales.
• Impacto sustantivo: Las distorsiones observadas (que oscilan entre 14 y 40 puntos porcentuales) son lo suficientemente grandes como para cambiar las conclusiones empíricas sustantivas, como cambiar la caracterización de un conjunto de datos de "fuertemente opositor" a "dividido equitativamente" o hacer que un corpus parezca casi el doble de tóxico de lo que realmente es.

Significancia y Reivindicaciones
El artículo sostiene que, para una IA confiable en la ciencia social computacional, la métrica de "titular" de la precisión promedio es engañosa. El riesgo principal no es simplemente una menor precisión, sino una distorsión de la medición sistemática que altera la historia empírica que un investigador reporta.

Los autores afirman que:

1. El alineamiento moldea los perfiles de error: Las elecciones de post-entrenamiento conducen a sesgos específicos y direccionales (lenidad vs. sobrecorrección) que difieren entre modelos, lo que significa que un investigador que cambie de modelo a mitad de un proyecto podría inadvertidamente revertir su conclusión empírica sin cambiar su análisis.
2. El prompting es parte del instrumento: La elección del prompt actúa como un grado de libertad oculto que puede alterar significativamente las estimaciones de prevalencia (por ejemplo, una brecha de 16.8 puntos para Mistral en la postura sobre el aborto dependiendo del prompt).
3. Protocolo de validación: Los investigadores deben ir más allá del Macro-F1. Antes de escalar un flujo de trabajo de anotación, los profesionales deben validar los errores condicionales de clase (FBR/FAR) y la distorsión de prevalencia descendente contra una pequeña muestra de oro (gold sample).
4. Estándares de reporte: Reportar el modelo y el prompt como parte del instrumento de medición es un requisito básico, no una divulgación opcional, porque los sesgos direccionales del anotador son heredados por cualquier afirmación relativa al discurso cívico o la opinión pública derivada de los datos.

El artículo concluye que un modelo que parece calibrado en métricas agregadas aún puede fallar fundamentalmente en la validez de la medición requerida para las ciencias sociales, lo que exige un cambio hacia la evaluación de los anotadores frente a objetivos inferenciales descendentes en lugar de tablas de clasificación genéricas.