Side-by-side Comparison Amplifies Dialect Bias in Language Models

Resumen Técnico: La Comparación Lado a Lado Amplifica el Sesgo Dialectal en los Modelos de Lenguaje

Enunciado del Problema
Los Modelos de Lenguaje (LM) exhiben sesgos sistemáticos contra los hablantes basados en variaciones dialectales, un fenómeno conocido como sesgo dialectal encubierto. Esto ocurre incluso cuando faltan etiquetas dialectales explícitas, ya que los modelos asocian estereotipos negativos con el Inglés Vernáculo Afroamericano (AAVE) en relación con el Inglés Americano Estándar (SAE). Aunque investigaciones anteriores han establecido la existencia de este sesgo de forma aislada, sigue sin estar claro cómo se manifiesta el sesgo en contextos de toma de decisiones de alto riesgo donde se requiere que los modelos clasifiquen o comparen candidatos lado a lado. Además, se desconoce si especificar explícitamente las etiquetas dialectales (sesgo manifiesto) mitiga o exacerba estas disparidades en comparación con la inferencia implícita (sesgo encubierto). Los marcos de evaluación existentes a menudo dependen de la indicación absoluta (evaluar tuits de forma aislada), lo que puede subestimar la gravedad del sesgo en entornos comparativos.

Metodología
Los autores emplean una técnica de sondeo de "guise emparejado" utilizando un conjunto de datos de 2.019 pares de tuits con intención equivalente (uno SAE, uno AAVE) derivados de Groenwold et al. [20]. El estudio evalúa tres modelos: LLaMA-3.1-8B, DeepSeek-V3 y GPT-4.0-mini.

La evaluación se lleva a cabo en cuatro condiciones distintas:

1. Indicación Absoluta: Los tuits SAE y AAVE se califican de forma independiente.
2. Indicación Contrastiva: Los tuits SAE y AAVE se presentan lado a lado para una comparación directa.
3. Entorno Encubierto: No se proporcionan etiquetas dialectales explícitas; el modelo infiere el dialecto a partir de características lingüísticas.
4. Entorno Manifiesto: Se incluyen etiquetas dialectales explícitas (por ejemplo, "Este tuit está escrito en AAVE") en la indicación.

Se solicita a los modelos que califiquen cada tuit en una escala Likert de 1 a 5 a través de 12 rasgos estereotipados agrupados en seis pares de valencia (por ejemplo, Inteligencia/Estupidez, Cortesía/Descortesía), basándose en las Trilogías de Princeton [18, 25, 26].

Para cuantificar el sesgo, el estudio utiliza:

• d de Cohen: Para medir el tamaño del efecto de las disparidades de puntuación entre SAE y AAVE.
• Brecha de Equidad Contrafactual (CF Gap): Para medir el error absoluto medio normalizado entre las puntuaciones asignadas a pares con intención equivalente.
• Valor $Q$: Una métrica de razón de verosimilitud logarítmica para evaluar la confianza del modelo al asignar puntuaciones específicas a diferentes dialectos.

Para la mitigación, los autores aplican ajuste fino de equidad contrafactual a LLaMA-3.1-8B. Esto implica entrenar al modelo para asignar puntuaciones de rasgos idénticas a los pares de tuits SAE y AAVE, utilizando las puntuaciones SAE propias del modelo en el entorno absoluto como verdad fundamental. También se prueba un enfoque de desviación basado en indicaciones como línea base.

Resultados Clave

1. Amplificación en Entornos Contrastivos: El hallazgo más significativo es que la comparación lado a lado amplifica significativamente el sesgo dialectal encubierto. En todos los modelos, los tamaños del efecto (d de Cohen) y las brechas CF son sustancialmente mayores en el entorno contrastivo que en el entorno absoluto. Por ejemplo, DeepSeek-V3 mostró un aumento del 51,78 % en los valores de d de Cohen al pasar de la indicación absoluta a la contrastiva. Esto sugiere que los contextos comparativos, comunes en la contratación o la moderación de contenidos, exacerban los sesgos existentes más allá de lo observado de forma aislada.
2. Exacerbación del Sesgo Manifiesto: Contrariamente a la suposición de que el etiquetado explícito podría reducir el sesgo al hacer que el modelo sea consciente del contexto, especificar explícitamente las etiquetas dialectales (entorno manifiesto) a menudo amplifica aún más el sesgo, particularmente en escenarios contrastivos. En el entorno contrastivo manifiesto, las disparidades para rasgos como la Articulación y la Sofisticación alcanzaron tamaños de efecto grandes.
3. Sensibilidad del Modelo: LLaMA-3.1-8B demostró la mayor sensibilidad a la variación dialectal, mostrando las brechas CF más grandes y la autoconsistencia más inconsistente (estabilidad de las puntuaciones en indicaciones repetidas) para las entradas AAVE en comparación con SAE.
4. Limitaciones de la Mitigación: El ajuste fino de equidad contrafactual redujo con éxito el sesgo para un subconjunto de rasgos (por ejemplo, Falta de Sofisticación, Estupidez, Incoherencia) en el entorno absoluto. Sin embargo, estas mejoras no se mantuvieron consistentemente en el entorno contrastivo. En algunos casos, el ajuste fino aumentó las disparidades para otros rasgos (por ejemplo, Inteligencia, Cortesía) cuando se obligó a los modelos a comparar dialectos directamente. La desviación basada en indicaciones mostró resultados mixtos y fue menos fiable debido a la sensibilidad a la formulación de la indicación.

Significado y Contribuciones
El artículo hace cuatro contribuciones principales:

1. Amplificación Contrastiva: Demuestra que el sesgo dialectal encubierto no es estático, sino que se amplifica dinámicamente cuando los modelos realizan juicios comparativos, una idea fundamental para aplicaciones del mundo real que implican clasificación o selección.
2. Comparación Manifiesta vs. Encubierta: Proporciona una comparación directa que muestra que las señales dialectales manifiestas no mitigan el sesgo, sino que a menudo lo intensifican, desafiando la eficacia de las estrategias actuales de alineación de seguridad para manejar señales explícitas de identidad.
3. Marco de Evaluación: Destaca que los entornos de evaluación estándar (indicación absoluta) pueden subestimar significativamente la gravedad del sesgo dialectal, haciendo necesaria la inclusión de pruebas contrastivas en las auditorías de equidad.
4. Desafíos de Mitigación: Revela que, aunque el ajuste fino de equidad contrafactual puede reducir el sesgo agregado, es insuficiente para garantizar una equidad consistente en todos los rasgos y contextos de evaluación, particularmente en escenarios comparativos de alto riesgo.

Los autores concluyen que el sesgo dialectal sigue siendo un problema sin resolver en los LM, con estrategias de mitigación existentes que no logran abordar los efectos de amplificación inherentes a la toma de decisiones contrastiva. Abogan por marcos de evaluación más robustos que tengan en cuenta estas dinámicas comparativas para evitar el refuerzo de desigualdades estructurales en sistemas automatizados.