Regional Bias in Large Language Models

Resumen Técnico: Sesgo Regional en Modelos de Lenguaje de Gran Escala

Declaración del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) han transformado el procesamiento de información, exhiben sesgos persistentes que reflejan y amplifican los prejuicios sociales. Aunque los sesgos de género y raza están bien documentados, el sesgo regional (geográfico) —donde los modelos exhiben preferencias sistemáticas o errores basados en la ubicación del usuario o el contexto geográfico de una consulta— sigue siendo significativamente poco estudiado. Esta forma de sesgo puede conducir a un trato injusto, la exclusión sistemática de regiones específicas (particularmente comunidades del mundo no occidental y del Sur Global), y disparidades en el acceso a servicios críticos en dominios como la educación, la salud y el comercio. La investigación existente carece de marcos integrales para medir y cuantificar sistemáticamente este sesgo a través de múltiples modelos de lenguaje de última generación.

Metodología
El estudio introduce FAZE (Framework for Analysing Zonal Evaluation), un marco de evaluación basado en prompts diseñado para cuantificar el sesgo regional conductual. La metodología involucra los siguientes componentes:

• Construcción del Conjunto de Datos: Se creó un conjunto curado de 100 prompts contextualmente neutrales. Estos prompts presentan escenarios de decisión de elección forzada (por ejemplo, contratación, control de seguridad, recomendaciones de viaje) que involucran a dos regiones. Crucialmente, los escenarios están diseñados para ser simétricos, sin ofrecer factores culturales, legales o contextuales legítimos que pudieran justificar racionalmente la preferencia de una región sobre otra.
• Selección de Modelos: Se evaluaron diez LLM prominentes, abarcando diversas arquitecturas y enfoques de entrenamiento: GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B y Vicuna-13B.
• Protocolo de Evaluación: Cada modelo fue probado contra los 100 prompts mediante interfaces de chat directo (o LMSYS cuando el acceso directo no estaba disponible) entre julio y septiembre de 2024. La evaluación capturó el comportamiento por defecto, de ejecución única, sin modificar los prompts del sistema ni los parámetros de generación.
• Clasificación y Puntuación: Las respuestas se categorizaron en dos grupos:
  • Desconocido (Unknown): El modelo se negó a elegir, reconoció información insuficiente o afirmó que las opciones eran igualmente válidas.
  • No Desconocido (Non-Unknown): El modelo se comprometió con una región específica o expresó una preferencia a pesar de la neutralidad del prompt.
  • La Puntuación FAZE se calcula en una escala de 10 puntos utilizando la fórmula: $FAZE = \frac{N_{total} - N_{unknown}}{N_{total}} \times 10$. Puntuaciones más altas indican una mayor tendencia a realizar juicios específicos de región sin justificación.

Contribuciones Clave

1. Marco FAZ E: El artículo presenta FAZE, un marco de detección conductual ligero que captura las tendencias de compromiso regional ante el usuario bajo condiciones neutrales controladas. Proporciona una base reproducible, interpretable y agnóstica al modelo para el análisis comparativo.
2. Evaluación Empírica Sistemática: El estudio proporciona la primera comparación sistemática del sesgo regional a través de diez diversos LLM de última generación, yendo más allá de las discusiones teóricas hacia la medición empírica.
3. Identificación de la Varianza: La investigación demuestra que el sesgo regional no es uniforme entre los modelos, sino que varía significamente según la arquitectura del modelo, las distribuciones de los datos de entrenamiento y las estrategias de alineación.

Resultos
La evaluación de 1,000 respuestas reveló una variación sustancial en los niveles de sesgo:

• Sesgo Alto: GPT-3.5 exhibió el sesgo más alto con una puntuación de 9.5, seleccionando regiones específicas en 95 de 100 prompts. Llama 3 le siguió con una puntuación de 7.8.
• Sesgo Medio: Modelos como Gemma 7B (6.9), Vicuna-13B (6.0) y GPT-4o (5.8) mostraron tendencias moderadas, ocasionalmente declinando elegir pero proporcionando frecuentemente respuestas específicas de región.
• Sesgo Bajo: Claude 3.5 Sonnet logró la puntuación más baja de 2.5, seguido de Mistral 7B (2.6) y Gemini 1.5 Flash (3.1). Estos modelos predominantemente se abstuvieron de realizar selecciones específicas de región, reconociendo a menudo la equivalencia de las opciones o la falta de información suficiente.
• Disparidad: Existe una diferencia de casi 3.8 veces entre el modelo más sesgado (GPT-3.5) y el menos sesgado (Claude 3.5 Sonnet).

Significancia y Reivindicaciones
El artículo sostiene que el sesgo regional puede socavar significativamente la confiabilidad, la equidad y la inclusividad de los resultados de los LLM en aplicaciones del mundo real y transculturales. Los hallazgos sugieren que:

• El sesgo geográfico no es una propiedad inherente de la escala del modelo, sino que está fuertemente moldeado por las distribuciones de los datos de entrenamiento, los objetivos de alineación y las estrategias de post-entrenamiento.
• Los modelos de frontera recientes (por ejemplo, Claude 3.5 Sonnet) muestran progresos en la reducción del favoritismo regional injustificado, probablemente debido a las estrategias de alineación y la cuidadosa curación de datos.
• Sin embargo, el persistente sesgo de medio a alto en sistemas ampliamente utilizados (como GPT-3.5) resalta que la equidad geográfica sigue siendo un desafío activo.

Los autores posicionan este trabajo como un paso hacia el desarrollo de modelos de lenguaje que respeten diversas perspectivas geográficas. Enfatizan que FAZE sirve como una métrica de detección a nivel de cribado para resaltar tendencias sistemáticas, señalando que el trabajo futuro debería expandir la diversidad de los prompts, incorporar escenarios multilingües y evaluar intervenciones de mitigación de sesgos dirigidas. El estudio reconoce explícitamente sus limitaciones, incluyendo el conjunto fijo de prompts, la evaluación de ejecución única y la naturaleza binaria de la clasificación, enmarcando los resultados como una instantánea del comportamiento del modelo durante el periodo de evaluación (julio–septiembre de 2024).