💻 computer science

Investigating Bias in Bulgarian in the Context of Large Language Models

Este artículo presenta un conjunto de datos búlgaros anotados manualmente para evaluar la detección de sesgos, revelando una alta concordancia entre los anotadores humanos pero una divergencia significativa entre los humanos y los modelos de lenguaje de gran tamaño, al tiempo que demuestra que el uso de instrucciones en lengua búlgara mejora la alineación de los modelos con los juicios humanos.

Autores originales: Ivelina Stoyanova

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ivelina Stoyanova

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot superinteligente cómo entender las historias humanas. Le das millones de libros, artículos y sitios web para leer, con la esperanza de que aprenda no solo gramática, sino también a ser justo, amable y neutral. Este es el mundo de los Modelos de Lenguaje Extensos (LLM), los cerebros de IA detrás de los chatbots y los motores de búsqueda. Pero aquí está el truco: los robots aprenden imitando lo que ven. Si los libros que leen contienen estereotipos anticuados u opiniones injustas sobre ciertos grupos de personas, el robot podría aprender accidentalmente esos sesgos también. Es como un estudiante que solo lee libros de historia escritos por un bando de una guerra; podrían pensar que ese bando siempre tiene la razón. Los científicos están preocupados porque, si estos robots empiezan a tomar decisiones sobre empleos, préstamos o noticias, podrían tratar a las personas de manera injusta accidentalmente. La gran pregunta es: ¿Podemos enseñar a estos robots a detectar la injusticia en el texto, y ven ellos lo mismo que los humanos?

Este artículo profundiza en esa pregunta, pero con un giro: analiza el idioma búlgaro. La mayor parte de la investigación en IA se centra en el inglés, lo que es como estudiar solo un sabor de helado y asumir que entiendes todo el congelador. Los investigadores querían ver si las mismas reglas se aplían a un idioma con menos recursos digitales y una cultura muy diferente. Construyeron un "kit de prueba" especial utilizando 3,177 oraciones de la Wikipedia búlgara. Dos expertos humanos leyeron estas oraciones y las calificaron en una escala de 0 a 5 para ver qué tan sesgadas estaban, buscando injusticias relacionadas con el género, la religión, la raza, la apariencia y la discapacidad. Luego, pidieron a tres modelos de IA diferentes (Gemma 4, BgGPT-Gemma-3 y Qwen 3) que calificaran exactamente las mismas oraciones.

Los resultados fueron un poco impactantes, como preguntarle a un humano y a un robot que juzguen un truco de magia y obtener respuestas completamente diferentes. Los dos humanos estuvieron de acuerdo entre sí casi todo el tiempo (solo el 4.9% de las veces discreparon sobre si una oración era sesgada). Sin embargo, cuando los modelos de IA intentaron hacer el mismo trabajo, fueron mucho menos fiables. Los robots discreparon con los humanos entre el 24% y el 34% de las veces. Peor aún, cuando los humanos decían que una oración era sesgada, los robots a menudo no lo veían, y cuando los robots sí señalaban algo como sesgado, los humanos a menudo pensaban que estaba bien.

El artículo sugiere que los robots no solo están "equivocados"; están jugando con un libro de reglas diferente. Los humanos fueron muy estrictos sobre qué tan mala era la inclinación (dando puntuaciones altas para un sesgo fuerte), pero los robots fueron mucho más cautelosos, dando puntuaciones muy bajas incluso cuando los humanos veían una fuerte injusticia. Es como si los humanos estuvieran gritando: "¡Eso es terrible!", mientras que los robots estuvieran susurrando: "¿Tal vez un poco grosero?".

Hubo un descubrimiento interesante, sin embargo. Uno de los modelos de IA, BgGPT-Gemma-3, fue construido específicamente para Bulgaria. Cuando los investigadores le hicieron preguntas en inglés, hizo un mal trabajo. Pero cuando cambiaron las instrucciones al búlgaro, el robot de repente empezó a ver el sesgo de forma más parecida a como lo hace un humano. Es como si hablar el idioma nativo del robot hubiera despertado una parte diferente de su cerebro, ayudándole a comprender mejor el contexto cultural.

El estudio concluye que aún no podemos confiar en que los robots arreglen el sesgo en idiomas de bajos recursos como el búlgaro. Actualmente son demasiado diferentes al juicio humano. El autor sugiere que, en lugar de depender de una sola IA para hacer la calificación, podríamos necesitar usar un equipo de diferentes IA y luego hacer que los humanos revisen su trabajo. También enfatizan que necesitamos construir mejores diccionarios y herramientas específicamente para la cultura búlgara, porque los robots actualmente están perdiendo las pistas culturales sutiles que los humanos captan instantáneamente. Hasta entonces, los robots todavía están aprendiendo a ser verdaderamente justos.

Resumen Técnico: Investigación del Sesgo en el Búlgaro en el Contexto de los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) frecuentemente reflejan y amplifican los sesgos sociales presentes en sus datos de entrenamiento. Si bien existe una investigación significativa para lenguas de altos recursos como el inglés, hay una brecha crítica en las metodologías de detección de sesgos, los conjuntos de datos y los recursos léxicos para lenguas de bajos recursos, específicamente el búlgaro. El artículo aborda la falta de una definición unificada de sesgo aplicable tanto a humanos como a LLM, la escasez de léxicos de sesgo específicos para el búlgaro y la incertidumbre sobre si los LLM pueden alinearse de manera confiable con los juicios humanos sobre la percepción del sesgo en contextos culturalmente específicos. El estudio plantea tres preguntas fundamentales: ¿Puede una definición operativa de sesgo asegurar la consistencia tanto para humanos como para LLM? ¿Coinciden los anotadores humanos en la percepción del sesgo? ¿Se alinean los LLM con los juendicios humanos y, si no es así, cómo y por qué divergen?

Metodología
El estudio emplea un enfoque de múltiples etapas que combina la construcción de recursos léxicos, la creación de conjuntos de datos, la anotación manual y la evaluación de LLM.

Construcción de Recursos Léxicos: Se compiló y expandió manualmente un "Diccionario de Sesgo Búlgaro" utilizando el WordNet búlgaro y el SentiWordNet. Contiene 3,786 entradas categorizadas en cinco tipos de sesgo (Género, Religión, Raza/Etnia, Apariencia Física, Discapacidad) más una categoría general. Las entradas incluyen palabras de señal de sesgo y palabras que marcan el sesgo, anotadas con atributos como categoría gramatical, polaridad del sesgo, registro (p. ej., despectivo, coloquial) y fuerza evaluativa.
Creación del Conjunto de Datos: Se extrajo un conjunto de datos de 3,177 oraciones de la Wikipedia búlgara (artículos y páginas de discusión) con fecha de diciembre de 2025. Las oraciones fueron preprocesadas (tokenizadas, lematizadas) e inicialmente puntuadas mediante un algoritmo basado en léxicos. Este algoritmo calcula una puntuación a nivel de oración basada en la fuerza evaluativa, la polaridad y la proximidad de las palabras de señal de sesgo y las palabras que marcan el sesgo dentro de una ventana de 10 tokens.
Anotación Manual: Dos hablantes nativos de búlgaro anotaron manualmente las oraciones para la presencia e intensidad del sesgo en una escala ordinal de 0 (sin sesgo) a 5 (sesgo fuerte) para cada uno de los cinco tipos de sesgo y una categoría "Otro". La Concordancia entre Anotadores (IAA) se midió utilizando $\kappa$ de Cohen ponderado, $\alpha$ de Krippendorff y el Coeficiente de Correlación Intraclase (ICC).
Evaluación de LLM: Se evaluaron tres LLM frente a las anotaciones humanas:
- Gemma 4: Un modelo multilingüe ajustado para instrucciones con búlgaro en su corpus de preentrenamiento.
- BgGPT-Gemma-3: Un modelo adaptado al búlgaro (12 mil millones de parámetros) basado en Gemma 3, probado con prompts tanto en inglés como en búlgaro.
- Qwen 3: Un modelo multilingüe (8 mil millones de parámetros) con cobertura de lenguas eslavas pero sin ajuste fino explícito para el búlgaro.
  Los modelos recibieron la tarea de detectar el sesgo y asignar puntuaciones de intensidad. La concordancia entre humanos y LLM se evaluó utilizando las mismas métricas que la concordancia humano-humano.

Contribuciones Clave

Conjunto de Datos Anotado para el Sesgo en Búlgaro: La creación de un conjunto de datos anotado manualmente de 3,177 oraciones que cubren cinco tipos de sesgo específicos, sirviendo como un punto de referencia para la detección de sesgo en lenguas de bajos recursos.
Diccionario de Sesgo Búlgaro: Un recurso léxico estructurado de 3,786 entradas diseñado para identificar señales de sesgo y marcadores evaluativos específicos del búlgaro.
Definición Operativa de Sesgo: Una definición de trabajo de sesgo a nivel de oración que da cuenta de actitudes sistemáticamente no neutrales, aplicable tanto a la evaluación humana como a la de las máquinas.
Análisis Empírico de la Alineación Humano-LLM: Una evaluación exhaustiva de qué tan bien se alinean los LLM actuales con los juicios humanos en un entorno de bajos recursos y culturalmente específico, revelando divergencias significativas tanto en la detección como en la puntuación de intensidad.

Resultados

Acuerdo Humano-Humano: Los anotadores mostraron una alta concordancia en la clasificación binaria de sesgo (sesgado vs. no sesgado), con una tasa de discrepancia de solo 4.9% y un $\kappa$ ponderado de 0.863. Sin embargo, la concordancia en la puntuación de intensidad (escala 0–5) fue menor, particularmente en los casos distintos de cero, donde el $\alpha$ de Krippendorff promedió -0.160, lo que indica un desacuerdo mayor al azar en puntuaciones de intensidad específicas.
Alineación Humano-LLM: Todos los LLM mostraron una divergencia sustancial respecto a los juicios humanos.
- Tasas de Discrepancia: Los LLM exhibieron tasas de discrepancia del 24% al 34% en la tarea binaria, comparado con el 4.9% de los humanos.
- Métricas de Concordancia: Los valores de $\kappa$ ponderado entre humanos y LLM oscilaron entre 0.108 (Qwen 3) y 0.255 (Gemma 4), situándose en el rango de ligera a moderada.
- Puntuación de Intensidad: Los LLM asignaron sistemáticamente puntuaciones de intensidad más bajas que los humanos. Las métricas de concordancia para casos distintos de cero ( $\alpha_{nz}$ ) fueron uniformemente negativas en todos los modelos, lo que indica que, cuando los LLM detectaban sesgo, a menudo detectaban oraciones diferentes o asignaban niveles de severidad distintos a los de los humanos.
Hallazgos Específicos del Modelo:
- Idioma del Prompt: El uso de prompts en búlgaro para BgGPT-Gemma-3 mejoró la alineación con los juicios humanos (aumentando la superposición de sesgo del 12.8% al 21.6% y reduciendo las tasas de discrepancia) en comparación con los prompts en inglés.
- Variabilidad del Tipo de Sesgo: Los LLM funcionaron relativamente mejor en las categorías de "Apariencia" y "Discapacidad" (probablemente debido a marcadores léxicos explícitos), pero funcionaron mal en "Género" y "Religión", que dependen de matices culturales y contextuales sutiles.
- Agrupamiento de Modelos: Los modelos de la familia Gemma (Gemma 4 y variantes de BgGPT) se agruparon, sugiriendo sesgos compartidos de su linaje de preentrenamiento, mientras que Qwen 3 formó un grupo distinto con la menor concordancia.

Significancia y Reivindicaciones
El artículo sostiene que los LLM actuales son poco fiables como sustitutos independientes de los anotadores humanos en la detección de sesgos, particularmente para lenguas de bajos recursos y contextos culturalmente específicos. Los hallazgos subrayan que:

La Percepción del Sesgo está Situada Culturalmente: Los LLM tienen dificultades con los sesgos que requieren competencia pragmática y cultural (p. ej., roles de género, prácticas religiosas), mientras que funcionan mejor en sesgos léxicamente explícitos.
El Idioma del Prompt Importa: El uso de prompts en la lengua objetivo mejora significativamente la alineación de los LLM con las expectativas culturales humanas, lo que sugiere que el idioma del prompt es una variable experimental crítica, no solo un detalle de implementación.
Necesidad de Recursos Anclados: El estudio destaca la necesidad de recursos léxicos y metodologías de anotación culturalmente anclados para las lenguas de bajos recursos, ya que el aprendizaje por transferencia de modelos multilingües es insuficiente para capturar patrones de sesgo específicos.
Cautela Metodológica: Una alta concordancia entre LLM no debe interpretarse como un indicador de la calidad de la anotación, ya que los modelos pueden compartir sesgos sistemáticos de sus datos de entrenamiento en lugar de converger en los juicios sociales humanos.

El autor concluye que, si bien los LLM pueden replicar parcialmente la detección binaria de sesgo, divergen significamente en la puntuación de intensidad y la sensibilidad de las categorías. El trabajo futuro debería centrarse en el ajuste fino con corpus de sesgo en la lengua objetivo, la integración del contexto cultural en los prompts y la expansión de los conjuntos de datos a diversos dominios para mejorar la equidad y el rendimiento en entornos de bajos recursos.

Resumen Técnico: Investigación del Sesgo en el Búlgaro en el Contexto de los Modelos de Lenguaje de Gran Escala

Más como este