💬 NLP

How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

Este artículo demuestra empíricamente que los modelos de análisis de sentimientos para la lengua bengalí de recursos limitados presentan sesgos persistentes basados en género, religión y nacionalidad, independientemente de si se construyen sobre arquitecturas multilingües o monolingües, destacando cómo la combinación de conjuntos de datos diversos y modelos preentrenados puede introducir inconsistencias que exacerban la injusticia epistémica en los sistemas sociotécnicos.

Autores originales: Dipto Das, Shion Guha, Bryan Semaan

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dipto Das, Shion Guha, Bryan Semaan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender los sentimientos humanos (como la felicidad, la tristeza o la ira) mostrándole miles de frases escritas en bengalí. Quieres que el robot sea justo con todos, sin importar si son hombres o mujeres, hindúes o musulmanes, o si provienen de Bangladés o de la India.

Este artículo es como un "boletín de calificaciones" para 38 versiones diferentes de ese robot. Los investigadores se preguntaron: ¿De dónde proviene la injusticia del robot? ¿Proviene de los libros que leyó (los conjuntos de datos), del maestro que lo enseñó (los desarrolladores) o del cerebro con el que fue construido (el modelo preentrenado)?

Aquí está el desglose de sus hallazgos utilizando analogías simples:

1. La Configuración: El Robot, La Biblioteca y Los Maestros

Los Robots (Modelos): Los investigadores comenzaron con dos "cerebros base". Uno era un generalista (mBERT) que conoce 104 idiomas pero no es experto en ninguno de ellos. El otro era un especialista (BanglaBERT) que solo conoce el bengalí y fue entrenado específicamente con libros en bengalí.
Las Bibliotecas (Conjuntos de datos): Encontraron 19 colecciones diferentes de frases en bengalí (conjuntos de datos) de internet. Piensa en estas como bibliotecas diferentes. Algunas bibliotecas estaban llenas de noticias, otras con publicaciones de redes sociales y algunas con novelas.
Los Maestros (Desarrolladores): Estas bibliotecas fueron organizadas por diferentes personas. Los investigadores intentaron descubrir quiénes eran estos maestros (su género, religión y nacionalidad) para ver si los sesgos personales de los maestros se estaban transmitiendo a los robots.

2. El Experimento: La "Prueba de Sabor"

Los investigadores les dieron a los robots una "prueba de sabor" especial. Les alimentaron pares de frases que significaban exactamente lo mismo pero usaban palabras diferentes para señalar la identidad.

Ejemplo: Una frase usaba una palabra para "agua" común en la India, y la otra usaba una palabra para "agua" común en Bangladés.
El Objetivo: Si el robot es justo, debería dar a ambas frases la misma "puntuación de sentimiento". Si le da a una una puntuación alta (positiva) y a la otra una puntuación baja (negativa), está sesgado.

3. Los Resultados: ¿Qué Encontraron?

A. Los Robots Están Sesgados (El Efecto "Cámara de Eco")
El estudio encontró que la mayoría de los robots eran injustos.

Género: El 61% de los robots prefirió frases sobre hombres en lugar de mujeres. Solo el 24% prefirió mujeres sobre hombres.
Religión: El 61% de los robots favoreció identidades musulmanas, mientras que el 24% favoreció identidades hindúes.
Nacionalidad: El 50% de los robots prefirió identidades bangladesíes, mientras que el 26% prefirió identidades indias.

B. Los Maestros No Importaron (El "Fantasma en la Máquina")
Podrías pensar: "Si el maestro es hombre, el robot será sexista". Los investigadores verificaron esto, pero no encontraron un vínculo claro.

Aunque la mayoría de los creadores de conjuntos de datos eran hombres, musulmanes y de Bangladés, los robots no simplemente copiaron sus sesgos específicos.
La Conclusión: El sesgo no provenía de la persona específica que escribió los datos. Provenía de la interacción entre los datos y el cerebro del robot.

C. El Cerebro Importa Más Que la Biblioteca (El "Especialista vs. Generalista")
Este fue el hallazgo más sorprendente.

El Robot Especialista (BanglaBERT) fue generalmente más justo y menos sesgado que el Robot Generalista (mBERT).
La Analogía: Imagina que un robot generalista es como un turista que intenta entender una cultura leyendo unos pocos folletos de viaje en muchos idiomas. Obtiene lo básico pero se pierde los matices. El robot especialista es como un local que creció hablando el idioma; entiende mejor las sutiles diferencias culturales.
Sin embargo, ninguna biblioteca era perfecta. Incluso los mejores conjuntos de datos tenían sesgos en algunas áreas. Si un conjunto de datos era justo con respecto al género, podría ser injusto con respecto a la religión.

4. El Panorama General: Es Una Reacción en Cadena

El artículo argumenta que el sesgo no es solo un "error" en un fragmento de código. Es una reacción en cadena.

Piensa en ello como una carrera de relevos.
El primer corredor (el modelo preentrenado) comienza con algunos sesgos inherentes.
El segundo corredor (el conjunto de datos) añade su propio sabor.
Cuando se pasan el testigo (ajuste fino), el resultado final es una mezcla de ambos.
A veces, un conjunto de datos "bueno" puede arreglar un modelo "malo". A veces, un conjunto de datos "malo" puede arruinar un modelo "bueno".

5. Por Qué Esto Importa (La "Injusticia Epistémica")

Los autores utilizan un término sofisticado llamado Injusticia Epistémica. En términos simples, esto significa que el robot está desacreditando injustamente las voces de ciertas personas.

Si un robot piensa que una frase escrita por una persona de Bangladés es "negativa" solo porque usó una palabra local específica para "agua", el robot está diciendo: "Tu forma de hablar está mal o es mala".
Esto es injusto porque trata el lenguaje de un grupo como el "estándar" y a los demás como "incorrectos", reforzando antiguas divisiones sociales.

Resumen

El artículo concluye que para corregir el sesgo en idiomas de recursos limitados como el bengalí, no podemos simplemente culpar a las personas que crearon los datos. Tenemos que mirar todo el sistema:

No uses solo modelos de talla única: Los modelos especializados (como BanglaBERT) parecen manejar mejor la cultura local que los generales.
Ningún conjunto de datos es perfecto: Cada biblioteca tiene algún sesgo, por lo que debemos tener cuidado con cuál elegimos.
La combinación es clave: El sesgo proviene de cómo se mezclan el modelo y los datos, no solo de uno u otro.

Los investigadores piden más "auditorías" (controles y equilibrios) para asegurarse de que estas herramientas digitales no lastimen accidentalmente a las comunidades a las que supuestamente deben servir.

Resumen Técnico: Cómo los Conjuntos de Datos, los Desarrolladores y los Modelos Afectan los Sesgos en un Idioma de Recursos Limitados

Declaración del Problema
Los sistemas sociotécnicos, particularmente en el Procesamiento del Lenguaje Natural (PLN), exhiben frecuentemente sesgos basados en la identidad que marginan a grupos sociales específicos. Aunque las auditorías algorítmicas se han convertido en un método estándar para detectar estos sesgos, la investigación existente se centra predominantemente en contextos occidentales e idiomas de alto recurso. Esto deja a los idiomas de recursos limitados, como el bengalí (hablado por más de 260 millones de personas), poco estudiados. Las comunidades bengalíes enfrentan fuerzas históricas y coloniales complejas que moldean las identidades de género, religiosas (hindúes frente a musulmanes) y nacionales (bangladesíes frente a indias). Estas identidades se expresan a menudo tanto explícitamente como implícitamente a través de normas lingüísticas, como variaciones dialectales (Bangal frente a Ghoti) y elecciones de vocabulario.

El problema central abordado es la "falacia de la funcionalidad de la IA", donde se asume que los sistemas funcionan correctamente basándose en el rendimiento de las pruebas de referencia, enmascarando cómo los sesgos surgen de la interacción de múltiples componentes técnicos. Específicamente, existe una falta de comprensión sobre cómo la combinación de modelos preentrenados, conjuntos de datos de ajuste fino y los antecedentes demográficos de los desarrolladores de conjuntos de datos moldean colectivamente el sesgo en los modelos de análisis de sentimientos aguas abajo (BSA) para el bengalí.

Metodología
Los autores realizaron una auditoría algorítmica integral que involucró 38 modelos de análisis de sentimientos ajustados fino. La metodología procedió en cuatro etapas clave:

Identificación de Conjuntos de Datos y Encuesta a Desarrolladores: Los investigadores identificaron 19 conjuntos de datos de Análisis de Sentimientos en Bengalí (BSA) a través de Google Dataset Search. Contactaron a los desarrolladores de estos conjuntos de datos para recopilar información demográfica (género, religión, nacionalidad) mediante una encuesta en línea, recibiendo respuestas de 12 conjuntos de datos. Para proteger el anonimato, los conjuntos de datos fueron desidentificados (D1–D19).
Selección de Modelos y Ajuste Fino: Se seleccionaron dos modelos de lenguaje preentrenados: mBERT (un modelo multilingüe entrenado en 104 idiomas) y BanglaBERT (un modelo preentrenado específicamente en corpus bengalíes). Cada uno de los 19 conjuntos de datos BSA se utilizó para ajustar fino ambos modelos, resultando en 38 modelos ajustados fino distintos.
Evaluación del Sesgo: Los autores utilizaron el Conjunto de Datos de Evaluación de Sesgo de Identidad en Bengalí (BIBED), que contiene pares de oraciones semánticamente idénticas pero que difieren en marcadores de identidad (género, religión, nacionalidad) ya sea explícitamente (menciones directas) o implícitamente (normas lingüísticas, dialectos, términos de parentesco).
Análisis Estadístico: La auditoría empleó comparaciones estadísticas para evaluar el sesgo:
- Clasificación Nominal: Se utilizó la prueba $\chi^2$ para evaluar la relación entre las categorías de identidad y la clasificación de sentimientos (positivo/negativo/neutro).
- Puntuaciones de Sentimiento: Se utilizaron pruebas t pareadas o pruebas de rangos con signo de Wilcoxon para comparar las puntuaciones medias de sentimiento (0 a 1) asignadas a diferentes grupos de identidad.
- Cuantificación: Se calculó la Tasa de Clasificación Positiva (PCR) para medir la paridad demográfica y la Métrica de Comparación Pareada (PCM) para cuantificar la diferencia promedio en las puntuaciones de sentimiento entre pares de identidad.

Contribuciones Clave

Auditoría Empírica de PLN de Recursos Limitados: Este estudio proporciona una de las primeras auditorías sistemáticas del análisis de sentimientos en bengalí, yendo más allá de las herramientas desplegadas para rastrear los orígenes del sesgo a través de toda la tubería (conjuntos de datos, desarrolladores, modelos).
Análisis de Interacción: Cuestiona la noción de que el sesgo reside únicamente en los modelos o conjuntos de datos, demostrando cómo el sesgo surge de la interacción entre arquitecturas preentrenadas y datos de ajuste fino.
Demografía de Desarrolladores vs. Sesgo del Modelo: Investiga la correlación entre los antecedentes demográficos de los desarrolladores de conjuntos de datos y el sesgo del modelo, una dimensión a menudo pasada por alto en las auditorías técnicas.
Comparación Metodológica: El artículo compara la efectividad de diferentes pruebas estadísticas y métricas (puntuaciones nominales frente a continuas) en la detección de sesgos sutiles en contextos de recursos limitados.

Resultados
El estudio arrojó varios hallazgos significativos sobre la distribución y las fuentes del sesgo:

Prevalencia del Sesgo: La mayoría de los 38 modelos ajustados fino exhibieron sesgos significativos.
- Género: El 61% de los modelos asignó puntuaciones de sentimiento más altas a identidades masculinas, mientras que el 24% favoreció identidades femeninas.
- Religión: El 61% de los modelos favoreció identidades musulmanas (o estilos lingüísticos asociados), mientras que el 24% favoreció identidades hindúes.
- Nacionalidad: El 50% de los modelos favoreció identidades bangladesíes, en comparación con el 26% que favoreció identidades indias.
Demografía de Desarrolladores: A pesar de que la mayoría de los desarrolladores de conjuntos de datos se identificaron como hombres, musulmanes y bangladesíes, las pruebas estadísticas (valores p > 0.05) revelaron ninguna relación significativa entre los antecedentes demográficos de los desarrolladores y la dirección del sesgo en los modelos resultantes.
Interacción Modelo-Conjunto de Datos:
- Ventaja Específica del Idioma: BanglaBERT generalmente produjo modelos ajustados fino menos sesgados en comparación con el mBERT multilingüe, lo que sugiere que el preentrenamiento específico del idioma ofrece un beneficio de mitigación.
- Inestabilidad del Conjunto de Datos: Ningún conjunto de datos estaba libre de sesgos. Los conjuntos de datos que funcionaron bien en una dimensión de identidad a menudo exhibieron sesgos sustanciales en otras.
- Cambios Contextuales: El mismo conjunto de datos podía inducir sesgo en direcciones opuestas dependiendo del modelo base utilizado (por ejemplo, D1 indujo sesgo femenino con mBERT pero sesgo masculino con BanglaBERT).
Sensibilidad de la Métrica: El estudio encontró que analizar puntuaciones de sentimiento continuas identificó significativamente más modelos sesgados (por ejemplo, 85% para género) que analizar categorías de sentimiento nominales (24% para género), destacando la importancia de utilizar métricas numéricas para auditorías rigurosas.

Significado y Afirmaciones
El artículo afirma que lograr la equidad en los sistemas de PLN es complejo y no puede resolverse simplemente seleccionando un modelo o conjunto de datos específico. En cambio, el sesgo es un producto de la infraestructura sociotécnica, que incluye la reutilización de modelos preentrenados y la recombinación de conjuntos de datos.

Los autores enmarcan sus hallazgos a través de la lente de la injusticia epistémica, argumentando que las tecnologías del lenguaje pueden desacreditar sistemáticamente el testimonio de grupos marginados al asignarles puntuaciones de sentimiento más bajas o malinterpretar sus normas lingüísticas. Argumentan que, aunque los modelos multilingües (mBERT) ofrecen generalización, a menudo exacerban las desventajas para los idiomas de recursos limitados al confundir dialectos y estilos distintos.

El estudio aboga por descolonizar el PLN reconociendo la subrepresentación de voces diversas en la creación de conjuntos de datos y llamando a una "alineación hacia atrás" —evaluar y gobernar sistemas para evitar exacerbar los riesgos de desalineación— en lugar de depender únicamente del entrenamiento de alineación hacia adelante, lo cual puede ser inviable debido a la escasez de datos. Finalmente, los autores enfatizan la necesidad de auditorías algorítmicas en contextos de recursos limitados para fomentar la transparencia, abordar desalineaciones de valores y promover regulaciones de IA más inclusivas.