Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
Este artículo presenta la Puntuación de Sensibilidad Cultural del Medio Oriente (MECSS) para demostrar que los modelos de lenguaje de gran tamaño, incluidos los desarrollados en el Medio Oriente, reproducen sistemáticamente sesgos orientalistas estructurales mediante el "Said-washing" y el encuadre del conocimiento occidental como universal, revelando que las métricas de equidad estándar no logran detectar estas distorsiones epistémicas profundamente arraigadas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cuando le pedimos a una computadora que explique una cultura, a menudo asumimos que estamos obteniendo un resumen neutral de hechos. Pero los sistemas que responden a estas preguntas no son lienzos en blanco. Están construidos sobre vastas bibliotecas de textos escritos mayoritariamente por personas en Occidente, en inglés, y aprenden a hablar imitando los patrones encontrados en esas bibliotecas. Esto significa que cuando un usuario pregunta sobre el Medio Oriente, la computadora no simplemente recupera información; construye una historia basada en las suposiciones incrustadas en su entrenamiento. Durante décadas, los académicos han descrito una forma específica de contar historias sobre el Oriente, conocida como Orientalismo. Esto no se trata solo de ser grosero o usar estereotipos. Es un hábito estructural de escritura más profundo que trata al Occidente como el observador normal y activo, y al Oriente como un objeto pasivo y misterioso que necesita ser explicado por reglas occidentales. Asume que las ideas occidentales son verdades universales, mientras que las ideas locales son solo "peculiaridades culturales". La pregunta que los investigadores se hacen ahora es si la inteligencia artificial moderna, que se ha convertido en una fuente primaria de información para cientos de millones de personas, está repitiendo silenciosamente estos viejos patrones, incluso cuando intenta ser cortés.
Un investigador se propuso medir este sesgo invisible en dos modelos de lenguaje extensos diferentes. Uno era un sistema poderoso desarrollado en los Estados Unidos, y el otro era un modelo construido en los Emiratos Árabes Unidos, entrenado con una cantidad significativa de contenido árabe. El investigador quería probar una idea esperanzadora: que construir una inteligencia artificial en el Medio Oriente, utilizando lenguas locales y datos regionales, produciría naturalmente una visión más justa y menos sesgada de la región. Para encontrar la respuesta, creó una nueva herramienta de medición llamada Puntuación de Sensibilidad Cultural del Medio Oriente. En lugar de buscar solo insultos obvios o palabras ofensivas, esta herramienta examinaba la estructura misma de las oraciones que los modelos generaban. Comprobaba siete hábitos específicos, tales como si el modelo trataba a todo el Medio Oriente como un bloque único e indiferenciado, si describía a las personas locales como víctimas pasivas en lugar de agentes activos en la toma de decisiones, y si utilizaba teorías políticas occidentales como la forma predeterminada para explicar eventos mientras trataba el conocimiento local como algo que necesitaba una justificación especial.
El investigador realizó 280 conversaciones, planteando una amplia gama de preguntas a los modelos sobre política, cultura e historia. Luego analizó las respuestas para ver con qué frecuencia los modelos caían en estas trampas estructurales. Los resultados mostraron que ambos modelos, independientemente de dónde fueron construidos, reproducían estos patrones sesgados de manera sistemática. El modelo estadounidense mostró cierto sesgo, pero el modelo construido en los Emiratos Árabes Unidos en realidad obtuvo una puntuación más alta en la escala de sesgo, lo que significa que reproducía los patrones problemáticos con mayor frecuencia e intensidad. Este hallazgo desafía la suposición de que simplemente cambiar la ubicación de los desarrolladores o añadir lenguas locales a los datos de entrenamiento es suficiente para solucionar el problema. El investigador encontró que el modelo de los Emiratos Árabes Unidos, a pesar de sus orígenes regionales, todavía dependía fuertemente de los marcos occidentales para explicar el mundo, tratándolos como la lente estándar a través de la cual todo debe ser visto.
Uno de los descubrimientos más impactantes fue un fenómeno que el investigador llamó "Said-washing" (lavado de Said). Esto ocurre cuando un modelo comienza una respuesta declarando explícitamente que la región es diversa y compleja, solo para proceder inmediatamente con una generalización que ignora esa misma complejidad. Por ejemplo, un modelo podría decir: "Por supuesto, el Medio Oriente tiene muchas culturas e historias diferentes", y luego proceder inmediatamente a describir a la "sociedad mediooriental" como una entidad única y unificada con un solo conjunto de motivaciones. Este patrón apareció en casi el 88 por ciento de las conversaciones con el modelo estadounidense y en aproximadamente el 63 por ciento de las conversaciones con el modelo de los Emiratos Árabes Unidos. Esto sugiere que los modelos han aprendido a realizar la apariencia de sensibilidad sin cambiar realmente la estructura subyacente de su pensamiento. Pueden decir las palabras correctas para sonar justos, pero la forma en que organizan la información sigue estando profundamente arraigada en las viejas formas coloniales de ver el mundo.
El estudio también reveló que el sesgo no se trataba solo de lo que los modelos decían, sino de cómo organizaban el mundo. Ambos modelos trataban consistentemente los marcos analíticos occidentales como la forma predeterminada y no marcada de entender la realidad, mientras que trataban el conocimiento no occidental como algo particular que requería una explicación especial. Este fue el hallazgo más consistente en ambos sistemas, apareciendo en casi todas las conversaciones. El investigador señaló que la diferencia en el desempeño de los modelos podría deberse en parte a su tamaño, ya que el modelo estadounidense era significativamente más grande y avanzado que el modelo de los Emiratos Árabes Unidos. Los modelos más pequeños tienden a producir texto más simple y menos matizado, lo que puede parecerse más a las generalizaciones amplias que el investigador estaba midiendo. Sin embargo, el hecho de que ambos modelos convergieran en el mismo alto nivel de sesgo respecto al uso de marcos occidentales sugiere que el problema es más profundo que el simple tamaño del computador o la ubicación de los desarrolladores.
Finalmente, el artículo concluye que el sesgo no es un error simple que pueda corregirse añadiendo más lenguas o moviendo los servidores a un país diferente. El problema es epistemológico, lo que significa que se trata de la naturaleza misma del conocimiento que los modelos han aprendido. Los datos de entrenamiento están llenos de perspectivas occidentales que tratan al Medio Oriente como un objeto para ser estudiado en lugar de un sujeto con su propia agencia. Para cambiar esto verdaderamente, el investigador argumenta, los datos de entrenamiento deben transformarse para incluir un volumen mucho mayor de estudios escritos por académicos de la región, en sus propias lenguas y utilizando sus propias tradiciones intelectuales. Hasta que los datos cambien, estos sistemas continuarán generando respuestas que suenan seguras y autoritarias, pero que silenciosamente refuerzan una visión del mundo donde Occidente es el narrador y el resto del mundo es meramente la historia.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.