Standard Language Ideology in AI-Generated Language

Resumen Técnico: La Ideología del Lenguaje Estándar en el Lenguaje Generado por IA

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLM) y los sistemas de IA generativa reproducen y normalizan actualmente la "ideología del lenguaje estándar", un concepto sociolingüístico que describe el sesgo hacia variedades lingüísticas específicas (particularmente el Inglés Estándar Americano, o SAE) a las que se les otorga mayor prestigio, autoridad y legitimidad que a otras. Esto no es meramente una disparidad de rendimiento donde los modelos tienen dificultades con dialectos no estándar; es un problema sociotécnico donde los sistemas de IA refuerzan activamente las jerarquías lingüísticas. Estos sistemas posicionan las variedades "estándar" como el modo apropiado por defecto, marginando simultáneamente las variedades minoritarias (por ejemplo, el inglés afroamericano, el singlish, dialectos regionales) mediante mecanismos de estereotipación, apropiación y borradura. El artículo sostiene que estos problemas son estructurales en lugar de puramente técnicos, reflejando relaciones de poder que determinan qué lenguajes se preservan, se filtran o se amplifican en los datos de entrenamiento y en los resultados de los modelos.

Metodología
Los autores emplean un enfoque multidisciplinario, sintetizando evidencia empírica de las evaluaciones existentes de los LLM con marcos teóricos de la sociolingüística y los estudios críticos del lenguaje.

• Fundamentación Teórica: El análisis se fundamenta en los mecanismos de la ideología del lenguaje estándar identificados por los sociolingüistas: iconización (vincular rasgos lingüísticos con la esencia social), recursividad fractal (proyectar oposiciones dentro de los subgrupos) y borradura (oscurecer hechos que contradicen la narrativa dominante).
• Proceso Analítico: El equipo realizó una revisión enfocada de estudios a gran escala y evaluaciones sistemáticas sobre el sesgo lingüístico en los LLM, complementada con una revisión bibliográfica más amplia sobre la desigualdad lingüística. El análisis fue tanto deductivo (aplicando mecanismos sociolingüísticos establecidos como un andamiaje) como inductivo (mapeando iterativamente los hallazgos empíricos a estas categorías).
• Síntesis: Los autores categorizaron las manifestaciones documentadas de la IA y las vincularon con potenciales implicaciones sociales, creando un marco estructurado para explicar cómo los sesgos lingüísticos en la IA reflejan y refuerzan sistemas de poder más amplios.

Contribuciones Clave
La contribución principal del artículo es la introducción de la Ideología del Lengismo Estándar Generado por IA y una taxonomía facetada de problemas abiertos que operacionalizan este concepto. Esta taxonomía va más allá de una simple encuesta de errores del modelo para categorizar los mecanismos estructurales a través de los cuales los LLM reproducen las jerarquías de poder lingüístico. La taxonomía identifica cinco problemas abiertos específicos:

1. Normalización del Lenguaje "Estándar" como Defecto: Los LLM recurren sistemáticamente a variedades de prestigio (SAE), incluso cuando se les presentan entradas no estándar. Esto refuerza la noción de que las variedades estándar son los únicos modos de comunicación "correctos" o neutrales, lo que potencialmente exacerba el sesgo de automatización donde los usuarios confían en los resultados de la IA que se alinean con estas normas.
2. Calidad de Servicio Desigual para Variedades Minoritarias: Los hablantes de variedades no estándar enfrentan un rendimiento degradado, incluyendo menor comprensión, clasificación errónea de entradas como tóxicas/odiosas y negativa a responder. Esto constituye un daño de asignación, incentivando el "code-switching digital" e imponiendo costos psicológicos a los usuarios.
3. Producciones Estereotipadas y Racializadas: Cuando los modelos sí generan texto en variedades minoritarias, a menudo producen contenido estilizado, caricaturizado o degradante. Esto refleja la racialización, donde la forma lingüística se convierte en un sustituto de la identidad social negativa y el juicio moral.
4. Apropiación y Mercantilización: Los LLM permiten la extracción de valor cultural y lingüístico de las comunidades marginadas sin rendición de cuentas ni beneficios para dichas comunidades. Esto incluye la "mimo-imitación lingüística" (hablantes no nativos usando la IA para apropiarse de dialectos) y la borradura de los orígenes históricos y étnicos del lenguaje (por ejemplo, rebautizar el AAE como "jerga de la Generación Z").
5. Supresión y Borradura: Los esfuerzos para "evitar daños" mediante la supresión de resultados no estándar corren el riesgo de reproducir la borradura institucional, donde las formas lingüísticas legítimas son desplazadas de las infraestructuras tecnológicas, estrechando el futuro lingüístico de los ecosistemas de IA.

Resultos y Hallazgos
El artículo sintetiza la evidencia empírica existente para demostrar que los LLM no solo "tienen dificultades" con las variedades no estándar, sino que participan activamente en la construcción de jerarquías lingüísticas:

• Disparidades de Rendimiento: Los estudios muestran una mayor perplejidad y menor precisión para el AAE y otras variedades no estándar en tareas como la generación de texto y el análisis de sentimiento.
• Comportamiento de Defecto: Las investigaciones indican que, incluso cuando se les solicita con entradas no estándar, los resultados de los modelos revierten a la ortografía y sintaxis del SAE, con reducciones significativas en los rasgos dialectales (por ejemplo, una reducción de >96% para entradas en inglés jamaicano y afroamericano).
• Estereotipación: Los hablantes nativos califican los resultados de la IA para las variedades minoritarias como significativamente más degradantes y condescendientes en comparación con los resultados para las variedades estándar.
• Inequidades de Datos: La dominancia del inglés en los datos de entrenamiento (aprox. 60% del contenido de internet frente al 17% de los hablantes globales) y el filtrado de variedades no estándar durante el raspado de datos se identifican como consecuencias materiales de la ideología del lenguaje estándar, no solo limitaciones técnicas.
• Contexto de la IA Soberana: El artículo señala que, si bien las iniciativas de "IA soberana" (por ejemplo, en la India) pretenden contrarrestar el dominio del inglés, corren el riesgo de reproducir jerarquías lingüísticas internas si priorizan las formas "estándar" definidas por el Estado sobre la diversidad dialectal e indígena.

Significancia y Recomendaciones
El artículo afirma que estos problemas no pueden resolverse únicamente mediante arreglos de ingeniería (por ejemplo, un mejor equilibrio de datos) porque están arraigados en las relaciones de poder y las prioridades institucionales. Los autores abogan por un cambio hacia resultados emancipatorios que prioricen la rendición de cuentas, la agencia comunitaria, el control y la propiedad.

El artículo propone tres recomendaciones concretas para investigadores, financiadores y profesionales:

1. Expandir las Métricas de Evaluación: Los marcos de evaluación de modelos deben incluir explícitamente la variedad lingüística como una categoría para evaluar el daño (junto con la raza y el género), desarrollando puntos de referencia para detectar la borradura, la estereotipación y la condescendencia.
2. Apoyar el Desarrollo Liderado por la Comunidad: Las instituciones multilaterales deben financiar y apoyar a las comunidades lingüísticas en la creación de sus propios conjuntos de datos y modelos (por ejemplo, Masakhane, AI4Bharat, Te Hiku Media). Esto devuelve la autoridad epistémica a los hablantes y desafía las lógicas de apropiación.
3. Implementar Procesos Participativos: Los desarrolladores de sistemas de IA dominantes deben involucrar a las comunidades minoritarias como socios iguales a lo largo de todo el ciclo de vida de la IA (recolección de datos, entrenamiento, despliegue). Esto incluye una compensación justa, el respeto a la soberanía de los datos y el paso de prácticas de datos extractivas a una participación no extractiva.

El artículo concluye que la diversidad lingüística debe ser reconocida no como un desafío técnico que deba gestionarse, sino como un recurso que debe protegerse y sostenerse para un futuro de IA justo. Enfatiza que no existe un comportamiento único "correcto" para los modelos de lenguaje; más bien, el enfoque debe estar en quién posee la autoridad para decidir cómo se comportan estos sistemas.