Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
Este artículo presenta INCLUDE, un referente multilingüe que evalúa los sesgos socioculturales de enfoque indio en seis idiomas, revelando que la actual alineación de seguridad centrada en el inglés en los modelos de lenguaje extensos (LLM) crea una brecha de seguridad translingüística crítica donde los resultados en idiomas distintos al inglés, particularmente en bengalí y en modelos de código cerrado, exhiben un sesgo significativamente mayor que sus contrapartes en inglés.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde la voz de un asistente informático sea tan fluida y justa en una aldea rural de la India como lo es en una bulliciosa oficina de Londres. Durante años, la tecnología detrás de estos asistentes ha sido entrenada principalmente con texto en inglés, aprendiendo a reconocer estereotipos perjudicialos y a rechazar solicitudes ofensivas mediante un proceso llamado alineación de seguridad. Este entrenamiento actúa como un filtro, diseñado para evitar que la máquina repita prejuicios sobre la raza, la religión o el estatus social. Sin embargo, una pregunta crítica ha quedado sin respuesta: ¿funciona este filtro igual de bien cuando el usuario habla hindi, bengalí o una mezcla de inglés e hindi? Si el filtro solo entiende el inglés, entonces millones de personas que hablan otros idiomas quedan expuestas precisamente a los mismos prejuicios que la tecnología pretendía prevenir. Esta es la preocupación central de un nuevo estudio que investiga si la promesa de una inteligencia artificial segura se mantiene a través del diverso paisaje lingüístico de la India.
Los investigadores, liderados por Namya Bhatnagar, se propusieron medir esta brecha creando una prueba especializada llamada INCLUDE. Este referente fue diseñado para ver qué tan bien manejan diferentes modelos de inteligencia artificial los estereotipos culturalmente específicos cuando se les solicita en seis idiomas diferentes: inglés, hindi, bengalí, maratí, tamil y hinglish, que es una mezcla común de hindi e inglés utilizada en la conversación diaria. Para construir esta prueba, el equipo definió primero seis áreas donde el sesgo suele aparecer, tales como la casta, la religión y la región. Luego, reunieron un panel de veinte expertos, incluyendo profesores y docentes universitarios, para revisar y refinar miles de preguntas. Estas preguntas fueron cuidadosamente elaboradas para que sonaran naturales, pidiendo a los modelos completar oraciones de maneras que revelaran si se estaban inclinando hacia estereotipos perjudiciales o si los rechazaban. El equipo tradujo estos enunciados a los cinco idiomas indios, asegurando que el significado y la intensidad de los estereotipos se mantuvieran consistentes en todas las versiones.
El estudio evaluó diez modelos diferentes de inteligencia artificial, dividiéndolos en dos grupos: aquellos que están abiertos para que cualquiera los inspeccione y modifique, y aquellos que son sistemas cerrados propiedad de grandes empresas tecnológicas. Cuando los investigadores probaron los modelos de código abierto, encontraron un patrón claro y preocupante. Los modelos eran significamente más propensos a producir respuestas sesgadas y estereotipadas cuando los enunciados estaban escritos en idiomas indios en comparación con el inglés. Entre los idiomas indios, el bengalí desencadenó el mayor nivel de sesgo, seguido de cerca por el hindi. Sorprendentemente, los enunciados en inglés resultaron en los puntajes de sesgo más bajos para estos modelos abiertos, lo que sugiere que los filtros de seguridad están funcionando bien para los angloparlantes, pero fallando para todos los demás. Esto crea una ilusión de seguridad donde un usuario puede sentirse protegido en inglés, pero queda vulnerable en su lengua materna.
Los resultados para los modelos de código cerrado, que a menudo se utilizan para potenciar las funciones de búsqueda y recuperación de los asistentes de voz, contaron una historia diferente y aún más compleja. En este grupo, el patrón se invirtió por completo. Los modelos mostraron las asociaciones de sesgo más fuertes cuando los enunciados estaban en inglés, mientras que los idiomas indios mostraron puntajes de sesgo más bajos. Esta reversión sugiere que la fuente del problema no es una sola cosa. Para los modelos abiertos, el problema parece ser que el entrenamiento de seguridad se realizó mayoritariamente en inglés, dejando otros idiomas desprotegidos. Para los modelos cerrados, el sesgo parece provenir de la enorme cantidad de texto en inglés con el que fueron entrenados originalmente, lo que ha incrustado estereotipos fuertes en su comprensión fundamental del mundo.
Uno de los hallazgos más significativos concernía al hinglish, el idioma de código mixto utilizado por millones de personas en la India. El estudio encontró que el hinglish no obtuvo los beneficios de seguridad del inglés. Aunque contiene palabras en inglés, los modelos lo trataron estadísticamente igual que a los otros idiomas indios de bajos recursos, agrupándolo con el hindi y el tamil, en lugar de con el inglés. Esto significa que los usuarios que dependen de este lenguaje mixto para la interacción de voz no están recibiendo el mismo nivel de protección que aquellos que hablan inglés puro. Los investigadores también observaron que, si bien los puntajes de sesgo variaban, las diferencias no eran aleatorias; eran lo suficientemente consistentes como para ser consideradas un fallo real y mensurable en la forma en que se construyen estos sistemas.
El estudio concluye que la seguridad de la inteligencia artificial no es uniforme entre los idiomas. Revela que los métodos actuales de entrenamiento de estos modelos crean una división donde los angloparlantes están protegidos de los estereotipos perjudiciales, mientras que los hablantes de otros idiomas no lo están. Los hallazgos sugieren que simplemente traducir las reglas de seguridad del inglés no es suficiente; la estructura misma de cómo estos modelos aprenden y cómo se alinean necesita cambiar para dar cuenta de los matices de diferentes culturas e idiomas. Al identificar estas brechas, los investigadores esperan proporcionar una hoja de ruta para que los desarrolladores construyan sistemas que sean verdaderamente justos para todos, independientemente del idioma que hablen. El trabajo destaca que lograr una verdadera equidad en la inteligencia artificial requiere mirar más allá de los idiomas dominantes y abordar los contextos culturales específicos en los que se despliegan estas tecnologías.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.