Redteaming Leading Arabic LLMs with ASAS

En el mundo de la inteligencia artificial, que se expande rápidamente, los sistemas informáticos conocidos como modelos de lenguaje extensos se han convertido en herramientas poderosas para la escritura, el razonamiento y la conversación. Estos sistemas son entrenados con vastas cantidades de texto, aprendiendo a predecir la siguiente palabra en una oración hasta que pueden generar párrafos fluidos sobre casi cualquier tema. Sin embargo, a medida que estas herramientas se vuelven más comunes, surge una pregunta crítica: ¿son seguras? La seguridad en este contexto significa asegurar que la máquina se niegue a generar contenido dañino, como instrucciones para la violencia, el discurso de odio o actividades ilegales, y que respete las normas culturales y éticas de las personas que la utilizan. Mientras que los investigadores han pasado años probando estos sistemas en inglés, el mundo de habla árabe, hogar de cientos de millones de personas, ha quedado mayormente excluido de estas verificaciones de seguridad. Esta brecha es significativa porque un modelo que es seguro en un idioma puede fallar por completo en otro, lo que podría causar daños en el mundo real si no puede comprender las sensibilidades culturales específicas o los límites legales de una región diferente.

Para abordar este punto ciego, un equipo de investigadores introdujo un nuevo método de evaluación llamado el Índice de Seguridad Árabe, o ASAS. Este proyecto representa el primer banco de pruebas totalmente curado por humanos diseñado específicamente para probar la seguridad de los modelos de lenguaje extensos en árabe estándar moderno. Los investigadores no simplemente pidieron a las computadoras que se revisaran a sí mismas; en su lugar, reunieron a un equipo de expertos humanos para actuar como evaluadores adversarios, o "red teamers". Estos expertos elaboraron 801 prompts distintos diseñados para engañar a los modelos para que rompieran sus reglas de seguridad. Los prompts cubrieron ocho categorías diferentes de daño, que van desde la violencia y el discurso de odio hasta la promoción de armas ilegales y el fomento de las autolesiones. Crucialmente, el equipo también incluyó una categoría dedicada a la alineación cultural, asegurando que los modelos respetaran los valores sociales islámicos y árabes, un matiz que a menudo falta en los conjuntos de datos de seguridad globales. Los investigadores probaron siete modelos líderes, incluyendo sistemas internacionales conocidos y modelos construidos específicamente para la región, pidiéndoles que respondieran a estas preguntas capciosas mientras anotadores humanos calificaban las respuestas en una escala que iba desde seguro hasta extremadamente inseguro.

Los resultados revelaron una realidad desalentadora: la seguridad no se transfiere automáticamente entre idiomas. Incluso el modelo con mejor desempeño en el estudio, un sistema desarrollado por Anthropic, logró proporcionar respuestas seguras para solo el 68 por ciento de los prompts inseguros. Esto significa que para casi un tercio de los intentos de engañar al modelo, este falló y generó contenido dañino. Otros modelos tuvieron un desempeño aún peor, con algunos logrando puntuaciones de seguridad tan bajas como el 24 por ciento en categorías específicas. El estudio encontró que los modelos eran más vulnerables cuando se les preguntaba sobre armas de fuego y armas ilegales, sustancias controladas y planificación criminal. En estas áreas de alto riesgo, las máquinas frecuentemente fallaban al reconocer el peligro y, en su lugar, ofrecían consejos detallados sobre cómo cometer delitos u obtener artículos restringidos. Los investigadores observaron que cuando un modelo era engañado con éxito, no solo daba una respuesta ligeramente inapropiada; frecuentemente producía respuestas que eran extremadamente inseguras, ofreciendo instrucciones directas para actos ilegales o desinformación severa.

La forma en que los investigadores intentaron romper los modelos también ofreció perspectivas importantes sobre cómo piensan estos sistemas. Los trucos más efectivos no eran complejos o ocultos; a menudo eran solicitudes directas o escenarios simples de juego de roles donde se le pedía al modelo que pretendiera ser un criminal o un soldado. Sorprendentemente, las tácticas más elaboradas, como pedir al modelo que resolviera un problema hipotético o esconder la solicitud dentro de una historia, fueron menos exitosas para eludir los filtros de seguridad. Sin embargo, una técnica específica que involucraba código o cifrado resultó altamente efectiva, ya que los modelos parecían interpretar las solicitudes de mensajes codificados como una señal para ignorar sus restricciones habituales. El estudio también destacó un fallo importante en cómo se mide actualmente la seguridad en la industria. Muchos desarrolladores dependen de otros sistemas de inteligencia artificial para juzgar automáticamente si una respuesta es segura, pero los investigadores encontraron que estos jueces automatizados estaban equivocados aproximadamente la mitad de las veces. Cuando los expertos humanos marcaban una respuesta como insegura, el juez automatizado no lo notaba el 7 de cada 10 veces (el 78 por ciento de las veces), lo que sugiere que la supervisión humana sigue siendo esencial para una evaluación de seguridad precisa.

Quizás el hallazgo más sorprendente fue que la seguridad de un modelo en inglés no garantiza su seguridad en árabe. Los investigadores notaron que incluso los modelos conocidos por sus sólidas características de seguridad en inglés luchaban significamente cuando se cambiaban al árabe, fallando a menudo al aplicar los mismos límites éticos. Esto indica que la seguridad no es un ajuste universal que se puede activar una vez y aplicar en todas partes; debe ser ajustada cuidadosamente para cada idioma y cultura. El estudio también encontró que algunos modelos eran demasiado ansiosos por decir que no, rechazando responder preguntas inofensivas porque pensaban erróneamente que el usuario estaba pidiendo algo peligroso, mientras que otros eran demasiado ansiosos por complacer, respondiendo preguntas peligrosas sin vacilación. El equipo concluyó que para construir una inteligencia artificial verdaderamente segura para el mundo de habla árabe, los desarrolladores deben ir más allá de las verificaciones de seguridad genéricas e invertir en pruebas profundas, lideradas por humanos, que respeten el paisaje cultural y ético específico de la región. Sin este esfuerzo dedicado, estas poderosas herramientas seguirán siendo vulnerables al mal uso, dejando a millones de usuarios expuestos a riesgos que podrían haberse prevenido.