Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

Los modelos de lenguaje de gran tamaño son los motores detrás de muchas de las herramientas de inteligencia artificial que utilizamos hoy en día, desde chatbots que responden preguntas hasta sistemas que ayudan a escribir código. Estas máquinas no aprenden siendo instruidas mediante reglas en un aula; en su lugar, aprenden leyendo vastas cantidades de texto de internet, libros y otras fuentes digitales. Este proceso se conoce como entrenamiento. Para que un modelo sea fluido y conocedor, debe consumir una biblioteca de texto tan grande que a un humano le tomaría toda una vida leerla. Los investigadores se han centrado durante mucho tiempo en cómo se construyen estos modelos y cómo se ajustan después de su aprendizaje inicial para garantizar que sean seguros y útiles. Sin embargo, una pregunta crítica ha perman sentido en gran medida sin formularse: exactamente, ¿qué tipo de material está leyendo el modelo en primer lugar? Si la biblioteca de entrenamiento contiene ideas dañinas, de odio o peligrosas, el modelo podría aprender a repetirlas, incluso si sus creadores intentan más tarde enseñarle un mejor comportamiento. Esto no es solo un fallo técnico; es una cuestión de seguridad pública, ya que estos sistemas son utilizados cada vez más por personas de todas las edades, incluidos niños, que podrían encontrarse con puntos de vista peligrosos sin previo aviso.

Un equipo de investigadores de la Universidad de Manchester se propuso investigar el contenido de los datos de entrenamiento de una de las colecciones de texto de código abierto más significativas disponibles para la comunidad científica. Esta colección, conocida como Dolma, sirve como base para una serie de modelos de lenguaje avanzados llamados OLMo. Los investigadores querían saber si esta enorme biblioteca contenía discursos extremistas: textos que promueven la violencia, el odio o el derrocamiento de los sistemas democráticos. Para responder a esto, no se limitaron a suponer o depender de un único programa informático. En su lugar, construyeron un proceso cuidadoso y de múltiples pasos para encontrar estos documentos. Comenzaron tomando una muestra aleatoria de 200.000 documentos de la colección Dolma, lo que representa una porción diminuta pero estadísticamente significativa de las tres billones de palabras sobre las que se entrenó el modelo. Luego utilizaron varios modelos informáticos diferentes para escanear estos documentos, pidiéndole a cada uno que identificara texto que coincidiera con definiciones específicas de extremismo. Estas definiciones procedían de directrices gubernales oficiales del Reino Unido y de expertos académicos en el estudio del terrorismo y la violencia política.

El proceso fue diseñado para ser conservador, lo que significa que los investigadores pretendían estar muy seguros antes de etiquetar algo como extremista. Utilizaron una técnica llamada "verificación de unión" (union check), donde pedían a los modelos informáticos que marcaran un documento si coincidía con cualquiera de las diferentes definiciones de extremismo. Esto ayudó a asegurar que los modelos estuvieran comprendiendo la tarea correctamente. Una vez que los ordenadores señalaron las posibles coincidencias, los investigadores las sometieron a un mayor escrutinio. Utilizaron un sistema de inteligencia artificial más potente para filtrar las falsas alarmas y, finalmente, recurrieron a un experto humano especializado en el estudio del discurso extremista para leer de cerca una pequeña muestra de los textos señalados. Esta revisión humana fue crucial porque el texto encontrado en el mundo real suele ser desordenado, está lleno de lenguaje codificado o escrito de una manera que es difícil de interpretar para las máquinas. El experto leyó estos documentos para confirmar si realmente contenían las narrativas peligrosas que los investigadores buscaban.

Los resultados de esta investigación fueron claros y preocupantes. Los investigadores descubrieron que la colección de entrenamiento de Dolma contiene, casi con certeza, cientos de miles de documentos con contenido extremista. Basándose en sus estimaciones conservadoras, calcularon que aproximadamente uno de cada 2.000 documentos en la muestra aleatoria contenía narrativas extremistas o discursos de odio. Al proyectar esta tasa sobre todo el conjunto de datos, que consta de miles de millones de documentos, las cifras apuntaban a un vasto reservorio de material dañino. El estudio identificó varios tipos de contenido peligroso, incluyendo llamadas directas a la violencia, discursos de odio dirigidos contra grupos raciales o religiosos específicos y narrativas que buscan socavar las instituciones democráticas. Curiosamente, los investigadores encontraron que la definición específica de extremismo utilizada para buscar en los datos cambiaba los resultados. Una definición, que se centraba en el conflicto entre "grupos internos" (in-groups) y "grupos externos" (out-groups), tendió una red muy amplia y captó muchos textos que eran odiosos pero no necesariamente extremistas en el sentido político. Otra definición, basada en criterios gubernamentales oficiales, era más precisa pero aun así identificó una cantidad significativa de material perjudicial.

Un descubrimiento sorprendente fue la ausencia de un tipo específico de extremismo en la muestra. A pesar de la naturaleza global de internet, los investigadores encontraron casi ningún texto relacionado con el terrorismo yihadista en su muestra, apareciendo únicamente una noticia sobre tal evento. Esto sugiere que las regulaciones estrictas y las políticas corporativas relativas a las organizaciones terroristas pueden haber eliminado con éxito este tipo específico de contenido de los conjuntos de datos públicos que alimentan a estos modelos. Sin embargo, el estudio encontró que las narrativas extremistas de derecha eran mucho más prevalentes, apareciendo a menudo en forma de blogs políticos, comentarios en foros y teorías de conspiración. Los investigadores también observaron que gran parte del contenido encontrado era "limítrofe" (borderline): texto que era altamente polarizado, violento u odioso, pero que no siempre encajaba en una definición legal estricta de extremismo. Esta zona gris es particularmente peligrosa porque es más difícil de filtrar, pero aun así puede normalizar las opiniones extremas para los modelos que las leen.

Las implicaciones de estos hallazgos se extienden más allá de los detalles técnicos de cómo se construyen los modelos. Los investigadores argumentan que el problema no puede resolverse simplemente intentando arreglar los modelos después de que ya hayan aprendido de estos datos. Si un modelo ha memorizado miles de documentos que llaman a la violencia o promueven el odio, puede tener dificultades para desaprender esos patrones, incluso con un entrenamiento de seguridad adicional. El estudio destaca que la composición de los datos de entrenamiento es un problema fundamental que requiere atención urgente por parte de quienes construyen estos sistemas. No basta con centrarse en cómo se comportan los modelos una vez que se lanzan al público; la seguridad del producto final depende en gran medida de lo que se introdujo en él durante su fase de aprendizaje inicial. Los investigadores concluyen que existe la necesidad de un debate más amplio sobre qué tipo de contenido es aceptable para la inclusión en las bibliotecas de entrenamiento de la inteligencia artificial, especialmente cuando esas bibliotecas se utilizan para crear herramientas que interactúan con el público a diario.