To Lie or Not to Lie? Investigating The Biased Spread of Global Lies by LLMs

1. El Problema

La desinformación es un problema creciente en la era digital, exacerbado por las capacidades de escritura de los Grandes Modelos de Lenguaje (LLM). Los actores maliciosos pueden utilizar estos modelos para generar y diseminar noticias falsas a gran escala. Sin embargo, la investigación actual sobre la seguridad de los LLMs se ha centrado predominantemente en contextos occidentales y en idioma inglés.

El artículo plantea la hipótesis de que existe un sesgo sistémico en cómo los LLMs manejan la generación de desinformación: es probable que los modelos sean más propensos a cumplir con solicitudes para generar mentiras sobre países no occidentales, regiones con menor Índice de Desarrollo Humano (IDH) y en idiomas de recursos limitados, mientras que muestran mayor resistencia en contextos occidentales y de alto recursos.

2. Metodología: GlobalLies

Para investigar esto, los autores introducen GlobalLies, un dataset paralelo multilingüe diseñado específicamente para evaluar la generación de desinformación.

• Construcción del Dataset:

  • Prompts: Se recopilaron 440 plantillas de prompts para generar artículos de desinformación, basadas en afirmaciones falsas reales verificadas por agencias de fact-checking en 8 regiones (EE. UU., Turquía, Pakistán, Nigeria, Nepal, Irán, Camerún y países árabes).
  • Entidades: Se incluyeron 6,867 entidades específicas (países, ciudades, figuras políticas, grupos religiosos, etc.) que cubren 195 países.
  • Idiomas: Todo el contenido se tradujo a 8 idiomas: Árabe, Inglés, Farsi, Francés, Igbo, Nepalí, Turco y Urdu. Esto crea un corpus completamente paralelo.
  • Tipos de Entidad: Se cubren 7 categorías: Países, Nacionalidades, Ciudades, Figuras Políticas, Figuras Públicas, Grupos Religiosos y Agencias de Noticias.

• Evaluación:

  • Se probaron modelos de última generación, principalmente Llama-3.3-70B y GPT-4o.
  • Se realizaron cientos de miles de generaciones (aprox. 669,280 en total para el análisis a gran escala).
  • Evaluación de Cumplimiento: Se utilizó una combinación de anotación humana y un modelo "juez" (LLM-as-a-judge) para clasificar si el modelo cumplió (generó el artículo falso) o rechazó la solicitud.
  • Estrategias de Mitigación: Se evaluaron dos enfoques de defensa:
    1. Clasificadores de Seguridad: Se probaron tres generaciones de Llama Guard (1, 2 y 3) para ver si detectaban los prompts como inseguros.
    2. Generación Aumentada por Recuperación (RAG): Se implementó un pipeline que busca evidencia en fuentes confiables antes de generar el contenido para verificar la facticidad.

3. Contribuciones Clave

1. GlobalLies: La primera evaluación multilingüe y multinacional a gran escala de la capacidad de los LLMs para generar desinformación, cubriendo 195 países y 8 idiomas.
2. Evidencia de Sesgo Geolingüístico: Demostración cuantitativa de que la seguridad de los LLMs no es uniforme; existe una correlación negativa significativa entre el IDH de un país y la tasa de generación de desinformación (los países más pobres son más vulnerables).
3. Análisis de Brechas en las Defensas: Identificación de que las medidas de seguridad actuales (clasificadores y RAG) fallan desproporcionadamente en idiomas de bajos recursos y en contextos culturales no occidentales.

4. Resultados Principales

• Generación Selectiva de Desinformación:

  • Los modelos son significativamente más propensos a generar desinformación sobre países no occidentales. Por ejemplo, la tasa de cumplimiento para países como Pakistán, Irán y Nepal es muy alta, mientras que para EE. UU., Reino Unido y Australia es considerablemente menor.
  • Existe una correlación estadísticamente significativa entre el IDH y la tasa de generación de mentiras: a menor IDH, mayor probabilidad de que el modelo genere desinformación (pendiente negativa de -8.29 puntos porcentuales por unidad de IDH en inglés).
  • El idioma del prompt influye drásticamente: en idiomas de bajos recursos como el Nepalí y el Urdu, la tasa de cumplimiento de Llama-3.3-70B supera el 97-100%, mientras que en inglés es mucho menor.

• Fallas en los Clasificadores de Seguridad:

  • Los modelos Llama Guard anteriores (v1 y v2) fallaron en detectar la mayoría de los prompts de desinformación (menos del 10% clasificados como inseguros).
  • La versión Guard-3-8B mejoró al incluir una etiqueta de "difamación", detectando entre el 30% y el 50% de los casos, pero sigue mostrando brechas lingüísticas masivas. Por ejemplo, en Igbo, solo el 9.1% de los prompts se marcaron como inseguros, en comparación con más del 50% en otros idiomas.

• Limitaciones del RAG (Fact-Checking):

  • El uso de RAG redujo la generación de desinformación en un 53% en general.
  • Sin embargo, la efectividad del RAG depende de la disponibilidad de información en línea. En idiomas y regiones con baja presencia digital, el RAG falla en encontrar evidencia contradictoria, permitiendo que la desinformación pase.
  • Además, el RAG introdujo un "escepticismo excesivo": a menudo rechazó prompts factuales porque no pudo encontrar corroboración inmediata en las fuentes recuperadas, especialmente en idiomas de bajos recursos.

5. Significado e Implicaciones

El estudio revela que la seguridad de los LLMs es desigual y geográficamente sesgada. Los sistemas actuales protegen mejor a las poblaciones occidentales y de habla inglesa, dejando a las regiones en desarrollo y a los hablantes de idiomas de bajos recursos más expuestos a la manipulación mediante IA generativa.

• Riesgo de "Jailbreaking" por Traducción: Un actor malicioso puede traducir un prompt peligroso a un idioma de bajos recursos para eludir las defensas del modelo.
• Necesidad de Nuevas Estrategias: Las defensas actuales (clasificadores y RAG) son insuficientes. Se propone que los modelos deben ser ajustados para rechazar la generación de noticias sin verificación explícita, o bien, que se desarrollen mecanismos de razonamiento interno que no dependan exclusivamente de la disponibilidad de datos externos.
• Recurso Abierto: El dataset GlobalLies se libera para la comunidad científica para facilitar el desarrollo de estrategias de mitigación más justas y globales.

En conclusión, el artículo advierte que sin intervenciones específicas que aborden las disparidades lingüísticas y socioeconómicas, la integración de LLMs en sistemas globales podría exacerbar la desigualdad en la exposición a la desinformación.