Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

Resumen Técnico: Más allá de la especulación: Midiendo la creciente presencia de textos generados por LLM en la desinformación multilingüe

Planteamiento del problema
El rápido avance de los Modelos de Lenguaje Extensos (LLM) y su accesibilidad a través de interfaces de usuario intuitivas (por ejemplo, ChatGPT) ha intensificado las preocupaciones sobre su uso indebido en la generación de desinformación. Si bien la investigación confirma la capacidad de los LLM para producir contenido falso, el alcance real de su despliegue en campañas de desinformación del mundo real sigue siendo en gran medida desconocido. La comunidad académica está dividida: algunos argumentan que los temores son exagerados debido a las limitaciones naturales del ecosistema, mientras que otros sugieren que contextos específicos de la "larga cola" (longtail) enfrentan riesgos desatendidos. Actualmente, existe una falta de evidencia empírica que cuantifique la prevalencia de texto generado por máquinas dentro de los conjuntos de datos de desinformación existentes y del mundo real, particularmente a través de diferentes idiomas, plataformas y períodos de tiempo.

Metodología
Para abordar estas brechas, los autores realizaron un análisis empírico exhaustivo utilizando dos grupos distintos de conjuntos de datos:

1. Conjuntos de datos de referencia (Benchmarks): Conjuntos de datos multilingües etiquetados (por ejemplo, MULTITuDE, MultiSocial, SemEval, GenAI, MIX) que contienen la verdad de referencia para textos escritos por humanos frente a textos generados por máquinas. Estos se utilizaron para evaluar la robustez y el rendimiento de los métodos de detección en datos fuera de distribución.
2. Conjuntos de datos de desinformación del mundo real: Cuatro conjuntos de datos que se presume contienen desinformación, noticias falsas o propaganda:
   • MultiClaim: Publicaciones de redes sociales multilingües verificadas profesionalmente (hasta marzo de 2024).
   • FakeNews: Artículos de noticias en inglés sobre las elecciones de EE. UU. (abril–octubre de 2023).
   • USC_X: Un conjunto de datos muestreado de Twitter/X de las elecciones de EE. UU. multilingüe (mayo–noviembre de 2024).
   • FIGNEWS: Publicaciones de Facebook multilingües sobre la guerra de Israel-Gaza (octubre de 2023–enero de 2024).

Marco de detección:
El estudio empleó dos detectores ajustados con precisión (fine-tuned) basados en el modelo Gemma-2-9b-it, utilizando QLoRA para un ajuste eficiente:

• Gemma_GenAI: Ajustado con la división de entrenamiento del conjunto de datos GenAI.
• Gemma_MultiDomain: Ajustado con las divisiones de entrenamiento combinadas de MULTITuDE y MultiSocial.

Para garantizar la robustez, los autores utilizaron una estrategia de detección de confianza combinada. Un texto se clasifica como generado por máquina si un detector predice la clase positiva con un 100% de confianza (probabilidad 1.0) y el otro no predice la clase negativa con un 100% de confianza (probabilidad > 0.0). Para mitigar los falsos positivos en idiomas específicos, las predicciones positivas de Gemma_GenAI fueron descalificadas para árabe, alemán, italiano y ruso si excedían una tasa de falsos positivos de 0.1 en los datos de referencia.

Para la estimación de la prevalencia, los autores también rastrearon la Puntuación Media (la probabilidad promedio de que un texto sea generado por máquina) para observar tendencias sin depender de umbrales de clasificación estrictos.

Resultados clave
El estudio proporciona la primera evidencia empírica de contenido generado por LLM en contextos de desinformación del mundo real, revelando lo siguiente:

• Evolución temporal: Existe una clara tendencia ascendente en el contenido generado por máquinas tras el lanzamiento público de ChatGPT (noviembre de 2022). En el conjunto de datos MultiClaim, la proporción de textos detectados como generados por máquina aumentó del 0.93% en 2021 al 1.85% en 2023 (un aumento relativo del 99%). Para 2024, la prevalencia alcanzó el 2.15%. La Puntuación Media de los detectores también aumentó significativamente entre 2021 y 2023.
• Disparidades lingüísticas: La prevalencia no es uniforme entre los idiomas. Mientras que el inglés y el español tienen los números absolutos más altos de textos detectados, el polaco (4.7%) y el francés (4.2%) muestran las proporciones relativas más altas de contenido generado por máquinas en el conjunto de datos MultiClaim. En el conjunto de datos FIGNEWS, los textos en francés mostraron más del 10% de generación por LLM, en comparación con aproximadamente el 4.7% para el inglés.
• Variaciones de plataforma: Se observaron diferencias entre las plataformas de redes sociales, mostrando Instagram la mayor proporción (1.5%), seguida de Facebook (1.29%) y Twitter/X (0.64%).
• Hallazgos específicos por conjunto de datos:
  • FakeNews: El 2.61% de los textos etiquetados como "reales" y el 3.27% de los textos etiquetados como "falsos" fueron identificados como generados por máquina.
  • FIGNEWS: El 3.16% de los textos fueron detectados como generados por máquina, con una mayor prevalencia en textos etiquetados como "Sesgado contra Israel" (5.11%) en comparación con "Sesgado contra Palestina" (3.13%).
  • USC_X (Elecciones 2024): La prevalencia aumentó del 0.44% en enero de 2024 al 2.39% en noviembre de 2024, coincidiendo con el período de las elecciones de EE. UU.
• Rendimiento de la detección: En los conjuntos de datos de referencia, el método de detección combinada logró una alta precisión (que oscila entre 93.58% y 99.85%), asegurando que las muestras positivas identificadas son altamente probables de ser verdaderamente generadas por máquinas.

Significancia y contribuciones
El artículo reclama tres contribuciones primarias al campo:

1. Validación empírica: Va más allá de la especulación al proporcionar la primera evaluación exhaustiva de la presencia de LLM en conjuntos de datos de desinformación del mundo real, confirmando que el contenido generado por máquinas ya es una realidad medible (alcanzando aproximadamente el 2.15% en 2024).
2. Reconocimiento de patrones: El estudio revela que el uso indebido de los LLM no es uniforme, sino que sigue patrones dirigidos a través de idiomas específicos (por ejemplo, polaco, francés) y plataformas, lo que sugiere que los contextos de "larga cola" son, de hecho, vulnerables y requieren atención específica.
3. Marco metodológico: Los autores establecen un marco analítico robusto utilizando detectores ajustados y agregación basada en la confianza para medir la prevalencia en datos fuera de distribución, ofreciendo un enfoque replicable para el monitoreo futuro.

Conclusión
Los autores concluyen que, si bien los LLM aún no se utilizan para la desinformación en volúmenes que superen significativamente el uso legítimo, los temores por su uso indebido están justificados. El aumento documentado del contenido generado por máquinas, particularmente en afirmaciones verificadas y en el discurso relacionado con las elecciones, subraya la necesidad urgente de una investigación continua, mejores métodos de detección y sistemas de evaluación de credibilidad para preservar la integridad de la información. Los hallazgos sugieren que el monitoreo proactivo debe centrarse en contextos de alta prevalencia, como idiomas y plataformas específicas, para contrarrestar eficazmente la desinformación impulsada por la IA.