Robust Fake News Detection using Large Language Models under Adversarial Sentiment Attacks

Resumen Técnico: Detección Robusta de Noticias Falsas mediante Modelos de Lenguaje de Gran Escala bajo Ataques de Sentimiento Adversarios

Planteamiento del Problema
La desinformación y las noticias falsas representan un desafío social significativo, lo que requiere métodos de detección automatizados fiables. Si bien investigaciones previas han establecido el sentimiento como una señal crítica para distinguir las noticias reales de las falsas, esta dependencia crea una vulnerabilidad. Los adversarios pueden manipular el tono emocional del texto para evadir la detección, un riesgo exacerbado por la llegada de los Modelos de Lenguaje de Gran Escala (LLM) capaces de reescribir contenido con un sentimiento controlado preservando la exactitud de los hechos. Aunque algunos estudios han explorado ataques adversarios contra detectores de noticias falsas, se han centrado principalmente en rasgos estilísticos (por ejemplo, el estilo de escritura) en lugar del sentimiento. En consecuencia, la vulnerabilidad específica de los detectores de noticias falsas ante la manipulación del sentimiento generada por LLM permanece en gran medida inexplorada.

Metodología
El artículo propone AdSent, un marco de detección robusto al sentimiento diseñado para mantener la consistencia en las predicciones de veracidad tanto en artículos de noticias originales como en aquellos con el sentimiento alterado. El marco consta de dos componentes principales:

1. Evaluación Comparativa Adversaria Dirigida al Sentimiento:

   • Los autores utilizan LLMs como "falsificadores" para generar ataques adversarios controlados.
   • Para cada documento de noticias, el LLM reescribe el texto para transmitir un sentimiento positivo, negativo o neutral, preservando estrictamente el contenido fáctico y la coherencia.
   • Este proceso crea un punto de referencia para evaluar la robustez de los detectores de vanguardia frente a los cambios de sentimiento, tratando a los detectores como clasificadores de caja negra.

2. Estrategia de Entrenamiento Agnóstica al Sentimiento:

   • Para mitigar el sesgo introducido por las claves de sentimiento, los autores proponen una estrategia de entrenamiento donde el modelo de detección es ajustado (fine-tuned) con variantes de los datos de entrenamiento neutralizadas en sentimiento.
   • Se utiliza un LLM (específicamente LLaMA-3.1-8B-Instruct) para reescribir los artículos de entrenamiento hacia un tono neutral.
   • El modelo de detección se entrena entonces con estas versiones neutralizadas, obligándolo a depender del contenido fáctico en lugar del tono emocional para determinar la veracidad.
   • Durante la inferencia, los artículos de entrada son primero neutralizados por el falsificador antes de ser pasados al detector.

Contribuciones Clave

1. Evaluación Comparativa Adversaria: Los autores introducen una serie de ataques basados en el sentimiento controlados mediante el uso de LLMs. Demuestran que los detectores actuales de vanguardia sufren una degradación significativa del rendimiento cuando se enfrentan a la manipulación del sentimiento.
2. Descubrimiento del Sesgo del Modelo: El estudio revela un sesgo crítico en los modelos existentes: tienden a clasificar los artículos de tono neutral como "reales" y los artículos no neutrales (emocionales) como "falsos". Este hallazgo contradice la hipótesis inicial de que las noticias falsas son inherentemente más negativas; en su lugar, la manipulación del sentimiento hacia un tono neutral resulta ser el escenario adversario más desafiante.
3. Marco AdSent: El artículo presenta AdSent, un enfoque novedoso que mejora la robustez mediante el entrenamiento con datos neutralizados en sentimiento. Esto asegura la consistencia de la predicción independientemente del encuadre emocional del artículo.

Resultados Experimentales
Los autores evaluaron AdSent en tres conjuntos de datos de referencia: PolitiFact, GossipCop y Labeled Unreliable News (LUN).

• Vulnerabilidad de las Líneas Base: Bajo la manipulación del sentimiento, los detectores estándar (incluyendo RoBERTa ajustado y SheepDog) experimentaron caídas sustanciales en el rendimiento, con puntuaciones F1 que disminuyeron hasta un 21.51% en el conjunto de datos de PolitiFact. Los LLMs de aprendizaje cero (zero-shot) también mostraron una degradación significativa.
• Impacto de los Cambios de Sentimiento: El análisis de los cambios de predicción indicó que convertir las noticias falsas a un tono neutral causó la mayor tasa de clasificación errónea (falsos negativos), donde las noticias falsas eran etiquetadas incorrectamente como reales. Por el contrario, las noticias reales tenían menos probabilidades de ser clasificadas erróneamente como falsas al ser neutralizadas.
• Rendimiento de AdSent: AdSent superó significativamente a todas las líneas base en los conjuntos de prueba neutralizados, logrando puntuaciones F1 macro de 87.76 en PolitiFact y 78.56 en GossipCop.
• Generalización:
  • Ataque Cruzado: AdSent demostró robustez no solo contra ataques de sentimiento, sino que también se generalizó eficazmente a ataques adversarios basados en el estilo (por ejemplo, imitando editores específicos), superando al baseline especializado SheepDog en tales escenarios.
  • Conjunto de Datos Cruzado: Cuando fue entrenado en PolitiFact y probado en el conjunto de datos no visto LUN, AdSent mantuvo un rendimiento superior en comparación con SheepDog, indicando que el entrenamiento adversario de sentimiento produce rasgos transferibles.

Significado y Reivindicaciones
El artículo afirma que la dependencia de los detectores actuales de noticias falsas de las claves de sentimiento es una debilidad crítica que los LLM pueden explotar fácilmente. Al demostrar que el sentimiento neutral es la perturbación adversaria más efectiva, los autores resaltan un sesgo fundamental en los modelos existentes. La importancia de AdSent radica en su capacidad para desacoplar la detección de veracidad del tono emocional, creando así una defensa más robusta contra campañas de desinformación sofisticadas impulsadas por LLM. Los autores concluyen que su enfoque mejora significativamente tanto la precisión como la robustez, generalizando bien a conjuntos de datos no vistos y diversos escenarios adversarios.

Direcciones Futuras
Los autores señalan que el trabajo futuro se centrará en extender AdSent a la detección de desinformación multimodal, investigando cómo las señales visuales (por ejemplo, expresiones emocionales en imágenes) interactúan con el sentimiento textual. También planean explorar perturbaciones adversarias dirigidas a otros valores periodísticos, como la proximidad, la novedad y la prominencia.