Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse

Resumen Técnico: Prestando atención a las desviaciones: Minería de matices pragmáticos para la detección del "whataboutism" en el discurso en línea

Planteamiento del problema
El artículo aborda el desafío poco explorado de detectar el "whataboutism" (el uso de la falacia de la distracción o "y qué hay de...") en el procesamiento de lenguaje natural (PLN) cuantitativo. El whataboutism se define como una maniobra discursiva utilizada para desviar críticas o evitar temas desfavorables mediante la mención de un asunto diferente, a menudo más favorable, o mediante la realización de una contraacusación. Aunque a menudo se asocia con la falacia tu quoque y la propaganda, los autores argumentan que los métodos de detección actuales dependen demasiado de la presencia léxica explícita de la frase "what about" (¿qué hay de...?). Este enfoque no logra distinguir entre:

1. Desviación propagandística: El uso de la construcción para desviar narrativas y sembrar desconfianza.
2. Argumentación válida: El uso de la construcción para cuestionar afirmaciones, sugerir soluciones o añadir especificaciones dentro de un discurso razonable.

La dificultad central reside en la "flexibilidad pragmática" de la construcción. Oraciones sintáctica y semánticamente similares pueden funcionar como argumentación válida o como propaganda dañina, dependiendo enteramente del contexto discursivo, es decir, de la Pregunta Bajo Discusión (QUD, por sus siglas en inglés) antecedente. Los modelos actuales de vanguardia para la detección de propaganda y similitud semántica fallan al capturar estos matices pragmáticos, clasificando erróneamente la argumentación válida como propaganda o pasando por alto desviaciones sutiles.

Metodología
Los autores proponen un nuevo marco que involucra nuevos conjuntos de datos, un análisis temático y una innovación arquitectónica específica para la minería de muestras negativas.

1. Construcción del conjunto de datos (TQ+):
   Los autores introducen dos nuevos conjuntos de datos, TQ+ (Tu Quoque and beyond), que comprenden:

   • TQ+YT: 1,642 comentarios de YouTube etiquetados a través de seis temas socialmente divisivos.
   • TQ+TW: 1,202 pares de tweet-respuesta de Twitter a través de ocho temas.
     A diferencia de los corpus anteriores que asumían que todas las instancias eran propagandísticas, estos conjuntos de datos distinguen entre la argumentación válida y el whataboutism. Las anotaciones fueron realizadas por tres hablantes nativos de inglés con un alto acuerdo entre anotadores ($\kappa = 0.65$ para YouTube, $\kappa = 0.75$ para Twitter), requiriendo que los anotadores revisaran el contexto completo del video o los hilos de conversación para comprender el entorno pragmático.

2. Experimentos de referencia (Baselines):
   El estudio evalúa primero los enfoques estándar:

   • Aprendizaje por transferencia (Transfer Learning): Ajuste fino (fine-tuning) de BERT y RoBERTa (incluyendo una variante de detección de ironía) sobre los datos etiquetados.
   • Similitud semántica: Utilización de SBERT, Aprendizaje Contrastivo con "Correct and Smooth" (C&S) y SimCSE. Estos modelos dependen de la similitud de coseno para diferenciar muestras positivas y negativas.
   • Hallazgos: Estos modelos de referencia desempeñan un papel deficiente, particularmente en los datos de YouTube. Exhiben un fuerte sesgo hacia la clase mayoritaria (no-whataboutism) y no logran distinguir las diferencias pragmáticas, apoyándose a menudo en la similitud semántica superficial, la cual es insuficiente para esta tarea.

3. Método propuesto: MINA (Mining Negatives with Attention):
   Para superar las limitaciones de la similitud de coseno en espacios de alta dimensión (donde los vectores tienden a ser casi ortogonales) y la incapacidad de capturar cambios pragmáticos, los autores proponen MINA.

   • Mecanismo: En lugar de utilizar la similitud de coseno para seleccionar muestras negativas, MINA emplea pesos de atención cruzada de un codificador Transformer.
   • Proceso: Para un comentario objetivo $t$, el modelo construye una tupla de contexto que contiene $t$ y $c$ comentarios del mismo hilo/video. El modelo utiliza la atención cruzada para identificar el comentario dentro del contexto que es pragmáticamente más disímil (es decir, la muestra negativa más efectiva para el contraste).
   • Arquitectura: El texto del comentario objetivo y el comentario de contexto seleccionado (el "más disímil") se concatenan y se introducen en un Perceptrón Multicapa (MLP) para la clasificación. Esto permite que el modelo aprenda el fundamento pragmático dentro del discurso social ambiente en lugar de depender únicamente de la semántica distributiva global.

Resultados clave
Los autores reportan mejoras significativas sobre los métodos previos de vanguardia utilizando el enfoque MINA:

• YouTube (TQ+YT): MINA logró una mejora del 10% en la puntuación F1 sobre el siguiente mejor resultado. Específicamente, aplicar MINA a SBERT aumentó la F1 de 0.07 a 0.58, y aplicar MINA al modelo de ironía de RoBERTa aumentó la F1 de 0.30 a 0.52.
• Twitter (TQ+TW): MINA logró una mejora del 4% sobre el mejor modelo de referencia. SBERT con MINA alcanzó una F1 de 0.75, superando a vanilla SBERT (0.69) y a RoBERTa (0.71).
• Estudios de ablación: Se encontró la configuración óptima con 2 capas de codificador, 32 cabezales de atención y un tamaño de contexto de 1. El estudio también encontró que aumentar las capas del codificador o los cabezales de atención más allá de estos valores no aportaba beneficios.
• Desempeño de LLM: Los autores probaron modelos de lenguaje de gran tamaño (Llama-2, GPT-3.5-turbo) y encontraron que desempeñaban pobremente (puntuaciones F1 inferiores a los baselines de BERT), teniendo dificultades con instancias de whataboutism matizadas y parafraseadas, a pesar de sus capacidades generales.

Significancia y Reivindicaciones
El artículo sostiene que la detección del whataboutism requiere un cambio de un análisis puramente semántico o sintáctico a un análisis pragmático.

• Distinción de la propaganda: El trabajo demuestra que el whataboutism no es sinónimo de propaganda; se solapa, pero sirve funciones distintas, incluyendo herramientas de argumentación válidas como el desafiar o centrar la atención.
• Limitaciones de las medidas de similitud: El estudio proporciona evidencia empírica de que las medidas convencionales de similitud semántica (como la similitud de coseno) son inadecuadas para capturar las diferencias pragmáticas necesarias para detectar la desviación en el discurso de las redes sociales.
• Novedad de MINA: La introducción del uso de pesos de atención para la minería de muestras negativas se presenta como una contribución novedosa que logra modelar el contraste pragmático. Este enfoque sugiere que fundamentar el texto en el discurso social circundante (mediante la atención al contexto más disímil) es más efectivo que el aprendizaje contrastivo estándar para tareas que involucran maniobras discursivas complejas.
• Contribución de recursos: La publicación de los conjuntos de datos TQ+, que son más grandes y matizados que los corpus de propaganda anteriores, tiene como objetivo impulsar más investigación sobre el papel de la pragmática en la detección de la desinformación y las falacias.

Los autores mantienen la modestia respecto a las limitaciones, señalando que los conjuntos de datos están desbalanceados (reflejando escenarios del mundo real), que los temas emotivos pueden influir en el etiquetado, y que la dependencia de lotes de tuplas aleatorizadas en MINA puede causar una ligera varianza en los modelos reentrenados. Concluyen que, aunque los modelos actuales tienen dificultades, el marco propuesto de MINA ofrece un camino viable para comprender el complejo discurso que rodea a la desinformación.