Posts of Peril: Detecting Information About Hazards in Text

Resumen Técnico: Publicaciones de Peligro: Detección de Información sobre Riesgos en el Texto

Planteamiento del Problema
Mientras que los indicadores sociolingüísticos como el sentimiento, la emoción y la indignación moral se extraen rutinariamente del texto para analizar las interacciones humano-computadora, una dimensión crítica a menudo permanece pasada por alto: la presencia o ausencia de información relativa a riesgos (hazards). Definidos como eventos negativos que conllevan una alta probabilidad de un costo significativo (a menudo inmediato) para los intereses individuales, la información de riesgo es distinta de la negatividad general. La investigación evolutiva y psicológica sugiere que los humanos poseen una "credulidad con sesgo negativo", prestando más atención a los peligros potenciales y considerando más creíbles las declaraciones relacionadas con riesgos que las relacionadas con beneficios. A pesar de la importancia de este sesgo cognitivo en la propagación de la desinformación y las operaciones de información (IO), las herramientas existentes carecen de un mecanismo dedicado para detectar específicamente la información de riesgo, confundiéndola a menudo con el sentimiento negativo general o las palabras clave de amenaza.

Metodología
Los autores desarrollaron un nuevo modelo multilingüe para detectar información de riesgo en mensajes de texto en X (anteriormente Twitter). La metodología se desarrolla a través de cuatro etapas principales:

1. Curación de Datos de Verdad de Terreno (Ground Truth):

   • Se construyó un conjunto de datos de referencia extrayendo 1,331 publicaciones de X que contenían palabras del "Diccionario de Amenazas" (Choi et al., 2022).
   • Anotadores humanos (vía Cloud Research) etiquetaron estas publicaciones basándose en si describían un riesgo (algo que impone daño o costos).
   • Para garantizar la calidad, las anotaciones fueron filtradas por tiempo de completitud y controles de atención. Se descartaron las publicaciones con menos de dos anotaciones de trabajadores, resultando en 1,131 publicaciones para entrenamiento/validación/prueba.
   • Se realizaron anotaciones adicionales por parte de estudiantes en conjuntos de datos específicos (guerra Israel-Hamás y elecciones francesas de 2022) para verificar la generalizabilidad, traduciendo el texto al inglés para mantener la consistencia.

2. Entrenamiento del Modelo y Arquitectura:

   • Embeddings: Los autores utilizaron cuatro transformadores de oraciones multilingües (distiluse-base-multilingual-cased-v2, paraphrase-multilingual-MiniLM-L12-v2, Qwen3-Embedding-0.6B y stsb-xlm-r-multilingual) para convertir el texto en vectores de incrustación (embeddings).
   • Clasificadores: Se entrenaron modelos supervisados, incluyendo XGBoost, redes neuronales, Random Forest y Máquinas de Vectores de Soporte (SVM), utilizando estos embeddings. Los hiperparámetros se optimizaron mediante BayesSearchCV y GPyOpt.
   • Líneas Base (Baselines): El modelo se comparó contra:
     • Enfoques de diccionario (Diccionario de Amenazas + sinónimos).
     • Modelos de Lenguaje de Gran Escala (GPT-3.5, GPT-4, GPT-5) utilizando prompting de zero-shot, few-shot y cadena de pensamiento (chain-of-thought).
     • Indicadores de afecto existentes: Indignación moral, sentimiento (VADER) y detección de emociones (Demux).

3. Aplicación a Datos del Mundo Real:

   • El modelo se aplicó a dos grandes conjuntos de datos multilingües:
     • Guerra Israel-Hamás (2023): 3.6 millones de publicaciones (93% inglés, 6.5% árabe).
     • Elecciones Nacionales Francesas 2022: 5.9 millones de publicaciones (95% francés, 5% inglés).
   • Detección de Coordinación: Se identificaron cuentas como "coordinadas" (inauténticas/IO) mediante el emparejamiento de hashtags y el análisis de centralidad de autovector (Luceri et al., 2024) para distinguir el discurso orgánico de las campañas de información.

Resultados Clave

• Rendimiento del Modelo: El modelo XGBoost entrenado con embeddings multilingües alcanzó un Área Bajo la Curva de Característica Operativa del Receptor (ROC-AUC) de 0.79 ± 0.04. Este rendimiento es comparable al de los modelos de lenguaje de gran escala (GPT-3.5/4/5), pero ofrece un throughput significativamente mayor y un menor costo, lo que lo hace escalable para millones de publicaciones.
• Distintividad de las Señales de Riesgo: El clasificador de riesgo mostró correlaciones de Spearman absolutas bajas (< 0.5) con otros indicadores de afecto como la indignación moral, el sentimiento y la emoción general. Esto confirma que la detección de riesgo captura información única que no es reducible a la valencia negativa estándar o a la intensidad emocional.
  • La información de riesgo correlacionó positivamente con el miedo y negativamente con la alegría, como era de esperar.
  • Correlacionó positivamente con el Diccionario de Amenazas, pero superó a la línea base del diccionario (ROC-AUC 0.68), demostrando la necesidad de una IA sensible al contexto por encima del simple emparejamiento de palabras clave.
• Perspectivas sobre las Operaciones de Información:
  • Guerra Israel-Hamás: Las cuentas coordinadas mostraron patrones distintos en comparación con las cuentas orgánicas. Mientras que las cuentas orgánicas enfatizaron los riesgos para niños y civiles respecto al ataque del 7 de octubre, las cuentas coordinadas a menudo enmarcaron los riesgos de manera diferente, asociando a veces los riesgos con "bombas" y "civiles" en el contexto de la respuesta de Israel, o discutiendo selectivamente los riesgos para justificar la ayuda para bandos específicos.
  • Elecciones Francesas 2022: Se encontró que las cuentas coordinadas secuestraron el discurso electoral para discutir riesgos relacionados con la guerra Rusia-Ucrania (por ejemplo, amenazas nucleares) o abogar por un cambio de régimen en Uganda, utilizando el encuadre de riesgo para influir en las narrativas geopolíticas.
  • Dinámicas Temporales: En el conjunto de datos de Israel-Hamás, las cuentas orgánicas mostraron un pico agudo en la confianza de riesgo inmediatamente después del ataque del 7 de octubre, mientras que las cuentas coordinadas no mostraron un pico de confianza de riesgo similar, a pesar de un aumento en el volumen de publicaciones. Esto sugiere que la detección de riesgo puede servir como un indicador distintivo de eventos importantes en comparación con el volumen o el conteo de palabras de amenaza.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un "primer paso" hacia una detección de riesgos integral dentro de los entornos de guerra de información. Los autores afirman que:

1. Novedad: Han desarrollado y compartido el primer modelo dedicado para extraer información de riesgo de las redes sociales, abordando un vacío en las herramientas de análisis lingüístico existentes.
2. Utilidad: La herramienta revela características salientes del discurso geopolítico que no son detectadas por el análisis tradicional de sentimiento o emoción, específicamente cómo los operadores de información enmarcan los riesgos para influir en la opinión pública (por ejemplo, para suscitar ayuda para los bandos más débiles de un conflicto).
3. Accesibilidad: El modelo se publica como un paquete de Python de código abierto, y los conjuntos de datos anotados se ponen a disposición para permitir que investigadores y periodistas mejoren iterativamente la detección de riesgos y analicen el contenido de los mismos en sus propios contextos.

Los autores mantienen la modestia, señalando que el modelo actual es un paso fundacional y que se requerirá investigación futura para refinar las capacidades de detección de manera más profunda.