LLM-based uncertainty assessment of social media situational signals for crisis reporting

1. Planteamiento del Problema

Las redes sociales se han convertido en una fuente crítica de conciencia situacional (SA) durante desastres, ofreciendo perspectivas en tiempo real sobre impactos y necesidades en evolución. Sin embargo, los sistemas existentes de información de crisis automatizada que aprovechan los Modelos de Lenguaje Grande (LLM) adolecen de un defecto crítico: asumen implícitamente que todas las publicaciones de redes sociales clasificadas son igualmente plausibles.

En la realidad, la calidad de la información durante las crisis varía significativamente debido a datos incompletos, contradicciones, rumores y la fiabilidad de la fuente. Tratar todas las señales como igualmente válidas corre el riesgo de amplificar el ruido o descartar señales genuinas pero anómalas. Además, las cadenas de procesamiento actuales rara vez comunican el grado de certeza asociado a la información extraída, limitando su utilidad para los tomadores de decisiones humanos que deben priorizar acciones bajo presión de tiempo. Existe una falta de marcos que modelen explícitamente la incertidumbre epistémica (incertidumbre que surge del conocimiento incompleto) al contrastar las afirmaciones de las redes sociales con datos independientes del mundo real.

2. Metodología

Los autores proponen un marco de tres pasos consciente de la incertidumbre que integra datos proxy externos para evaluar la plausibilidad y la confianza de las señales de redes sociales. La cadena de procesamiento es modular y consta de:

Paso 1: Clasificación de Conciencia Situacional (SA)

• Entrada: Publicaciones crudas de redes sociales (tweets).
• Proceso: Un LLM de cero disparos (zero-shot) clasifica los tweets en categorías específicas de SA (por ejemplo, "Personas afectadas", "Daños a la infraestructura", "Necesidades y donaciones") basándose en un esquema establecido.
• Salida: Tweets enriquecidos con etiquetas de SA y fundamentos.

Paso 2: Evaluación de Incertidumbre Informada por Proxy (Contribución Central)

Este paso evalúa si una afirmación situacional específica refleja plausiblemente las condiciones del mundo real.

• Entradas:
  1. El tweet clasificado (texto + metadatos).
  2. Datos Proxy Externos: Estimaciones de impacto estructuradas e independientemente recopiladas (por ejemplo, resúmenes PAGER de USGS para terremotos, que incluyen la Intensidad Mercalli Modificada, exposición de la población y estimaciones de fatalidades).
• Mecanismo: Se solicita al LLM que razone conjuntamente sobre el contenido del tweet y los datos proxy. No trata el proxy como una verdad absoluta, sino como un ancla contextual.
• Salidas: Dos métricas distintas para cada tweet:
  1. Puntuación de Plausibilidad ($l_i$): Una puntuación graduada en una escala Likert de 5 puntos (1 = Implausible, 5 = Altamente Plausible) que indica la alineación de la afirmación con las condiciones esperadas del mundo real.
  2. Puntuación de Confianza ($c_i$): Una puntuación continua (0–100) que representa la certeza autoexpresada del modelo en su juicio de plausibilidad.
• Estrategia de Elicitación: Para garantizar la robustez, el marco utiliza una estrategia de muestreo (generando $M=3$ respuestas con temperaturas variables) y una estrategia de agregación (promediando puntuaciones) para capturar la variabilidad y reducir la sobreconfianza, adaptando métodos de Xiong et al. [7].

Paso 3: Generación de Informes Conscientes de la Incertidumbre

• Proceso: En lugar de generar un único resumen, el sistema agrupa los tweets basándose en sus perfiles de incertidumbre.
• Operacionalización: El espacio de plausibilidad-confianza se divide en cuatro cuadrantes:
  • Q3: Alta Plausibilidad / Alta Confianza (Señales procesables y verificadas).
  • Q1: Alta Plausibilidad / Baja Confianza (Señales emergentes que requieren monitoreo).
  • Q4: Baja Plausibilidad / Alta Confianza (Expresadas con confianza pero probablemente falsas/rumores).
  • Q2: Baja Plausibilidad / Baja Confianza (Ruido ambiguo).
• Salida: Informes de crisis estructurados que comunican explícitamente qué se informa y cuán seguro está el sistema, permitiendo un "triaje epistémico".

3. Contribuciones Clave

1. Marco Novel: Introducción de un marco de evaluación de incertidumbre informado por proxy que modela explícitamente tanto la plausibilidad como la confianza para las señales de redes sociales, superando la clasificación binaria.
2. Evaluación Empírica: Un estudio a gran escala que involucra más de 200.000 tweets en seis eventos de terremotos importantes (por ejemplo, Chile 2014, Nepal 2015, Haití 2021), utilizando datos de USGS PAGER como proxy externo.
3. Operacionalización: Demostración de cómo las estimaciones de incertidumbre pueden utilizarse para generar informes de crisis diferenciados, permitiendo a los analistas priorizar la información basándose en niveles de riesgo y certeza.

4. Resultados

El estudio aborda dos Preguntas de Investigación (PI) principales:

• PI1: ¿Produce el marco variación en las estimaciones de incertidumbre?

  • Sí. A diferencia de una línea base donde todos los tweets se tratan como igualmente plausibles (entropía cero), el marco propuesto genera heterogeneidad estructurada.
  • Métricas: El análisis de entropía de Shannon mostró dispersión no nula tanto para la plausibilidad (hasta 1.82 bits) como para la confianza (hasta 1.21 bits) a través de los eventos.
  • Observación: Aunque los LLM mostraron una tendencia hacia una alta confianza (un sesgo conocido), el sistema aún logró diferenciar señales, asignando puntuaciones de plausibilidad variables (1–5) en lugar de colapsarlas en una sola categoría.

• PI2: ¿Condicionar en la incertidumbre altera la estructura del informe?

  • Sí. Los informes generados a partir de diferentes cuadrantes de incertidumbre (Q1–Q4) mostraron diferencias medibles en la composición semántica en comparación con un resumen de línea base.
  • Métricas: El análisis de similitud entre informes reveló que los informes de cuadrantes específicos (por ejemplo, Q4 en el evento de Fukushima) eran semánticamente distintos de la línea base y de otros cuadrantes.
  • Coherencia Interna: Los informes derivados de perfiles de incertidumbre específicos a menudo exhibieron una mayor coherencia semántica interna, lo que sugiere que la agrupación por incertidumbre crea narrativas más enfocadas.

5. Significado e Implicaciones

• Toma de Decisiones Consciente del Riesgo: El marco transforma datos crudos en inteligencia "consciente del riesgo". Permite a los respondedores de crisis distinguir entre inteligencia procesable de alta confianza y señales ambiguas o potencialmente engañosas sin requerir la verificación manual de cada publicación.
• Manejo de Anomalías: Al separar las señales de "Baja Plausibilidad/Alta Confianza" (Q4), el sistema ayuda a identificar rumores con confianza o eventos atípicos localizados (por ejemplo, el colapso de un edificio específico no capturado en datos regionales agregados) que de otro modo podrían descartarse o aceptarse ciegamente.
• Escalabilidad: El enfoque es agnóstico a la plataforma y puede aplicarse a otros tipos de desastres (inundaciones, incendios forestales) siempre que existan datos proxy externos estructurados.
• Humano en el Bucle: El sistema está diseñado para apoyar a los analistas humanos, no para reemplazarlos. Estructura el panorama de la información, permitiendo que los humanos enfoquen sus esfuerzos de verificación en perfiles de incertidumbre específicos (por ejemplo, investigando señales emergentes de Q1 o posibles desinformaciones de Q4).

6. Limitaciones

• Dependencia de Datos: El marco depende de la disponibilidad de datos proxy externos estructurados (como USGS PAGER), que pueden no existir para todos los tipos de peligros (por ejemplo, inundaciones complejas o disturbios civiles).
• Sensibilidad al Umbral: La partición de cuadrantes depende de umbrales fijos (Likert=3, Confianza=50) que no fueron optimizados; diferentes umbrales podrían alterar la distribución de los tweets.
• Métricas de Evaluación: El estudio utiliza similitud basada en incrustaciones (embeddings) para la evaluación en lugar de la verificación de hechos por expertos humanos, lo cual es difícil de realizar a escala para crisis en tiempo real.
• Sesgo del Modelo: La sobreconfianza observada en los LLM sigue siendo un desafío, aunque la estrategia de muestreo la mitiga parcialmente.

Conclusión

Este artículo presenta un paso significativo hacia adelante en la Informática de Crisis al pasar de una simple extracción a una síntesis consciente de la incertidumbre. Al modelar explícitamente la plausibilidad de las afirmaciones de las redes sociales frente a proxies del mundo real y elicitar la confianza del modelo, el marco proporciona una herramienta más transparente, matizada y operativamente útil para la información de crisis automatizada.