ROUGE : A database of disaster impacts in the Global South using Red Cross reports and Large Language Models

Resumen Técnico: ROUGE – Una base de datos de impactos de desastres en el Sur Global

Planteamiento del problema
Los datos de alta calidad sobre daños por peligros naturales son esenciales para una gestión eficaz del riesgo de desastres. Sin embargo, los conjuntos de datos de impactos globales existentes sufren limitaciones significativas: presentan un sesgo geográfico hacia el Norte Global, se centran predominantemente en pérdidas monetarias —descuidando los impactos humanos, sociales y ambientales— y rara vez proporcionan datos a escalas subnacionales. Además, los métodos tradicionales para extraer datos de impacto de textos no estructurados (como noticias o informes) suelen depender de búsquedas de palabras clave basadas en reglas o modelos de aprendizaje supervisado que requieren una anotación manual extensa y laboriosa, particularmente para tipos de impacto poco frecuentes. Estas brechas resultan en una subnotificación de riesgos en las regiones más vulnerables y en una falta de granularidad necesaria para la modelización precisa de impactos.

Metodología
Los autores presentan ROUGE (Redcross Operations Unified Global Emergency database), una nueva base de datos de impactos socioeconómicos construida mediante el aprovechamiento de informes operativos textuales de la Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja (IFRC) y Modelos de Lenguaje de Gran Tamaño (LLMs). La metodología sigue un flujo de trabajo de cuatro pasos:

1. Adquisición y preprocesamiento de datos: El estudio utiliza 2,610 informes operativos (DREF y Apelaciones de Emergencia) emitidos entre 2016 y 2025. Tras filtrar por peligros naturales (14 tipos, incluyendo sequías, inundaciones, ciclones y terremotos) y asegurar la consistencia estructural, se seleccionaron 776 apelaciones únicas. Los informes se convirtieron a texto y se descartaron los documentos que no estuvieran en inglés. Para mejorar la eficiencia, el flujo de trabajo extrae solo secciones específicas de los informes que contienen información sobre el peligro y el impacto, reduciendo el promedio de texto procesado por informe de 223 a 70 oraciones.
2. Definición de la tipología de impacto: Se desarrolló una tipología de impacto socioeconómico, compuesta por 3 tipos principales (Humano, Infraestructura y Acceso a Servicios, Economía y Cultura) y 20 subtipos (por ejemplo, Personas Desplazadas, Atención Médica, Asentamientos Informales). Este marco se alinea parcialmente con los marcos de la UNDRR Sendai y EM-DAT, pero incluye categorías específicas que se encuentran frecuentemente en los informes de la IFRC, tales como "Asentamientos Informales" y "Personas sin Hogar".
3. Extracción basada en LLM: El estudio emplea el modelo meta-llama/llama-4-scout-17b-16e-instruct a través de la plataforma en la nube GROQ. El proceso de extracción se realiza por etapas:
   • El texto se divide en fragmentos de aproximadamente 1,000 caracteres para identificar subtipos de impacto y valores.
   • Se utiliza el texto completo del informe para recuperar metadatos contextuales (ubicaciones, fechas, peligros) para los impactos identificados.
   • Se le solicita al modelo que extraiga campos específicos (subtipo, valor, unidad, ubicación, peligro, fechas) y genere una salida en formato JSON estructurado.
   • Se extraen explícitamente los subtipos de "control" (por ejemplo, fondos recaudados) para evitar clasificaciones erróneas, aunque posteriormente se descartan.
4. Post-procesamiento y validación: Los datos extraídos se someten a una armonización (estandarización de unidades al SI o EUR, conversión de "hogares" a "personas"), geocodificación (mapeo de ubicaciones textuales a polígonos ADMIN0–ADMIN2 utilizando los conjuntos de datos GAUL y Natural Earth) y señalización de calidad. Un sistema de banderas rastrea errores de extracción, pasos de post-procesamiento, advertencias (por ejemplo, fechas faltantes) y errores críticos (por ejemplo, valores de población que exceden los totales del país) para filtrar el conjunto de datos final.

Contribuciones clave

• Base de datos ROUGE: El conjunto de datos resultante documenta los impactos socioeconómicos de 776 desastres en 145 países para 14 tipos de peligros. Contiene 15,147 registros de impacto, cubriendo 20 subtipos de impacto.
• Cobertura geográfica y temática: La base de datos se dirige específicamente al Sur Global, regiones que suelen estar subrepresentadas en los conjuntos de datos existentes. Proporciona datos a nivel subregional (hasta ADMIN2), ofreciendo un detalle espacial más fino que los agregados a nivel nacional comunes en otras bases de datos.
• Enfoque no monetario: A diferencia de muchas bases de datos existentes, ROUGE captura una amplia gama de impactos no monetarios, incluyendo la salud humana, daños en infraestructuras y acceso a servicios, junto con métricas tradicionales como fatalidades y poblaciones afectadas.
• Acceso abierto: Los datos se publican en formatos CSV (sin geometrías) y Parquet (con geometrías) bajo una licencia Creative Commons, acompañados de código para la reproducción y validación.

Resultados y validación técnica

• Distribución de datos: El conjunto de datos está fuertemente concentrado en África (5,416 registros) y Asia (4,903 registros). Las inundaciones, tormentas tropicales y tormentas convectivas son los peligros más frecuentemente asociados. Las tasas de éxito de geocodificación muestran que el 56% de los impactos están a nivel de país (ADMIN0), el 31% al primer nivel administrativo (ADMIN1) y el 13% al segundo nivel (ADMIN2).
• Validación interna: Los autores validaron la extracción del LLM contra un corpus etiquetado manualmente de 39 informes (1,433 oraciones).
  • Precisión y Exhaustividad (Recall): El modelo alcanzó una precisión de 0.71 y una exhaustividad de 0.75 (puntuación F1 de 0.73) para el conjunto de datos total.
  • Cualitativo vs. Cuantitativo: El modelo funcionó mejor con datos cualitativos (precisión 0.79) que con datos cuantitativos (precisión 0.68), los cuales se vieron afectados por la densidad de información en listas o tablas.
  • Similitud de variables: Los puntajes de similitud fueron altos (>80%) para las unidades de impacto, códigos de país, años de inicio y peligros. La extracción de fechas mostró una similitud menor (~50%), atribuida a la dificultad inherente de identificar fechas de eventos en el texto, un desafío también enfrentado por los anotadores humanos.
• Comparación externa: Al compararse con EM-DAT e IFRC GO:
  • ROUGE proporciona información cuantitativa para categorías (por ejemplo, Desplazados, Desaparecidos, Personas sin Hogar) que a menudo faltan en las otras dos bases de datos.
  • Para categorías superpuestas (por ejemplo, Personas Afectadas, Muertes Humanas), existe una divergencia sustancial en los valores reportados, con Coeficientes de Variación (CV) que oscilan entre 0.16 y 0.72 dependiendo de la categoría y la pareja de bases de datos. Esto resalta los desafíos inherentes a la armonización de datos de impacto cuantitativo entre fuentes.

Significancia y afirmaciones
El artículo posiciona a ROUGE como un recurso diseñado para apoyar la investigación que requiere información geográficamente explícita sobre los impactos socioeconómicos de los desastres. Los autores afirman que, al utilizar informes de la IFRC y LLMs, la base de datos aborda brechas críticas en la literatura existente: reduce el sesgo geográfico hacia el Norte Global, expande el alcance más allá de las pérdidas monetarias para incluir impactos humanos y sociales, y proporciona resolución espacial subnacional. Los autores enfatizan que la base de datos permite análisis más precisos e inclusivos de las consecuencias socioeconómicas de los peligros naturales, particularmente en regiones donde los datos son tradicionalmente escasos. Reconocen limitaciones, como la dependencia de los LLMs, que pueden producir alucinaciones o pasar por alto datos numéricos densos, y recomiendan a los usuarios verificar los fragmentos de origen para entradas sospechosas y utilizar valores máximos en lugar de sumas para evitar la doble contabilización.