Resumen Técnico: SkyScraper – Un Sistema de Retroalimentación Multiagente para la Generación de Leyendas de Eventos Satelitales Impulsados por Noticias

Enunciado del Problema

El campo de la generación de leyendas para cambios en teledetección enfrenta un cuello de botella significativo en la disponibilidad de conjuntos de datos de generación de leyendas de eventos multi-temporales. Aunque existen conjuntos de datos bi-temporales (pares de imágenes) para cambios en uso/cobertura del suelo (LULC), los conjuntos de datos que contienen secuencias de más de dos imágenes son escasos. Esta escasez se debe a dos desafíos principales:

1. Dificultad de Descubrimiento: Identificar eventos visibles dentro de vastos archivos de imágenes satelitales es laborioso.
2. Carga de Anotación: Etiquetar manualmente secuencias multi-temporales requiere tiempo y esfuerzo considerables.

Los enfoques existentes, incluso aquellos que aprovechan Modelos de Lenguaje Grandes (LLM), suelen depender de conjuntos de datos temporales pre-etiquetados o de métodos basados en reglas aplicados a pares bi-temporales. Además, los métodos de geocodificación tradicionales utilizados para vincular artículos periodísticos con imágenes satelitales son propensos al ruido, incluyendo nombres de lugares incorrectos e imprecisiones donde la frecuencia de mención de un lugar no se correlaciona con la visibilidad real de un evento.

Metodología: El Marco SkyScraper

Para abordar estas limitaciones, los autores presentan SkyScraper, un flujo de trabajo iterativo multiagente diseñado para geocodificar artículos periodísticos y sintetizar leyendas para secuencias correspondientes de imágenes satelitales. A diferencia de los métodos tradicionales que extraen todos los nombres de lugares a la vez, SkyScraper emplea un bucle de retroalimentación agencial para refinar las búsquedas de forma iterativa.

La Pipeline Iterativa

El sistema opera mediante un ciclo de cinco pasos que involucra agentes distintos:

1. Extracción: Un LLM "Agente de Artículo" identifica una entidad geográfica nombrada y una línea de tiempo del evento a partir del texto.
2. Geocodificación: Una API de geocodificación convierte la entidad nombrada en coordenadas de latitud-longitud.
3. Obtención: Una API de datos recupera imágenes satelitales para las coordenadas y la línea de tiempo específicas.
4. Verificación: Un LLM multimodal "Agente Verificador" contrasta el texto del artículo con las imágenes obtenidas para determinar si el evento es visible, proporcionando el razonamiento de su decisión.
5. Generación de Leyenda: Si el evento se verifica, un LLM multimodal "Agente de Generación de Leyendas" genera una leyenda de cambio utilizando el artículo como contexto.

Refinamiento Iterativo (Algoritmo 1)

La innovación central radica en la capacidad del sistema para manejar fallos. En lugar de aceptar la primera ubicación geocodificada, el sistema solicita una ubicación candidata a la vez. Si la geocodificación falla o el Agente Verificador determina que el evento no es visible, el sistema:

• Registra el fallo y el razonamiento específico.
• Solicita una nueva ubicación candidata al Agente de Artículo, incorporando el historial de fallos.
• Repite el ciclo hasta encontrar un evento válido o alcanzar el número máximo de intentos.

Este enfoque mitiga el ruido inherente a la geocodificación tradicional al ajustar dinámicamente la búsqueda basándose en la retroalimentación de verificación visual.

Configuración Experimental y Resultados

Los autores evaluaron SkyScraper frente a dos líneas base de geocodificación tradicionales:

• Centroide Ponderado: Convierte coordenadas al formato Centrado en la Tierra, Fijo en la Tierra (ECEF) y calcula un promedio ponderado.
• GIPSY (Sistema de Procesamiento de Información Geo-referenciada): Un enfoque basado en polígonos ponderados que apila poliedros 3D según la superposición y la contención.

Utilizando un conjunto de prueba de 1.000 artículos periodísticos globales diversos (que cubren desastres naturales, construcción y disturbios civiles) e imágenes de PlanetScope (resolución de 3 m), el sistema se probó con Mapbox para la geocodificación y Gemini-2.5-flash para los agentes LLM.

Métricas Clave de Rendimiento:

• Centroide Ponderado: Detectó 17 eventos (rendimiento del 1,7 %).
• GIPSY: Detectó 47 eventos (rendimiento del 4,7 %), representando una mejora de 2,8 veces sobre el centroide.
• SkyScraper: Detectó 84 eventos (rendimiento del 8,4 %), demostrando una mejora de 4,9 veces sobre la línea base del centroide.

Los autores señalan que, dado que solo cuentan los verdaderos positivos, la mejora relativa es una métrica más informativa que el rendimiento absoluto, ya que los artículos sin eventos visibles reducen naturalmente el rendimiento bruto para todos los métodos.

Curación del Conjunto de Datos

Aplicando el marco SkyScraper a una gran base de datos de artículos periodísticos globales de la Base de Datos Global de Eventos, Lenguaje y Tono (GDELT) (2022–2024), los autores curaron dos nuevos conjuntos de datos de generación de leyendas multi-temporales:

• Conjunto de Datos PlanetScope: 5.000 secuencias con 3.288 eventos confirmados (promedio de 21 imágenes por secuencia).
• Conjunto de Datos Sentinel-2: 4.463 secuencias con 2.931 eventos confirmados (promedio de 8 imágenes por secuencia).

Estos conjuntos de datos fueron verificados manualmente por anotadores para la precisión de las leyendas y las fechas de los eventos.

Significado y Afirmaciones

El artículo afirma que SkyScraper demuestra la efectividad de la retroalimentación agencial como una estrategia para poner de manifiesto nuevos eventos multi-temporales en imágenes satelitales. Al automatizar la identificación de imágenes relacionadas con eventos noticiosos, el sistema:

1. Supera la Escasez de Datos: Genera con éxito conjuntos de datos de generación de leyendas multi-temporales donde la curación manual es prohibitiva.
2. Mejora la Precisión de la Geocodificación: Supera significativamente a los métodos tradicionales de geocodificación basados en reglas al filtrar falsos positivos mediante verificación visual.
3. Apoya al Periodismo: Proporciona una herramienta para vincular automáticamente narrativas periodísticas con evidencia visual, apoyando los esfuerzos de reportaje.

Los autores concluyen que este trabajo facilita la geocodificación de eventos, la generación de leyendas de múltiples imágenes y la curación de conjuntos de datos de referencia en el dominio de la teledetección, superando las limitaciones de los conjuntos de datos bi-temporales pre-etiquetados.