Resumen Técnico: EO-Gym

Enunciado del Problema

El análisis de Observación Terrestre (EO) es inherentemente un proceso interactivo donde resolver la incertidumbre a menudo requiere expandir la región de interés, recuperar observaciones históricas y cambiar entre modalidades de detección (por ejemplo, de óptico a Radar de Apertura Sintética). Sin embargo, las actuales referencias de EO colapsan en gran medida este flujo de trabajo dinámico en tareas de entrada fija y turno único. Aunque los Modelos de Lenguaje y Visión (VLM) muestran promesas para automatizar flujos de trabajo analíticos, la comunidad carece de una referencia multimodal controlada y reproducible que respalde la recopilación de evidencia dinámica y secuencial a través del espacio, el tiempo y la modalidad. Los recursos actuales se limitan a la comprensión estática o carecen de las herramientas especializadas y el anclaje ambiental necesarios para agentes autónomos de EO.

Metodología

Los autores introducen EO-Gym, un marco controlado y ejecutable diseñado para operacionalizar el análisis de EO como un problema de adquisición de evidencia interactiva.

1. El Entorno EO-Gym

EO-Gym es un espacio de trabajo geoespacial local estilo Gymnasium respaldado por un lago de datos impulsado por metadatos que contiene más de 660.000 archivos multimodales indexados por ubicación, tiempo y tipo de sensor. El entorno proporciona 35 herramientas especializadas en EO organizadas en tres paradigmas centrales:

• Planificación Espacial: Herramientas para panoramizar y hacer zoom más allá de los recortes de imagen iniciales.
• Obtención Temporal: Herramientas para recuperar observaciones históricas de ubicaciones específicas.
• Cambio Intermodal: Herramientas para alinear y cambiar entre vistas ópticas y SAR utilizando una columna vertebral geoespacial compartida.

Para garantizar una evaluación rigurosa, el entorno admite tres configuraciones operativas:

• Modo de Respuesta: Verificado (utilizando salidas del simulador respaldadas por datos reales para aislar la calidad de la planificación) y No Verificado (utilizando salidas de herramientas crudas para probar la robustez de extremo a extremo).
• Prompting: Simple (instruyendo la recopilación de evidencia mediante llamadas a funciones) y Detallado (proporcionando orientación de alto nivel sobre el acceso temporal, geoespacial e intermodal).
• Esquema de Herramientas: Habilidad (exponiendo solo las herramientas relevantes para la tarea) y Todas (exponiendo el esquema completo de 35 herramientas).

2. Referencia EO-GYM-DATA

Aprovechando el entorno, los autores construyeron EO-GYM-DATA, una referencia de trayectorias a gran escala que comprende:

• 9.078 trayectorias y 34.604 pasos de razonamiento.
• Datos anclados en ocho conjuntos de datos públicos de EO (incluyendo FAIR1M, XBD, M4-SAR, SARDet-100K) e imágenes de Landsat/Sentinel-2.
• Seis familias de tareas principales: Impacto de Desastres, Razonamiento Temporal, Navegación Espacial, Comprensión Visual, Conteo de Objetos y Razonamiento Geoespacial.
• Una división estricta de entrenamiento/prueba basada en el contexto de la trayectoria (imagen fuente + tipo de pregunta + espacio de herramientas) para prevenir la fuga de datos, con verificación manual para el conjunto de prueba.

3. Entrenamiento y Evaluación del Modelo

Los autores ajustaron finamente QWEN3-VL-4B-INSTRUCT utilizando Adaptación de Bajo Rango (LoRA) sobre EO-GYM-DATA para crear EO-GYM-4B. La evaluación se realizó en 10 VLM abiertos y cerrados (incluyendo la serie Qwen3-VL, GPT-4.1/5.1 y variantes de Gemini-2.5) utilizando una métrica Pass@k (k=1, 2, 3) y diagnósticos de ejecución (ratio de llamadas a herramientas, tasa de errores ilegales y cobertura de herramientas).

Contribuciones Clave

1. Entorno Ejecutable Controlado de EO: EO-Gym proporciona un entorno local totalmente ejecutable que respalda la navegación espacial, la recuperación temporal, el cambio intermodal y el uso de herramientas específicas de EO, yendo más allá de las referencias de entrada estática.
2. Referencia de Trayectorias Multimodales de EO: EO-GYM-DATA ofrece un conjunto de datos a escala de entrenamiento de 9.078 trayectorias de uso de herramientas, combinando de manera única el soporte de VLM con un espacio de trabajo masivo de recopilación de datos.
3. Referencia Unificada y Línea Base de Referencia: El artículo evalúa 10 modelos de última generación y establece EO-GYM-4B como una línea base de referencia sólida y especializada en EO.

Resultados

• Brecha de Rendimiento: Los VLM de propósito general sólidos luchan con el razonamiento interactivo de EO, particularmente en flujos de trabajo temporales e intermodales. Por ejemplo, bajo la configuración principal de evaluación (Verificado/Habilidad/Simple), el QWEN3-VL-4B-INSTRUCT base logró un Pass@3 de 0.49, mientras que el modelo cerrado de mejor rendimiento, GEMINI-2.5-PRO, alcanzó 0.67.
• Impacto del Ajuste Fino: EO-GYM-4B superó significativamente a todas las líneas base, logrando un Pass@3 de 0.74. Esto representa una mejora absoluta sustancial de +0.25 sobre su modelo base.
• Ganancias Específicas de Tarea: El modelo ajustado finamente mostró las mejoras más dramáticas en tareas que requieren recopilación activa de datos, como Razonamiento Temporal (Pass@3 aumentó de 0.29 a 0.69) e Impacto de Desastres (de 0.30 a 0.68).
• Fidelidad de Ejecución: EO-GYM-4B demostró un comportamiento superior de uso de herramientas, logrando la puntuación más alta en Tool-any (0.760) y reduciendo las llamadas a herramientas innecesarias en comparación con su modelo base.
• Robustez: El modelo mantuvo un alto rendimiento incluso bajo el modo "No Verificado" (salidas de herramientas crudas) y cuando las herramientas fueron renombradas, lo que sugiere que aprendió semánticas funcionales en lugar de memorizar cadenas de herramientas.

Significado y Afirmaciones

El artículo afirma que EO-Gym proporciona una base reproducible para desarrollar agentes autónomos capaces de razonamiento geoespacial a escala planetaria. Al cambiar el paradigma de la predicción estática a la adquisición interactiva de evidencia, el marco destaca que, aunque los modelos de propósito general luchan con flujos de trabajo dinámicos de EO, el ajuste fino específico de EO puede cerrar sistemáticamente esta brecha. Los autores postulan que su trabajo operacionaliza el EO como un problema de recopilación de evidencia que requiere planificación a través de modalidades geoespaciales, temporales y de detección, ofreciendo un campo de pruebas riguroso para futuros sistemas agentes en teledetección.

Los autores notan modestamente las limitaciones, incluida la falta de pruebas explícitas para la transferencia de conocimiento entre los tres paradigmas centrales de acceso a datos debido al acoplamiento de trayectorias, y la dependencia actual de herramientas predefinidas en lugar de la generación de código abierto. Sugieren que escalar el entrenamiento a modelos fundacionales más grandes podría mejorar aún más las capacidades de razonamiento interactivo.