Space2Ground 2.0: A Multi-Source Dataset and Framework for Agricultural Monitoring through Fusion of Street-Level and Satellite Imagery

Resumen Técnico: Space2Ground 2.0

Planteamiento del Problema
El monitoreo agrícola preciso y escalable a nivel de parcela enfrenta limitaciones significativas cuando se depende únicamente de la observación de la Tierra (EO) por satélite. Los sensores ópticos (por ejemplo, Sentinel-2) se ven obstaculizados por la cobertura de nubes y las condiciones atmosféricas, mientras que los datos de Radar de Apertura Sintética (SAR) (por ejemplo, Sentinel-1), aunque funcionan en cualquier condición climática, son complejos de interpretar y están menos vinculados directamente a características específicas de los cultivos. Además, la resolución espacial de los sistemas satelitales estándar suele resultar insuficiente para campos pequeños o heterogéneos. Si bien los satélites comerciales de resolución muy alta (VHR) y las imágenes aéreas ofrecen un mayor detalle, sus altos costos y limitadas frecuencias de revisión restringen su uso operativo a gran escala. Por el contrario, los estudios de campo tradicionales in situ son demasiado costosos y laboriosos para proporcionar los datos continuos y escalables de verdad de terreno requeridos para las políticas agrícolas modernas basadas en datos, como la Política Agrícola Común (PAC). Aunque las imágenes a nivel de calle de origen colaborativo (crowdsourced) ofrecen una alternativa prometedora y rentable, su integración en los flujos de trabajo operativos se ve dificultada por las condiciones de adquisición heterogéneas, la cobertura dispersa, el contenido ruidoso y la falta de anotaciones directas a nivel de parcela.

Metodología
El artículo presenta Space2Ground 2.0, un marco automatizado de extremo a extremo diseñado para transformar las imágenes a nivel de calle de origen colaborativo en datos listos para el análisis y vinculados a parcelas, mediante su fusión con series temporales de Sentinel-1 y Sentinel-2. La metodología se aplicó a la temporada de cultivo de 2022 en Chipre, utilizando un conjunto de datos de referencia de 325.673 parcelas agrícolas de la Aplicación Geoespacial de Ayuda Nacional (GSAA).

El flujo de procesamiento consta de cuatro etapas principales:

1. Adquisición y Recuperación de Datos: El marco ingiere más de 900.000 imágenes georreferenciadas recolectadas mediante cámaras montadas en vehículos (GoPro y smartphones) y cargadas en la plataforma Mapillary. Los metadatos (marcas de tiempo, coordenadas, orientación) y los productos de visión computacional (detección de objetos, segmentación semántica) se recuperan a través de la API de Mapillary.
2. Filtrado Semántico: Para eliminar contenido no agrícola (carreteras, edificios), el flujo de trabajo utiliza los resultados de segmentación semántica de Mapillary. Se descartan las imágenes donde la vegetación y el suelo ocupan menos del 20% de la escena visible, reduciendo el conjunto de datos a aproximadamente 506.000 imágenes.
3. Evaluación de la Calidad de la Imagen (NR-IQA): Una evaluación de calidad de imagen sin referencia emplea cuatro modelos de aprendizaje profundo (MANIQA, HyperIQA, CLIP-IQA, TReS). Las imágenes que caen en el 5% inferior de las puntuaciones de calidad en al menos tres modelos son eliminadas, refinando aún más la colección a aproximadamente 472.000 imágenes.
4. Asociación y Refinamiento de Parcelas:
   • Proyección del Punto de Vista: Utilizando la ubicación y orientación de la cámara (o la dirección reconstruida del vehículo), se proyecta un punto de vista 10 metros adelante para identificar la parcela agrícola observada. Esto simplifica el proceso de asociación en comparación con los enfoques previos de cámaras frontales.
   • Asignación de Etiquetas: Las imágenes se asignan a la etiqueta de tipo de cultivo de la parcela intersectada de la base de datos GSAA.
   • Agrupación y Curaduría: Las características visuales profundas (VGG-16) se reducen mediante PCA y se agrupan (k-means). Los grupos dominados por ruido o asociaciones incorrectas son inspeccionados manualmente y descartados.
   • Resultado Final: El flujo de trabajo genera un conjunto de datos curado de 46.050 imágenes a nivel de calle anotadas vinculadas a 8.581 parcelas agrícolas a través de 14 clases de cultivos.

Contribuciones Clave
El artículo describe tres contribuciones:

1. Metodología Automatizada: Un flujo de trabajo escalable para convertir imágenes de origen colaborativo crudas y oportunistas en conjuntos de datos estructurados y vinculados a parcelas mediante filtrado semántico, control de calidad y asociación espacial.
2. Marco Multifuente: Un flujo de trabajo reproducible para integrar series temporales de EO satelital con imágenes a nivel de calle para apoyar el monitoreo agrícola, la verificación visual y la resolución de disputas (por ejemplo, controles del Sistema de Monitoreo de Áreas).
3. Conjunto de Datos de Referencia Abierto: El lanzamiento del conjunto de datos Space2Ground 2.0, acompañado de evaluaciones de línea base de aprendizaje automático/aprendizaje profundo para la clasificación de cultivos multimodal, facilitando la investigación reproducible.

Resultados Experimentales
La utilidad del conjunto de datos se evaluó mediante experimentos de clasificación de cultivos a nivel de parcela comparando enfoques de solo satélite, solo nivel de calle y fusión multimodal.

• Solo Satélite: Las series temporales de Sentinel-1 y Sentinel-2 demostraron ser la modalidad única más fuerte. El modelo XGBoost logró la mayor precisión general (78,90%) y F1-score (69,09%) entre las líneas base de una sola modalidad.
• Solo Nivel de Calle: El rendimiento independiente fue menor (ViT-B/16 logró un 70,17% de precisión), atribuido a la naturaleza oportunista de los datos (cobertura temporal limitada por parcela) y las incertidumbres de adquisición (oclusiones, errores de GPS).
• Fusión Multimodal: La integración de ambas modalidades produjo mejoras significativas.
  • Fusión Temprana (a nivel de características): La concatenación de los embeddings de VGG-16 con las características satelitales mejoró la precisión al 82,65%.
  • Fusión Tardía (a nivel de decisión): La combinación de las predicciones de un modelo satelital XGBoost y un modelo de nivel de calle ViT-B/16 logró el mejor desempeño: 84,12% de precisión general y 82,78% de F1-score.
  • Conclusión: Los resultados demuestran que las imágenes a nivel de calle proporcionan información visual de escala fina complementaria (estructura del cultivo, apariencia del dosel) que mejora la clasificación cuando se fusiona con series temporales satelitales, mejorando particularmente el rendimiento equilibrado de las clases (F1-score).

Significancia y Reivindicaciones
Los autores posicionan a Space2Ground 2.0 como una solución práctica para cerrar la brecha entre la creciente disponibilidad de datos de teledetección heterogéneos y su aplicación en el monitoreo agrícola escalable. El marco ofrece una vía para:

• Mejorar la precisión del monitoreo a nivel de parcela y apoyar los controles "en el escritorio" (OTSC) bajo las regulantes de la PAC.
• Reducir la dependencia de las costosas y laboriosas inspecciones físicas de campo.
• Proporcionar una metodología reproducible para generar conjuntos de datos vinculados a parcelas que puedan transferirse a otras regiones con disponibilidad de datos similar.

El artículo reconoce modestamente las limitaciones, incluyendo las restricciones de accesibilidad por carretera, posibles oclusiones, imprecisiones de GPS y el ruido inherente en las etiquetas de referencia declaradas por los agricultores (GSAA). Sin embargo, afirma que el flujo de trabajo propuesto, que incluye un refinamiento ligero con intervención humana (human-in-the-loop), transforma eficazmente los datos de origen colaborativo débilmente estructurados en un recurso confiable para aplicaciones de IA agrícola multimodal.