Predicting Viticulture Potential through an Ensemble of U-Net and a Geospatial Foundation Model

Resumen Técnico: Predicción del Potencial Vitícola mediante un Ensamble de U-Net y un Modelo Fundacional Geoespacial

Definición del Problema
El artículo aborda el desafío de predecir la idoneidad agrícola, específicamente para la viticultura, utilizando datos de teledetección. Los métodos tradicionales para determinar la idoneidad de la tierra implican estudios físicos costosos y lentos que requieren una reevaluación frecuente para dar cuenta de las condiciones ambientales cambiantes y el cambio climático. Los autores se centran en ImageCLEF AI4Agri 2026: Subtask 1, que utiliza el conjunto de datos AgriPotential para clasificar imágenes multiespectrales de Sentinel-2. El objetivo es asignar una puntuación de idoneidad agrícola a nivel de píxel del 1 al 5 para la viticultura en el sur de Francia. El conjunto de datos presenta desafíos específicos, incluyendo una alta proporción de píxeles no etiquetados (aproximadamente el 50% en todas las divisiones), un gran volumen de datos (~200 GB) y la necesidad de modelar la dinámica temporal a través de 34 pasos temporales (2017–2019).

Metodología
El equipo DS@GT ARC propuso un ensamble ponderado de dos modelos de aprendizaje profundo distintos, ambos entrenados de forma independiente y combinados en el momento de la inferencia.

1. Arquitectura U-Net (Apilamiento Temporal):

   • Estrategia de Entrada: En lugar de un modelado temporal explícito, los autores trataron los 34 pasos temporales y los 15 canales (10 bandas de Sentinel-2 sin procesar + 5 índices espectrales incluyendo NDVI, NDMI, NDWI, NDRE y NBR) como un único tensor de entrada de $34 \times 15 = 510$ canales.
   • Arquitectura: Una U-Net estándar extendida con conexiones residuales, una dimensión de canal base de 128 y una profundidad de 3.
   • Función de Pérdida: El modelo emplea una pérdida de entropía cruzada binaria ordinal, que tiene en cuenta la naturaleza ordenada de las clases de idoneidad (1–5). Los píxeles no etiquetados se excluyen del cálculo de la pérdida.
   • Salida: Una salida de un solo canal pasada a través de una capa ordinal con 4 umbrales aprendibles (suma acumulativa de valores transformados por softplus) para generar fronteras de decisión binarias.

2. Modelo Fundacional Prithvi-EO-2.0 (Agregación Estacional):

   • Estrategia de Entrada: Para alinearse con la configuración de preentrenamiento del modelo Prithvi-EO-2.0, los 34 pasos temporales se agregaron en cuatro medias estacionales. Solo se utilizaron las seis bandas espectrales utilizadas durante el preentrenamiento de Prithvi (Azul, Verde, Rojo, NIR, SWIR-1, SWIR-2).
   • Arquitectura: El modelo realiza un ajuste fino (fine-tuning) del backbone prithvi_eo_v2_100_tl (100 millones de parámetros) con un cuello de Pirámide de Características (Feature Pyramid Neck) y un decodificador UperNet. Incorpora codificaciones temporales y de coordenadas de localización.
   • Estrategia de Entrenamiento: El codificador se mantuvo congelado durante los primeros 7 épocas. El modelo utiliza un enfoque de etiquetado pseudo mediante profesor-alumno: la U-Net entrenada actúa como un profesor fijo, generando etiquetas pseudo para los píxeles no etiquetados cuando la confianza supera 0.7. Estas etiquetas se incorporan a la pérdida del alumno con un peso de $\lambda=0.3$.
   • Inicialización: Los umbrales ordinales se inicializaron a partir de los valores de la U-Net entrenada para asegurar una convergencia estable.

3. Estrategia de Ensamble:

   • La predicción final es un ensamble de logits ponderado: $z = 0.65 \cdot z_{\text{U-Net}} + 0.35 \cdot z_{\text{Prithvi}}$.
   • Aumento de Datos: Se aplicaron rotaciones y giros para cerrar la brecha de generalización entre los conjuntos de validación y prueba.
   • Normalización: La U-Net utilizó la división por 10,000, mientras que Prithvi utilizó la normalización Z-score por división de conjunto de datos para mantener la consistencia con las distribuciones de preentrenamiento.

Resultados Clave

• Desempeño: El ensamble logró una precisión de prueba $\pm 1$ del 68.32%, ocupando el 2º lugar entre 7 equipos en la tabla de clasificación pública.
• Comparación de Modelos: El ensamble superó a sus componentes individuales:
  • U-Net: 66.25%
  • Prithvi: 65.51%
  • Otras arquitecturas de transformadores (TSViT, U-TAE, Swin-V2, Presto) produjeron precisiones de prueba más bajas (en un rango del 49% al 64%).
• Observaciones:
  • La U-Net produjo predicciones más ruidosas pero capturó patrones espaciales finos.
  • Prithvi generó salidas más suaves y espacialmente coherentes, pero tuvo dificultades con los límites complejos.
  • Se observó una brecha de generalización constante entre los conjuntos de validación y de prueba en todos los modelos, lo que sugiere un posible desplazamiento de la distribución entre el entrenamiento y la prueba o sobreajuste.

Contribuciones y Afirmaciones Clave

• Eficacia del Ensamble: La principal contribución es demostrar que combinar un enfoque convolucional (U-Net con apilamiento de canales temporales) y un modelo fundacional geoespacial (Prithvi con agregación estacional) produce un desempeño superior comparado con cualquiera de los modelos por separado o con otras arquitecturas temporales complejas.
• Perspectiva del Modelado Temporal: Contrario a la hipótesis inicial de que el modelado temporal explícito (por ejemplo, mediante Transformers) daría los mejores resultados, el artículo afirma que apilar los marcos temporales como canales de entrada (tratándolos como observaciones distintas para el mismo píxel) fue más efectivo para esta tarea específica. Los autores sugieren que la segmentación semántica se realiza a través de los marcos temporales en lugar de para cada marco temporal en este contexto.
• Adaptación del Modelo Fundacional: El trabajo demuestra la viabilidad de adaptar un modelo fundacional geoespacial a gran escala (Prithvi-EO-2.0) a una tarea agrícola específica utilizando agregación estacional y etiquetado pseudo semisupervisado para manejar datos no etiquetados.
• Aprendizaje Semisupervisado: El artículo destaca la utilidad de usar una U-Net como profesor para generar etiquetas pseudo para los píxeles no etiquetados en el modelo alumno de Prithvi, proporcionando un efecto de regularización.

Significancia
El artículo presenta un enfoque práctico y de alto rendimiento para predecir el potencial vitícola a partir de imágenes satelitales multitemporales. Desafía la suposición de que las arquitecturas temporales complejas son siempre necesarias para las tareas de teledetección de series temporales, sugiriendo que para la segmentación de marcos de tiempo fijos, el apilamiento de canales puede ser una base (baseline) robusta. El trabajo también subraya la importancia de abordar la brecha de generalización en aplicaciones de teledetección, donde los desplazamientos de distribución entre los conjuntos de validación y de prueba siguen siendo un desafío significativo. La implementación se pone a disposición pública para apoyar investigaciones adicionales en el mapeo del potencial agrícola.