Multi-Year Geospatial Reasoning using Interannually-Consistent Historical Predictions as a Free Input Modality

Resumen Técnico: Razonamiento Geoespacial Multianual mediante Predicciones Históricas Interanualmente Consistentes

1. Planteamiento del Problema

Los sistemas operativos de Observación de la Tierra (EO), como el producto de Capas de Cultivos de Alta Resolución (HRL) del Servicio de Monitoreo de Tierras de Copernicus (CLMS), generan típicamente mapas anuales de cobertura terrestre utilizando modelos de aprendizaje profundo que procesan series temporales de satélite (Sentinel-1/2, meteorología) año tras año. A pesar de acumular un archivo denso y multianual de sus propias predicciones y de utilizar datos auxiliares (como la Capa de Vegetación Base, BVL) durante el posprocesamiento, estos sistemas sufren dos limitaciones críticas:

1. Falta de Retroalimentación Temporal: El modelo para un año dado (por ejemplo, 2024) no tiene acceso a sus propias predicciones pasadas (por ejemplo, 2017–2023). En consecuencia, no puede aprovechar la estabilidad temporal de los cultivos perennes (ej. olivos) o la lógica de las rotaciones de cultivos, tratando cada año como una tarea de clasificación aislada.
2. Integración de Señales Inconsistente: Las señales auxiliares, como la máscara BVL que identifica áreas no cultivadas, se aplican como pasos de posprocesamiento basados en reglas fuera de la red neuronal. Esto crea una brecha de representación donde el modelo no puede "leer" los píxeles enmascarados en sus propios datos históricos, tratándolos como indefinidos en lugar de como una señal específica (dato enmascarado frente a dato faltante).

Los autores postulan que los modelos de EO recurrentes deben tratar su propio historial de predicciones y las capas auxiliares externas como modalidades de entrada libres para permitir el razonamiento geoespacial multianual directamente dentro del modelo, en lugar de depender de un posprocesamiento frágil basado en reglas.

2. Metodología

El enfoque propuesto modifica una arquitectura Transformer basada en píxeles ya existente para ingerir predicciones históricas y representaciones de máscara consistentes como nuevos canales de entrada.

A. Modalidades de Entrada y Arquitectura

• Línea Base (Baseline): Un codificador Transformer multifuente procesa series temporales de 24 pasos (decadales) de bandas ópticas de Sentinel-2, retrodispersión de Sentinel-1 SAR, índices derivados y meteorología AgERA5. Los escalares estáticos de terreno se procesan mediante un codificador denso.
• Entrada de Predicción Histórica (CTY History): El modelo ingiere dos secuencias alineadas para cada píxel: los códigos de clase predichos y sus puntuaciones de confianza asociadas (probabilidad de la clase ganadora) de años anteriores (2017–2029).
  • Codificador de Embedding CTY: En lugar de tratar los códigos de clase como enteros brutos o escalares simples, los autores introducen un codificador de embedding aprendible. Cada código de clase pasada $c_t$ se mapea a un vector aprendible y se escala por su confianza $p_t$ ($\mathbf{e}_t = \text{Embed}(c_t) \cdot p_t$).
  • Posicionamiento Temporal: Se añaden embeddings de posición sinusoidales aprendibles para preservar el orden de los años.
  • Token Enmascarado: Se reserva un token aprendible específico (índice 1) para observaciones "externamente enmascaradas" (BVL), distinguiéndolas de los datos "no disponibles" (padding) y de las clases de cultivo válidas.
• Escalares Auxiliares: Se añaden dos escalares económicos y manuales derivados de la historia: "estabilidad del cultivo" (fracción de años pasados que coinciden con el cultivo actual) y "años desde el cambio".
• Fusión: La salida del Codificador de Embedding CTY se concatena con los embeddings ópticos/SAR/meteo antes de la cabeza de clasificación MLP final.

B. Estrategia de Entrenamiento

• Entrenamiento de Extremo a Extremo (End-to-End): A diferencia de los enfoques que ajustan modelos fundacionales geoespaciales de gran tamaño, los autores entrenan un modelo compacto y de extremo a extremo (2.6M de parámetros) porque su conjunto de datos es grande (5.4M de píxeles etiquetados). Esto permite que el modelo aprenda conjuntamente la ponderación de las señales fenológicas frente a las predicciones históricas.
• Función de Pérdida: La pérdida principal es la entropía cruzada focal (focal cross-entropy). Se añade una pérdida de consistencia autosupervisada suave como término auxiliar, donde una pequeña cabeza lineal predice los logits de la clase a partir únicamente del embedding de la historia, entrenada para concordar con el objetivo principal con un peso bajo ($\lambda=0.1$). Esto incentiva al modelo a usar la historia como un prior suave sin depender excesivamente de ella.
• Gestión de Desequilibrio: El desequilibrio de clases se gestiona mediante muestreo de lotes equilibrados (equilibrando las frecuencias de clase por lote). Los autores encontraron explícitamente que añadir la ponderación de pérdida por frecuencia inversa sobre este muestreo causaba un colapso en el rendimiento debido a la doble compensación.

C. Representación de Observaciones Enmascaradas
El estudio investiga cómo el modelo debe interpretar los píxeles enmascarados por la BVL tanto en el año objetivo como en la historia. La estrategia óptima implica:

1. Utilizar el token "enmascarado" dedicado en la secuencia histórica.
2. O bien integrar las observaciones enmascaradas en la clase "no-cultivo" o asignarles una clase dedicada en el año objetivo, siempre que la historia se remapee de manera consistente.

3. Contribuciones Clave

1. Modalidad de Entrada Libre: Demostrar que el propio historial de predicciones interanuales de un modelo, cuando se codifica como tokens ordenados en el tiempo y escalados por confianza, sirve como una entrada poderosa y libre de etiquetas que mejora significamente la clasificación.
2. Codificador de Embedding CTY: Un componente arquitectónico novedoso que transforma la historia de predicciones categóricas en una representación aprendible y ponderada por confianza, permitiendo al modelo atender sobre el eje temporal.
3. Representación de Señal Consistente: Mostrar que representar las máscaras externas (BVL) de manera consistente dentro del espacio de entrada del modelo (distinguiendo lo enmascarado de lo faltante) mejora el rendimiento de la clasificación de cultivos sin alterar la máscara externa.
4. Corrección del Perfil de Error: Ir más allá de las métricas de precisión simples para demostrar que el razonamiento histórico corrige un perfil de error "sesgado hacia la exhaustividad" (recall-skewed), reduando la sobrepredicción mientras mantiene una alta exhaustividad (recall).

4. Resultados

Evaluado en un conjunto de datos paneuropeo de ~5.4M de píxeles etiquetados (18 clases de cultivos + no-cultivo):

• Rendimiento General: Añadir el historial de predicción aumentó el F1 de solo cultivos en 1.6 puntos porcentuales (pp) (de 0.787 a 0.803).
• Cultivos Perennes y Arbóreos: Las ganancias fueron más pronunciadas para cultivos con historias multianuales estables:
  • Olivos: +4.6 pp
  • Frutas: +3.7 pp
  • Frutos secos: +3.2 pp
  • Legumbres secas: +2.9 pp
• Representación Consistente de la Máscara: Representar la máscara BVL de forma consistente tanto en la historia como en los años objetivo añadió aproximadamente 2.5 pp al F1 de solo cultivos.
• Equilibrio Precisión-Exhaustividad: El modelo base estaba sesgado hacia la exhaustividad (Precisión 0.769 vs. Exhaustividad 0.810), lo que indica sobrepredicción. El modelo consciente de la historia reequilibró esto (Precisión 0.806 vs. Exhaustividad 0.803), acercando 13 de las 18 clases de cultivos a la diagonal de precisión-exhaustividad.
• Hallazgos de Ablación:
  • Las codificaciones de la historia como escalares brutos o series temporales proporcionaron ganancias insignificantes.
  • Aumentar el tamaño del modelo a 12M de parámetros provocó sobreajuste (overfitting).
  • La ponderación de pérdida por frecuencia inversa combinada con el muestreo equilibrado causó una caída catastrófica en el rendimiento (el F1 cayó a 0.64).

5. Significado y Reivindicaciones

El artículo afirma que este enfoque ofrece una receta de bajo costo para mejorar cualquier modelo geoespacial recurrente o fundacional que emita mapas de clases. Al alimentar al modelo con su propio historial "interanual-fijo", el sistema efectivamente destila la lógica de los procesadores de posprocesamiento basados en reglas heredados (que corrigen anomalías y fuerzan la consistencia) y aprende a mejorar directamente sobre ellos.

Los autores argumentan que esto cambia el paradigma de "clasificación de un solo año + corrección basada en reglas" a "razonamiento geoespacial multianual". El modelo aprende la "gramática temporal" del uso del suelo (rotaciones, persistencia, cambios graduales) directamente de sus salidas. El enfoque se presenta como modular y aplicable a cualquier producto de EO operativo que se actualice anualmente, potenciando potencialmente los modelos fundacionales geoespaciales sin requerir nuevos datos etiquetados. Los resultados sugieren que el modelo puede lograr mapas más limpios con menos cambios espurios año tras año y contenidos de parcelas más suaves, reduciendo la necesidad de cribado (sieving) e intervenciones interanuales posteriores.