A Proxy Consistency Loss for Grounded Fusion of Earth Observation and Location Encoders

1. Planteamiento del Problema

El aprendizaje supervisado con datos de observación terrestre (EO, por sus siglas en inglés) enfrenta un desafío fundamental: la escasez de datos etiquetados de alta calidad.

• Limitación de datos: En áreas como la monitorización ambiental (calidad del aire, agua) o la economía del desarrollo (mapeo de pobreza), las mediciones in situ son escasas, costosas y están distribuidas en puntos aislados.
• Sobreespecialización: Los modelos que intentan aprender directamente de estos puntos escasos tienden a sobreajustarse (overfitting) a las ubicaciones de entrenamiento, fallando al generalizar a áreas no vistas (fuera de la muestra).
• Uso de datos proxy: Existen abundantes datos "proxy" (variables correlacionadas pero no idénticas al objetivo, como la luminosidad nocturna para la pobreza o reanálisis atmosféricos para la calidad del aire). Sin embargo, integrar estos datos de manera efectiva es difícil:
  • Apilarlos simplemente como canales de entrada adicionales ofrece mejoras marginales.
  • Usar codificadores de ubicación preentrenados y congelados (como GeoCLIP) ayuda, pero no se adaptan específicamente a la tarea.
  • Descongelar y entrenar codificadores de ubicación desde cero sin supervisión adicional lleva al sobreajuste a los puntos de entrenamiento.

2. Metodología Propuesta

Los autores proponen un marco de aprendizaje multi-tarea que introduce una Pérdida de Consistencia de Proxy (PCL, Proxy Consistency Loss).

Arquitectura del Modelo

El modelo fusiona dos componentes principales:

1. Codificador de Observación (EO): Procesa datos satelitales (ej. imágenes Landsat, series temporales de aerosoles) para generar un embebido $e_{obs}$.
2. Codificador de Ubicación Entrenable: Mapea coordenadas (longitud, latitud) y tiempo a un embebido $e_{loc}$. A diferencia de enfoques previos, este codificador es entrenable y no congelado.

Mecanismo de la PCL

La innovación central es entrenar el codificador de ubicación no solo para predecir la variable objetivo ($y$), sino también para reconstruir variables proxy ($z$) que están disponibles de forma continua en todo el dominio geográfico.

• Fusión: Los embebidos se concatenan ($concat(e_{obs}, e_{loc})$) y se pasan a una cabecera de predicción.
• Pérdida Total: La función de pérdida es una suma ponderada:
  $$\mathcal{L} = \mathcal{L}^{pred} + \lambda \mathcal{L}^{proxy-consistency}$$
  Donde:
  • $\mathcal{L}^{pred}$ es la pérdida supervisada estándar (ej. MSE) sobre los datos etiquetados escasos.
  • $\mathcal{L}^{proxy-consistency}$ mide la capacidad del codificador de ubicación (solo) para predecir la variable proxy continua ($\hat{z} = g(e_{loc})$).
  • $\lambda$ es el peso de regularización.

Muestreo Independiente

Un aspecto clave es que las muestras para la pérdida de proxy se extraen independientemente de las ubicaciones etiquetadas. Se utiliza una estrategia de muestreo uniforme aleatorio (UAR) sobre el espacio-tiempo. Esto permite que el codificador de ubicación aprenda una representación geográfica robusta en todo el dominio, no solo donde hay etiquetas, actuando como un regularizador espacial y temporal.

3. Contribuciones Clave

1. Pérdida de Consistencia de Proxy (PCL): Un nuevo formalismo de pérdida que utiliza datos proxy abundantes para regularizar y "anclar" (ground) los embebidos de ubicación en un espacio latente relevante para la tarea específica.
2. Codificadores de Ubicación Entrenables: Demuestran que es posible entrenar codificadores de ubicación desde cero sin sobreajustar, siempre que se utilice la PCL como regularizador geoespacial.
3. Marco de Fusión Fundamentada: Proponen una arquitectura donde el codificador de ubicación no es solo un contexto estático, sino un componente dinámico que aprende de la continuidad espacial de los datos proxy.
4. Validación en Escenarios Diversos: Aplicación exitosa en dos dominios distintos: predicción de PM2.5 (calidad del aire) y mapeo de pobreza (índice de activos), demostrando generalización.

4. Resultados Experimentales

Los experimentos se realizaron en dos tareas principales:

• Predicción de Calidad del Aire (PM2.5): Datos de la EPA (EE. UU.) con reanálisis de NCAR como proxy.
• Mapeo de Pobreza: Datos de encuestas DHS (África) con luminosidad nocturna VIIRS como proxy.

Hallazgos Principales:

• Rendimiento Intra-muestra (Interpolación): El modelo con PCL superó a las líneas base (solo observación, apilamiento de proxy, y fusión con codificadores congelados). En la tarea de PM2.5, logró una mejora del 12.2% en $R^2$ y una reducción del 9.5% en RMSE respecto a la línea base de solo observación.
• Rendimiento Fuera de Muestra (Extrapolación Espacial): En pruebas de "tablero de ajedrez" (donde el conjunto de prueba está geográficamente separado del entrenamiento), el modelo PCL demostró la mejor capacidad de generalización.
  • Superó significativamente a los codificadores congelados (GeoCLIP, Climplicit) y a la estrategia de pre-entrenamiento en dos etapas.
  • En mapeo de pobreza, el modelo PCL obtuvo un $R^2$ de 0.462, superando ampliamente a las líneas base (que tuvieron resultados negativos o muy bajos).
• Análisis de Muestreo: Se encontró que muestrear datos proxy uniformemente en todo el espacio-tiempo (no solo en las ubicaciones de las etiquetas) es crucial para la generalización. Un ratio de muestreo $\rho$ (proxy/etiquetas) de alrededor de 8-16 ofreció el mejor equilibrio.
• Análisis Cualitativo: Las visualizaciones de los embebidos latentes mostraron que el modelo PCL produce representaciones espacialmente más suaves y con una estructura temporal más coherente, evitando los artefactos de "estiramiento" entre estaciones de medición que presentan los modelos sin PCL.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en el aprendizaje automático para ciencias de la Tierra: cómo aprovechar la abundancia de datos geoespaciales continuos (proxy) cuando los datos de verdad fundamental (etiquetas) son escasos.

• Superioridad sobre enfoques existentes: Demuestra que la fusión de datos proxy no debe ser simplemente una adición de canales de entrada, sino una integración profunda en la representación latente de la ubicación.
• Robustez Geográfica: La PCL actúa como un regularizador que fuerza al modelo a aprender patrones geográficos y temporales realistas, mejorando la predicción en áreas sin datos de entrenamiento (crucial para aplicaciones globales).
• Aplicabilidad General: Aunque se probó en calidad del aire y pobreza, el marco es aplicable a cualquier tarea de EO donde existan variables proxy continuas (ej. humedad del suelo, calidad del agua, monitoreo de cultivos).

En conclusión, los autores proponen que la consistencia con variables proxy es una estrategia efectiva para construir priors geográficos específicos de la tarea, permitiendo que los modelos de observación terrestre generalicen mejor y sean más robustos ante la escasez de etiquetas.