From Pixels to Patches: Pooling Strategies for Earth Embeddings

Resumen Técnico: Estrategias de Agrupamiento (Pooling) para Embeddings de la Tierra

1. Problema y Contexto

El artículo aborda un desafío crítico en el uso de Modelos Fundacionales Geoespaciales (GFMs): la discrepancia entre la resolución de los datos de entrada y la de las etiquetas.

• El escenario: Los GFMs modernos generan embeddings (representaciones vectoriales) a nivel de píxel (alta densidad). Sin embargo, muchas tareas de clasificación (como el uso del suelo) operan a nivel de parche o región (ej. un campo agrícola de 640m compuesto por 64x64 píxeles de 10m).
• La limitación: En muchos casos, los usuarios solo tienen acceso a los productos de embedding ya generados (sin acceso al encoder subyacente). Por lo tanto, deben realizar una agregación post-hoc para convertir los embeddings densos de píxeles en una única representación por parche.
• El problema actual: La elección por defecto, el promedio (mean pooling), ignora la variabilidad dentro del parche. Esto puede eliminar señales de clase importantes y llevar a un rendimiento deficiente cuando se enfrentan a cambios en la distribución espacial (spatial distribution shift), es decir, cuando se prueba en regiones geográficas no vistas durante el entrenamiento.

2. Metodología

Los autores proponen un estudio controlado para evaluar cómo diferentes estrategias de agrupamiento afectan la generalización espacial.

• Nuevo Dataset (EuroSAT-Embed): Crearon un conjunto de datos alineado de 81,000 archivos GeoTIFF de embeddings derivados de tres modelos fundacionales distintos:

  1. AlphaEarth (64 dimensiones).
  2. OlmoEarth-Nano (128 dimensiones).
  3. Tessera (128 dimensiones).
     Nota: Estos modelos generan vectores por píxel sobre el dataset EuroSAT (27,000 parches de 64x64 píxeles, 10 clases de cobertura terrestre).

• Estrategias de Evaluación:

  • Métodos: Se compararon 11 métodos de agrupamiento libres de entrenamiento (que no requieren ajustar parámetros) y 2 métodos basados en ajuste al conjunto de entrenamiento (PCA y Bag of Visual Words).
  • Tipos de Pooling evaluados:
    • Estadísticas de primer orden: Media, Máximo, Media Generalizada (GeM), Media Ponderada por Centro.
    • Estadísticas distribucionales (de segundo orden): Desviación estándar, Min/Max/Media/Std (Stats), Percentiles, Covarianza.
    • Métodos paramétricos: PCA y BoVW (que ajustan un modelo en el set de entrenamiento).
  • Probes (Sondas): Se evaluaron mediante un clasificador k-NN (k=5) y una regresión logística lineal (Linear Probe).
  • División de Datos: Se probaron bajo dos escenarios:
    1. División aleatoria: Para medir la capacidad de aprendizaje general.
    2. División espacial (Geográficamente disjunta): Para medir la robustez ante cambios de distribución (evitando la fuga de datos por autocorrelación espacial).

3. Contribuciones Clave

1. Lanzamiento de EuroSAT-Embed: Un recurso público con embeddings de píxeles alineados de tres GFMs líderes, diseñado específicamente para estudiar la agregación.
2. Benchmark Controlado: La primera evaluación exhaustiva de 13 métodos de agrupamiento en un entorno de embedding fijo, comparando su rendimiento en divisiones aleatorias y espaciales.
3. Hallazgo de Robustez: Demostración de que las estadísticas distribucionales simples superan consistentemente al promedio simple, mejorando significativamente la generalización espacial sin necesidad de reentrenar el modelo base.

4. Resultados Principales

Los resultados, presentados en tablas y gráficos del artículo, revelan lo siguiente:

• Superioridad de las Estadísticas Distribucionales:

  • El Pooling de Estadísticas (Stats), que concatena min, max, media y desviación estándar (4x la dimensión original), logró el mejor equilibrio global.
  • En divisiones espaciales con sondas lineales, Stats alcanzó un promedio de 93.0% de precisión, frente al 87.3% del promedio simple (Mean). Esto representa una mejora de hasta 6 puntos porcentuales.
  • El Pooling de Covarianza ofreció la máxima precisión absoluta en dos de los tres modelos (hasta 94.4% en Tessera), aunque aumenta la dimensionalidad a $D(D+1)/2$.

• Reducción del "Gap" de Generalización:

  • El gap (caída de rendimiento) entre la división aleatoria y la espacial para el método Mean fue de 8.8 puntos.
  • Con el método Stats, este gap se redujo a 3.8 puntos, una disminución del 57% en la brecha de generalización.
  • Esto indica que métodos como Stats, Covarianza y Mean+Max son mucho más robustos ante cambios geográficos.

• k-NN vs. Linear Probe:

  • Las estadísticas de segundo orden (covarianza) beneficiaron más a los clasificadores lineales que a la búsqueda de similitud (k-NN), aunque Stats lideró consistentemente en ambos casos para divisiones espaciales.

• Sin compensación (Trade-off):

  • No se observó un compromiso entre precisión y robustez. Los métodos más precisos en divisiones espaciales también fueron los que tuvieron los menores gaps de generalización.

5. Significado y Recomendaciones

El artículo cambia la perspectiva sobre el pooling en aplicaciones de teledetección: dejar de verlo como un paso de preprocesamiento trivial y considerarlo una decisión de diseño de primer orden.

Estrategia de tres niveles recomendada para la práctica:

1. Línea base: Usar Mean (Promedio) solo como referencia inicial.
2. Configuración por defecto: Usar Stats Pooling (min/max/mean/std). Aumenta la dimensión en 4x, pero ofrece la mejor generalización espacial y robustez con un costo computacional moderado.
3. Máxima precisión: Usar Covariance Pooling si se acepta un aumento significativo en la dimensionalidad y se busca el máximo rendimiento posible.

Conclusión Final:
La heterogeneidad dentro de un parche de tierra (ej. mezclas de techos, vegetación y carreteras en una zona residencial) contiene información crítica que el promedio simple destruye. Las estadísticas distribucionales preservan esta variabilidad, lo cual es esencial para que los modelos fundacionales geoespaciales funcionen bien en nuevas regiones geográficas.