Resumen Técnico: Escalamiento de Modelos Fundacionales de Teledetección

Planteamiento del Problema

Si bien las leyes de escalamiento para los modelos fundacionales (FM) están bien establecidas en el procesamiento del lenguaje natural y en los dominios de imágenes naturales, su aplicabilidad a la teledetección (RS) aún se comprende poco. Los datos de RS presentan desafíos únicos, incluyendo diversas propiedades espectrales y espaciales, muestras etiquetadas limitadas y un potencial límite superior en la capacidad de representación debido a la variedad finita de objetos observables en imágenes cenitales. Existe una brecha crítica en la comprensión de la relación entre el tamaño del conjunto de datos de entrenamiento, los parámetros del modelo y el rendimiento a escala petascala. Específicamente, no está claro si los modelos de RS actuales en la frontera están limitados por la disponibilidad de datos o por la capacidad del modelo, y si el aumento del tamaño del modelo o del tamaño del lote (batch size) produce rendimientos decrecientes en este dominio.

Metodología

Los autores realizaron un estudio sistemático utilizando Akupara, un nuevo conjunto de datos de teledetección global que comprende más de 1 petapíxel (1 × 10¹⁵ píxeles) de imágenes satelitales de alta resolución de Maxar (GSD de 0.3m–1.2m). El conjunto de datos incluye más de 1 millón de imágenes satelitales completas que cubren 415 millones de km².

Para generar etiquetas de entrenamiento a esta escala, el equipo desarrolló G-DAUG (Geospatial Data Augmentation), un flujo de trabajo que empareja fragmentos de imágenes (chips) con datos vectoriales de OpenStreetMap (OSM) para crear etiquetas de supervisión débil automatizadas (segmentación semántica, segmentación de instancias y cajas delimitadoras rotadas) para 37 clases de objetos.

El diseño experimental se centró en cuatro preguntas rectoras utilizando dos arquitecturas de modelos:

1. MTP (Multi-Task Pretraining): Un marco totalmente supervisado utilizando un backbone ViT compartido con decodificadores específicos para la tarea de segmentación y detección.
2. ScaleMAE: Un autoencoder enmascarado autosupervisado que incorpora la escala del mundo real (GSD) en los incrustamientos posicionales (positional embeddings).

Los experimentos clave incluyeron:

• Sensibilidad al Tamaño del Lote (Batch Size): Un barrido de tamaños de lote (128–512) para determinar los tamaños de lote críticos para la eficiencia de convergencia.
• Estabilidad de la Tasa de Aprendizaje (LR): Implementación de un protocolo "Fail Fast" (fallar rápido) para triaje de LRs inestables antes de comprometer ejecuciones de entrenamiento completas, utilizando un esquema WSD (Warmup, Stable, Decay).
• Escalamiento de Datos: Entrenamiento de un modelo sobredimensionado fijo (ViT-Giant, 1.8B de parámetros) en subconjuntos anidados de Akupara que van desde 5k hasta 1M de imágenes para aislar los efectos de los datos.
• Escalamiento de Parámetros: Entrenamiento de modelos de diversos tamaños (86M a 1.8B de parámetros) en un conjunto de datos fijo (100k imágenes) para aislar los efectos de los parámetros.

Contribuciones Clave

El artículo proporciona un relato orientado a procesos sobre el escalamiento de modelos fundacionales de RS, ofreciendo los siguientes conocimientos empíricos:

• Lecciones de Escalamiento de Rendimiento (Throughput): El entrenamiento en las etapas iniciales y medias es mayormente insensible al aumento del tamaño del lote más allá de umbrales moderados. La eficiencia se logra mejor mediante la diversidad de datos y el cronograma de la LR que mediante un loteo agresivo.
• Esquemas de Optimización Estables: Un régimen WSD con una tasa de aprendizaje base moderada (específicamente 1 × 10⁻⁴ para MTP con ViT-L) proporciona una convergencia robusta. El protocolo de warmup "Fail Fast" identifica y descarta eficazmente los candidatos de LR alta inestables, ahorrando recursos computacionales.
• Ley de Escalamiento de Datos Empírica: Dentro del rango de 5k a 1M de imágenes de escena completa, la pérdida de validación sigue una ley de potencia consistente ($L(N) = A + BN^{-a}$) con un exponente $a \approx 0.03$. Esto indica rendimientos decrecientes pero no saturados, lo que respalda el valor de la expansión de datos adicional.
• Ley de Escalamiento de Parámetros Empírica: A través de tamaños de modelo de 86M a 1.8B de parámetros, las ganancias de rendimiento fueron efectivamente planas ($b \approx 0$) cuando se mantuvieron constantes los datos y los presupuestos de entrenamiento. Esto sugiere que, en regímenes de datos típicos, el escalamiento de parámetros por sí solo produce beneficios insignificantes.
• Supervisión Débil Escalable: El flujo de trabajo G-DAUG demuestra un método reproducible para generar supervisión a escala global a partir de fuentes vectoriales abiertas, cerrando la brecha entre los datos GIS y el entrenamiento ráster de alta resolución.

Resultados

• Datos vs. Parámetros: El estudio confirma que los modelos fundacionales de RS operan actualmente en un régimen limitado por datos. El aumento del tamaño del conjunto de datos mejora consistentemente el rendimiento (siguiendo una ley de potencia), mientras que el aumento de los parámetros del modelo sin un aumento correspondiente en los datos o en los tokens de entrenamiento por parámetro no reduce la pérdida.
• Tamaño del Lote: El aumento del tamaño del lote de 128 a 512 no aceleró la convergencia ni mejoró la eficiencia en las etapas iniciales y medias del entrenamiento.
• Tasas de Aprendizaje: Las tasas de aprendizaje altas (por ejemplo, $10^{-3}$) causaron divergencia u oscilación. La tasa estable óptima identificada fue $10^{-4}$, la cual permitió una reducción de la pérdida monotónica.
• Modos de Fallo: Aproximadamente la mitad de las ejecuciones de escalamiento de datos quedaron atrapadas en mínimos locales temprano en el entrenamiento, lo que resalta la sensibilidad del entrenamiento de RS a gran escala a la inicialización y la dinámica de optimización.

Significado y Reivindicaciones

Los autores afirman que este trabajo establece los primeros comportamientos de escalamiento empírico para los modelos fundacionales de RS entrenados a escala petascala. La significancia principal radica en el cambio del paradigma para el desarrollo de modelos de RS, de un enfoque en "modelos más grandes" hacia "mejor diversidad de datos y estrategias de optimización".

El artículo argumenta que:

1. RS está Limitado por Datos: A diferencia de algunos dominios de imágenes naturales donde la capacidad del modelo puede ser un cuello de botella, el rendimiento de RS está actualmente restringido por la disponibilidad de datos diversos y del mismo dominio.
2. Los Rendimientos Decrecientes son Manejables: Aunque el exponente de escalamiento de datos ($a=0.03$) indica rendimientos decrecientes, estos no están saturados, lo que implica que la recolección continua de datos produce ganancias mensurables.
3. Ingeniería sobre Arquitectura: El progreso futuro depende de palancas de ingeniería como la estratificación de datos (geografía, sensor, estación), la calidad de las etiquetas y los cronogramas de optimización estables, en lugar de simplemente aumentar el número de parámetros o el tamaño del lote.
4. Guías Prácticas: El estudio proporciona una "lista de verificación práctica" para la comunidad, enfatizando las tasas de aprendizaje conservadoras, el muestreo de datos estratificado para evitar la duplicación de contenido y un triaje riguroso de hiperparámetros para evitar el desperdicio de cómputo.

Los autores concluyen que el progreso sostenible en el modelado de modelos fundacionales de RS depende del uso de datos más diversos (incluyendo fuentes multimodales y multitemporales) en lugar de simplemente escalar el cómputo o el tamaño del modelo.