Resumen Técnico: TESSERA V2 – Escalamiento de Modelos Fundacionales de la Tierra a Nivel de Píxel

Declaración del Problema

La aplicación de la observación de la Tierra (EO, por sus siglas en inglés) a tareas de uso derivado enfrenta cuellos de botella significativos: la preparación de datos es laboriosa (calibración radiométrica, corrección de nubes, armonización entre sensores), las etiquetas de verdad de terreno son escasas y específicas de cada región, y las imágenes puras contienen cadencias de muestreo irregulares y oclusiones por nubes. Aunque los productos de "embeddings como datos" pretenden proporcionar representaciones vectoriales listas para el análisis de la superficie terrestre, los sistemas existentes sufren de especificaciones rígidas. A menudo ofrecen una dimensión de embedding y un tamaño de modelo fijos, obligando a todos los usuarios a incurrir en los mismos costos de almacenamiento e I/O independientemente de sus requisitos de presupuesto o de la tarea específica. Además, las leyes de escalamiento que gobiernan cómo asignar el cómputo de preentrenamiento (entre el tamaño del codificador, el tamaño del proyector y el volumen de datos) en el dominio de la EO siguen sin comprenderse bien, con muchos estudios que dependen de la pérdida de preentrenamiento como un proxy, lo cual puede ser poco fiable debido a las características únicas de los datos satelitales (por ejemplo, la dominancia de nubes y el muestreo orbital).

Metodología

1. Estudio de Escalamiento Impulsado por Tareas Derivadas

Los autores realizaron el estudio de escalamiento controlado más grande para EO hasta la fecha, involucrando 395 ejecuciones de entrenamiento dentro de una familia fija de Barlow Twins a nivel de píxel.

• Arquitectura: Se seleccionó una familia arquitectónica fija de codificadores Sentinel-1/2 de nivel de píxel mediante un barrido preliminar.
• Variables: El estudio realizó un barrido a través de tres dimensiones: tamaño del codificador ($N_{enc}$, 16 anchuras desde 7M hasta 278M de parámetros), tamaño del proyector ($N_{proj}$, 4 anchuras) y volumen de datos de entrenamiento ($D$, 0.03M a 3,202M de d-píxeles).
• Evaluación: Cada modelo fue evaluado en 15 tareas diversas (clasificación, detección de cambios, regresión) de la suite ALPHAEARTH.
• Métrica de Cómputo: Los FLOPs totales de entrenamiento se calcularon utilizando una fórmula específica que contabiliza tres pasadas del codificador por paso (dos vistas aumentadas + una vista de mix-up) y el costo de correlación cruzada de Barlow Twins.

2. Hallazgos Clave sobre las Leyes de Escalamiento

El estudio arrojó dos hallazgos empíricos críticos que contradicen los supuestos estándar de escalamiento de lenguaje y visión:

• Hallazgo F1 (La pérdida es un mal proxy): La pérdida de preentrenamiento convergida apenas predice el rendimiento en tareas derivadas ($|Pearson\ r| < 0.2$). Seleccionar modelos basándose únicamente en la pérdida requiere aproximadamente 2–5× más cómputo para lograr el mismo puntaje en la tarea que seleccionar basándose en el rendimiento real de la tarea.
• Hallazgo F2 (Asignación Óptima): A medida que crece el presupuesto de entrenamiento, la estrategia óptima es aumentar la capacidad del codificador y los datos de entrenamiento simultáneamente, manteniendo el tamaño del proyector fijo. El proyector actúa como un "andamio de entrenamiento desechable" en lugar de un eje de escalamiento. Las leyes de potencia ajustadas son $N_{enc} \propto C^{0.36}$ y $D \propto C^{0.63}$, mientras que $N_{proj} \propto C^{0.011}$ (estadísticamente indistinguible de cero).

3. Destilación Maestro-Estudiante y Embeddings MATRYOSHKA

Para cerrar la brecha entre los maestros grandes de alto rendimiento y los productos desplegables, los autores emplearon una estrategia de destilación:

• Entrenamiento del Maestro: Se entrenó un codificador masivo de 2 mil millones de parámetros a nivel de píxel utilizando la regla de escalamiento derivada (codificador sobredimensionado + datos emparejados, proyector fijo) sobre ~14 mil millones de d-píxeles.
• Destilación: El maestro de 2B parámetros congelado se utilizó para destilar una familia de estudiantes compactos (tamaños N, S, M, L, que van desde 1M hasta 44M de parámetros).
• Representación MATRYOSHKA: A diferencia del preentrenamiento autosupervisado, que identifica subespacios solo hasta la rotación, la destilación contra un maestro fijo proporciona la señal necesaria para ordenar las coordenadas de los embeddings. Esto permite que los estudiantes produzcan embeddings anidados donde los prefijos de las dimensiones $d \in \{16, 32, 64, 128\}$ son representaciones válidas. Un prefijo de 16 dimensiones retiene ~92% del rendimiento del embedding completo de 128 dimensiones con 1/8 parte del costo de almacenamiento.
• Optimización de Inferencia: El sistema utiliza muestreo de cubetas adaptativo (adaptive bucket sampling), empaquetando secuencias de observaciones de longitud variable en la cubeta de longitud fija más pequeña que quepa, llenando los residuales mediante el remuestreo del punto medio. Esto evita descartar observaciones o duplicar datos arbitrariamente.

Resultados Clave

• Rendimiento: El modelo estudiante destilado TESSERA v2-2B-L (44M de parámetros) supera a cada producto de embedding abierto y propietario probado, incluyendo ALPHAEARTH (480M de parámetros) y OlmoEarth-L (308M de parámetros).
  • En una suite de 14 conjuntos de datos no vistos, TESSERA v2 logró un puntaje compuesto de 0.647, comparado con el 0.614 de los siguientes mejores sistemas.
  • En la suite de 15 tareas de ALPHAEARTH, obtuvo 0.593, superando a ALPHAEARTH (0.560) y TESSERA v1 (0.541).
• Eficiencia: El modelo estudiante de 44M logra resultados de vanguardia con un costo de inferencia dos órdenes de magnitud inferior al del maestro de 2B y significativamente menor que los modelos propietarios más grandes.
• Adaptabilidad de Almacenamiento: Los prefijos MATRYOSHKA permiten a los usuarios intercambiar almacenamiento por rendimiento. Un prefijo de 16 dimensiones mantiene ~92% del puntaje total con 1/8 del almacenamiento, mientras que el prefijo de 3 de 32 dimensiones mantiene ~97%.
• Reducción de Artefactos: TESSERA v2 reduce significativamente el rayado a lo largo de la trayectoria (along-track striping) y las discontinuidades de las costuras de las teselas visibles en v1, manteniendo la estabilidad interanual.

Significancia y Reivindicaciones

El artículo afirma proporcionar una receta concreta y empíricamente fundamentada para escalar modelos fundacionales de EO a nivel de píxel, cambiando el paradigma de "entrenar grande y esperar que la pérdida correlacione" a "entrenar grande, seleccionar por rendimiento en tareas derivadas y destilar".

1. Redefiniendo el Escalamiento para EO: Los autores afirman que las leyes de escalamiento de EO difieren fundamentalmente de las de lenguaje/visión; confiar en la pérdida de preentrenamiento es ineficiente y engañoso. La regla de asignación propuesta (crecer el codificador y los datos, fijar el proyector) se presenta como el camino óptimo para la EO.
2. La Destilación como una Necesidad para Embeddings Anidados: El documento sostiene que los embeddings anidados (MATRYOSHKA) no pueden aprenderse eficazmente mediante pérdidas de prefijos autosupervisadas debido a problemas de simetría de coordenadas. En su lugar, se requiere la destilación contra un maestro fijo para suministrar la señal de ordenamiento que hace que los prefijos sean utilizables en diferentes dimensionalidades.
3. Viabilidad del Producto: TESSERA v2 se presenta no solo como un modelo, sino como una familia de productos desplegables que ofrece adaptabilidad. Permite a los usuarios seleccionar tamaños de modelo y dimensiones de embedding que se ajusten a sus restricciones de presupuesto específicas sin necesidad de reentrenamiento, abordando una brecha clave en los productos de datos existentes "listos para el análisis".

Los autores planean lanzar los embeddings anuales globales de 10m cubriendo 2017–2025 como la versión 2 del producto TESSERA, poniendo el código y los checkpoints a disposición de la comunidad.