Resumen Técnico: Más allá de GSD-como-Token: Condicionamiento de Escala Continua para VLMs de Teledetección

1. Enunciado del Problema

Los Modelos de Visión-Lenguaje para Teledetección (RS-VLMs) enfrentan una discrepancia fundamental con sus contrapartes de imágenes naturales debido a la variabilidad extrema en la Distancia de Muestreo en el Suelo (GSD). Mientras que las imágenes naturales suelen existir dentro de un rango de escala estable, las imágenes de teledetección abarcan más de dos órdenes de magnitud, desde imágenes aéreas subdecimétricas (0.06 m/píxel) hasta productos satelitales decamétricos (10 m/píxel o más gruesos).

Los RS-VLMs existentes no abordan esta realidad física de manera efectiva debido a dos limitaciones principales:

1. Afinamiento Sordo a la Escala: Estos modelos utilizan parámetros estáticos en todas las resoluciones, forzando al modelo a colapsar regímenes visuales distintos (por ejemplo, texturas finas frente a regiones borrosas) en una única representación promediada, degradando tanto el reconocimiento de detalles finos como el razonamiento regional grueso.
2. GSD-como-Token: Los enfoques actuales inyectan metadatos de GSD como tokens de texto discretos (por ejemplo, "resolución de 0.4 m"). Este método tokeniza el escalar como texto, no induce adaptación a nivel de parámetros y falla por completo cuando los metadatos del sensor faltan o son poco fiables.

Ninguno de los enfoques trata el GSD como una variable física continua que debería gobernar dinámicamente la ruta de cálculo interna del modelo.

2. Metodología: ScaleEarth

Los autores proponen ScaleEarth, un marco de afinamiento eficiente en parámetros construido sobre la base Qwen3-VL-8B. La innovación central consiste en tratar el GSD no como metadatos pasivos, sino como una variable de condicionamiento continua que impulsa el cálculo del modelo. El marco consta de tres componentes principales:

A. CS-HLoRA (Hyper-LoRA Condicionado por Escala Continua)

CS-HLoRA es el mecanismo central de adaptación. Modifica la ruta de actualización estándar de Adaptación de Bajo Rango (LoRA) insertando una puerta impulsada por GSD entre las matrices de proyección descendente y ascendente.

• Mecanismo: La actualización se define como $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$, donde $s = \log_{10}(\text{GSD})$.
• Función de Puerta: La puerta $h_k(s) = \sigma(\alpha(\tau_k - s))$ es una función sigmoide que selecciona suavemente las dimensiones del rango LoRA basándose en la escala de entrada.
• Inicialización de Niveles Físicos: Las 64 dimensiones de rango se inicializan en tres niveles motivados físicamente basados en la teoría de la unidad mínima de mapeo:
  • Rangos de Objetos (0–10): Activos en alta resolución (GSD < 1 m) para detalles finos.
  • Rangos de Estructura (11–31): Activos en resolución media-baja (1–10 m) para relaciones de diseño y estructura.
  • Rangos Semánticos (32–63): Activos en todo el rango de escalas para semánticas a nivel de paisaje.
• Enrutamiento Continuo: A medida que varía el GSD, las dimensiones activas de LoRA cambian suavemente, reemplazando la política promediada del afinamiento sordo a la escala con una ruta de adaptación dependiente de la escala sin modificar la base preentrenada.

B. SSE-U (Estimación de Escala Heterocedástica)

Para asegurar que el marco opere sin depender de metadatos del sensor durante la implementación, ScaleEarth incluye un subcabezal ligero heterocedástico, SSE-U.

• Función: Predice el GSD ($\hat{\mu}$) y su incertidumbre ($\hat{\sigma}^2$) directamente a partir de características visuales (características ViT agrupadas).
• Entrenamiento: Se entrena mediante verosimilitud negativa logarítmica gaussiana (NLL) en muestras con anotaciones exactas de GSD.
• Inferencia: Si faltan metadatos, el modelo utiliza el GSD predicho si la incertidumbre es baja; de lo contrario, recurre a una escala ancla neutral. Esto permite un descodificación condicionada a la escala consciente de la incertidumbre.

C. Dataset GeoScale-VQA

Para proporcionar supervisión coincidente, los autores construyeron GeoScale-VQA, un corpus RS-VQA de 1.5 millones de muestras con capas de escala.

• Construcción: Combina conjuntos de datos existentes (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) con muestras generadas recientemente.
• Generación Consciente de la Escala: Los pares de preguntas y respuestas se generan condicionados al nivel de GSD de la imagen (Alta: <0.2m, Media: 0.2–1.0m, Baja: >1.0m). Los prompts de nivel alto enfatizan detalles de objetos, el nivel medio se centra en la disposición espacial y el nivel bajo apunta a semánticas de paisaje.
• Control de Calidad: Un proceso de filtrado en dos etapas (comprobaciones sintácticas seguidas de cribado de calidad supervisado por Claude) asegura la consistencia factual y la alineación de escala.

D. Pipeline de Entrenamiento

ScaleEarth emplea una estrategia de entrenamiento en dos etapas:

1. Etapa 1 (SFT de Dominio RS): Afinamiento supervisado de parámetros completos en RS-GPT4V para cerrar la brecha de distribución entre imágenes naturales y RS.
2. Etapa 2 (Adaptación Condicionada por Escala): La base se congela (cuantizada a 4 bits). Los adaptadores CS-HLoRA y el cabezal SSE-U se entrenan conjuntamente en GeoScale-VQA. El objetivo combina la pérdida VLM con una pérdida de estimación de GSD ($\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$).

3. Contribuciones Clave

1. CS-HLoRA: Un método de afinamiento novedoso que modula el subespacio de bajo rango de LoRA mediante una puerta impulsada por GSD con inicialización de niveles fundamentada físicamente. Permite que un modelo unificado adapte el cálculo a la escala física sin modificación arquitectónica ni adaptadores específicos de resolución separados.
2. SSE-U: Un cabezal de estimación de escala heterocedástico que predice GSD e incertidumbre únicamente a partir de características visuales, reduciendo la dependencia de metadatos y apoyando un descodificación consciente de la incertidumbre.
3. GeoScale-VQA: Un corpus RS-VQA consciente de la escala de 1.5 millones de muestras que forma un bucle cerrado método-datos, donde la supervisión y la adaptación eficiente en parámetros son impulsadas por el mismo escalar físico (GSD).

4. Resultados Experimentales

El modelo se evaluó en dos benchmarks integrales: XLRS-Bench (percepción y razonamiento de ultra-alta resolución) y OmniEarth-Bench (cognición de sistemas terrestres a través de seis esferas).

• XLRS-Bench: ScaleEarth logró una precisión promedio nueva del estado del arte del 57.4%, superando a la línea base especializada más fuerte (GeoEyes, 54.2%) en +3.2% y al generalista de código abierto más destacado (Qwen3-VL-235B-A22B, 51.1%) en +6.3%, a pesar de utilizar solo una base de 8B. Se observaron ganancias significativas en tareas sensibles a la escala como Clasificación Regional de Uso de Suelo (78.6%) y Estado de Movimiento de Objetos (66.1%).
• OmniEarth-Bench: ScaleEarth logró una precisión promedio del 40.71% en tareas de opción múltiple, superando a la línea base de código abierto zero-shot más fuerte (InternVL3-72B, 33.26%) en 7.45 puntos porcentuales y a la línea base de código cerrado más fuerte (Claude-3.7-Sonnet, 29.07%) en 11.64 puntos porcentuales.
• Estudios de Ablación: Eliminar CS-HLoRA redujo la precisión en un 4.2%, mientras que eliminar la supervisión consciente de la escala causó una caída del 3.8%. La aleatorización de la inicialización de niveles físicos disminuyó aún más el rendimiento en un 3.5%, confirmando la utilidad del prior cartográfico.
• Pruebas de Falsificación de GSD: Cuando la entrada de GSD se perturbó sistemáticamente, ScaleEarth exhibió una curva de precisión suave y en forma de campana que alcanzó su punto máximo en el GSD real. En contraste, el enrutamiento basado en cubetas discretas (MoE-LoRA) mostró discontinuidades agudas en los límites de las cubetas, y LoRA estándar o la inyección de tokens de texto mostraron respuestas planas, demostrando que las ganancias provienen del condicionamiento físico continuo y no solo de la capacidad añadida.

5. Significado y Afirmaciones

El artículo argumenta que el bucle cerrado establecido por ScaleEarth entre arquitectura, supervisión y datos sugiere un principio de diseño más amplio para RS-VLMs: las variables físicas que distinguen fundamentalmente las imágenes aéreas de las imágenes naturales deben dar forma al modelo directa y sistemáticamente, en lugar de ser descartadas o insertadas meramente como prompts de texto auxiliares.

Los autores afirman que ScaleEarth demuestra que:

• Tratar el GSD como una variable de condicionamiento continua permite que un solo modelo enrute dinámicamente el cálculo a través de niveles de objetos, estructura y semántica.
• Este enfoque supera tanto a los modelos sordos a la escala como a aquellos que tratan la escala como un token de texto discreto o una señal de enrutamiento en cubetas.
• El marco permanece robusto en escenarios de implementación donde faltan metadatos del sensor, gracias a la alternativa consciente de la incertidumbre proporcionada por SSE-U.

El trabajo se posiciona como un paso hacia una IA de teledetección más fiable y consciente de la resolución, particularmente para tareas que requieren percepción de detalles finos en escenarios de ultra-alta resolución o razonamiento a través de escalas en tareas complejas de sistemas terrestres.