Resumen Técnico: La Flota de Modelos Fundacionales Mini-JEPA Habilita Inteligencia Hidrológica Agéntica

Declaración del Problema

Los modelos fundacionales geoespaciales suelen seguir un paradigma de "generalista": entrenar un único modelo masivo con diversos datos multiespectrales, de radar y atmosféricos para producir un espacio de incrustación universal. Aunque efectivo para la caracterización amplia, este enfoque enfrenta tres limitaciones críticas en dominios especializados como la hidrología:

1. Compromiso de la Señal: Un único espacio de incrustación debe asignar dimensiones a fenómenos con orígenes físicos distintos (por ejemplo, reflectancia óptica frente a retrodispersión de microondas). Esto a menudo conduce a una subponderación de señales especializadas relevantes para tareas hidrológicas específicas.
2. Accesibilidad y Costo: Los modelos a escala planetaria (por ejemplo, Google AlphaEarth) son costosos de entrenar, frecuentemente de código cerrado y requieren recursos de computación masivos, lo que los hace inaccesibles para muchos grupos de investigación y difíciles de auditar o extender.
3. Falta de Especialización: Los modelos generalistas pueden no capturar las señales físicas matizadas requeridas para el razonamiento hidrológico especializado, donde los datos relevantes a menudo residen en una modalidad de sensor específica.

Los autores proponen que, en lugar de un único modelo monolítico, una flota de modelos pequeños y especializados por sensor, gestionados por un enrutador agéntico, podría ofrecer una alternativa más eficiente, interpretable y de alto rendimiento para la inteligencia hidrológica.

Metodología

1. La Flota Mini-JEPA

La contribución central es una flota de cinco modelos fundacionales Mini-JEPA (Arquitectura de Incrustación Conjunta Predictiva).

• Arquitectura: Los cinco modelos comparten una columna vertebral idéntica Vision Transformer-Small (ViT-S) (12 capas, 6 cabezas de atención, dimensión oculta 384) y un espacio de salida de 64 dimensiones para garantizar la comparabilidad directa con modelos a escala planetaria como AlphaEarth.
• Receta de Entrenamiento: Utilizan el objetivo de entrenamiento I-JEPA combinado con un regularizador VICReg. A diferencia de los Autoencoders enmascarados (MAE) que reconstruyen píxeles (obligando al modelo a aprender ruido específico del sensor), JEPA predice representaciones latentes enmascaradas. Esto permite aplicar la misma receta de entrenamiento a diferentes modalidades de sensor sin sesgo hacia perfiles de ruido específicos (por ejemplo, granulado SAR o rayado MODIS).
• Datos: Cada modelo se preentrena en un producto satelital distinto de Google Earth Engine que cubre 9.704 parches (128x128 píxeles, resolución de 30 m) en los Estados Unidos Continentales (CONUS) para el año 2022. Las cinco modalidades son:
  1. S2-Óptico: Reflectancia superficial de Sentinel-2 (mediana anual).
  2. S1-SAR: SAR de doble polarización de Sentinel-1 (VV+VH).
  3. MODIS-Térmico: Temperatura superficial terrestre de MODIS (día/noche).
  4. S2-Fenología: Compuestos trimestrales de Sentinel-2 que capturan la dinámica estacional.
  5. Topo-Suelo: Una pila de elevación/pendiente/aspecto de SRTM y propiedades de SoilGrids.

2. Marco de Evaluación

Los autores caracterizan la flota a lo largo de tres ejes:

• Interpretabilidad a Nivel de Dimensión: Utilizando correlaciones de Spearman e importancia de permutación de Random Forest para mapear las dimensiones de las incrustaciones a variables ambientales (por ejemplo, humedad del suelo, precipitación, temperatura).
• Geometría del Variete: Analizando la estructura geométrica de los espacios de incrustación de 64 dimensiones mediante ratios de participación global (dimensionalidad efectiva) y dimensionalidad intrínseca local (basada en k-NN).
• Complementariedad: Utilizando el Análisis de Correlación Canónica (CCA) y regresión conjunta de Random Forest para determinar si los Mini-JEPA proporcionan información que AlphaEarth no captura ya.

3. Sistema Agéntico

Se implementó un agente de enrutamiento (LLM) para operacionalizar la flota:

• Tarjetas de Referencia: Cada Mini-JEPA se resume en una "tarjeta de referencia" compacta que contiene su diccionario de dimensiones, perfil geométrico, descripción de señal física y métricas de rendimiento predictivo.
• Lógica de Enrutamiento: Dada una pregunta hidrológica en lenguaje natural, el LLM enrutador lee estas tarjetas y emite un plan estructurado para consultar Mini-JEPA específicos (y opcionalmente AlphaEarth).
• Recuperación y Síntesis: Los modelos seleccionados realizan una recuperación de los k vecinos más cercanos contra índices FAISS. Un LLM de síntesis combina el contexto recuperado para generar una respuesta final.

Resultados Clave

1. La Física del Sensor Impulsa la Especialización

Cada Mini-JEPA demostró su mayor habilidad predictiva en la variable ambiental físicamente coincidente con su sensor:

• MODIS-Térmico: Alcanzó $R^2 = 0.97$ para la temperatura media anual.
• Topo-Suelo: Alcanzó $R^2 = 0.97$ para la elevación.
• S2-Fenología: Alcanzó $R^2 = 0.81$ para la precipitación (a través de la respuesta de la vegetación).
• S1-SAR: Alcanzó $R^2 = 0.62$ para la precipitación.
• S2-Óptico: Alcanzó $R^2 = 0.73$ para la aridez.
  Cabe destacar que los patrones de rendimiento de la flota no fueron simples búsquedas de sensor a variable, sino que reflejaron procesos superficiales complejos (por ejemplo, la fenología predice la precipitación mejor que el SAR). Todos los modelos tuvieron dificultades con la cobertura de tierra categórica (NLCD), lo que sugiere una limitación de la tarea en lugar de un fallo del modelo.

2. Geometrías de Variete Distintas

Los cinco modelos produjeron variedades de incrustación con estructuras geométricas distintas, que reflejan su física de sensor:

• Dimensionalidad Global: Osciló entre 8.9 (S1-SAR) y 20.2 (MODIS-Térmico).
• Complejidad Local: S1-SAR exhibió alta complejidad local (media local $n_{80} \approx 6.0$), mientras que MODIS-Térmico fue casi unidimensional localmente ($n_{80} \approx 2.0$), consistente con la temperatura variando a lo largo de gradientes suaves.
  Esto confirma que fijar la arquitectura y la receta aísla al sensor como el impulsor principal de las diferencias estructurales.

3. Complementariedad con AlphaEarth

• Valor Aditivo: Combinar Topo-Suelo o S2-Fenología con AlphaEarth produjo ganancias positivas ($\Delta R^2$ hasta 0.031) para la humedad del suelo, la aridez y la precipitación.
• Redundancia: Para variables donde AlphaEarth ya funcionaba bien (temperatura, elevación), los Mini-JEPA ofrecieron poca ganancia adicional, aunque individualmente podían igualar el rendimiento de AlphaEarth.
• Sustitución: En variables coincidentes con la física, un único Mini-JEPA (22 millones de parámetros) podía sustituir al generalista a escala planetaria, alcanzando puntuaciones $R^2$ comparables con una fracción de la computación.

4. Rendimiento Agéntico

• Precisión de Enrutamiento: El LLM enrutador logró una tasa de aciertos del 100% en las modalidades esperadas para un conjunto curado de 40 preguntas.
• Calidad de la Respuesta: En evaluaciones de "LLM como Juez":
  • Agregado: El sistema de doble recuperación (AlphaEarth + Flota) mostró ganancias agregadas modestas sobre AlphaEarth solo ($\Delta \approx +0.021$), en gran parte debido a la saturación de puntuaciones en preguntas amplias.
  • Preguntas de Modalidad Única: Para preguntas donde la señal física reside limpiamente en un sensor, la flota enrutada superó significativamente a AlphaEarth solo (d de Cohen = 1.10, p = 0.031).
  • Sustitución: La flota enrutada por sí sola funcionó de manera comparable a AlphaEarth en preguntas coincidentes con la física, validando su uso como alternativa independiente cuando los generalistas no están disponibles.

Significado y Afirmaciones

El artículo afirma que los Mini-JEPA especializados y entrenados localmente ofrecen una vía viable y complementaria a los modelos fundacionales a escala planetaria para la ciencia ambiental.

• Democratización: El diseño de la flota reduce la barrera de entrada, permitiendo a instituciones con recursos de computación modestos (una sola GPU de estación de trabajo) construir, auditar y extender incrustaciones ambientales a medida.
• Interpretabilidad: Al separar los modelos por física de sensor, el sistema proporciona una interpretabilidad más clara sobre qué señales físicas impulsan predicciones específicas, a diferencia de la naturaleza de "caja negra" de las incrustaciones generalistas.
• Flexibilidad Agéntica: El agente de enrutamiento compone exitosamente a estos especialistas en un sistema funcional que se adapta a los requisitos físicos de una consulta, superando a los generalistas en tareas especializadas.
• Coexistencia: Los autores visualizan un futuro donde las incrustaciones generalistas y las flotas de especialistas coexisten, con agentes seleccionando dinámicamente la herramienta apropiada basándose en la física de la pregunta.

Los autores permanecen modestos, reconociendo limitaciones como la restricción a datos de CONUS, el corpus de entrenamiento de un solo año y la saturación de las puntuaciones de LLM como Juez en preguntas amplias. Sugieren que el trabajo futuro debería explorar la especialización por régimen hidrológico (por ejemplo, nieve, árido) y escala temporal, y probar la generalización geográfica más allá del dominio de entrenamiento.