💰 quantitative finance

A harmonised dataset for Earth system foundation models

Este artículo presenta WorldTensor, un conjunto de datos global armonizado que alinea diversas variables ambientales y socioeconómicas en una cuadrícula estandarizada de 0.25° y un marco anual para permitir el entrenamiento de modelos fundacionales de sistemas terrestres multimodales que capturen la dinámica acoplada entre el ser humano y el entorno.

Autores originales: Carlos Rodriguez-Pardo, Massimo Tavoni

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Carlos Rodriguez-Pardo, Massimo Tavoni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina la Tierra como una máquina gigante y compleja con dos motores principales: el mundo natural (clima, océiones, bosques) y el mundo humano (ciudades, granjas, plantas de energía, economías). Durante mucho tiempo, los científicos han construido "supercerebros" (llamados modelos fundacionales) para entender cómo funcionan estos motores. Sin embargo, ha habido un problema importante: los supercerebros solo han sido alimentados con datos sobre el motor natural. Saben todo sobre la lluvia y el viento, pero son casi ciegos ante cómo los humanos construyen ciudades, queman combustible o mueven dinero.

Este artículo presenta WorldTensor, un nuevo y masivo "manual de instrucciones" diseñado para solucionar este punto ciego. Piensa en WorldTensor no como un solo libro, sino como una biblioteca gigante y perfectamente organizada donde cada dato sobre el planeta —desde una gota de lluvia hasta la chimenea de una fábrica— está escrito en el mismo tipo de papel, en el mismo idioma y archivado en el mismo cajón.

Así es como el artículo lo desglosa:

1. El Problema: Un montón desordenado de rompecabezas

Antes de WorldTensor, intentar estudiar la Tierra y los humanos juntos era como intentar resolver un rompecabezas donde la mitad de las piezas son de una imagen del océano y la otra mitad son de una imagen de una ciudad, pero todas son de diferentes tamaños, diferentes formas y están impresas en diferentes idiomas.

Algunos datos son diarios (como el clima); otros son solo cada pocos años (como los censos de población).
Algunos datos son una cuadrícula de cuadrados (como un mapa); otros son solo una lista de puntos (como la ubicación de las plantas de energía).
Algunos mapas usan diferentes sistemas de coordenadas, lo que hace imposible alinearlos.

Los científicos tenían que pasar meses simplemente limpiando y alineando estos datos antes de poder siquiera comenzar su investigación.

2. La Solución: La biblioteca "WorldTensor"

Los autores crearon WorldTensor, un conjunto de datos armonizado que actúa como un traductor universal y un organizador maestro.

La Cuadrícula: Tomaron cientos de fuentes de datos diferentes y las forzaron todas a una única cuadrícula estándar (0.25 grados, aproximadamente el tamaño de una manzana de ciudad grande). Imagina tomar una foto de alta resolución, un boceto y una lista de números, y imprimirlos todos en el mismo papel milimetrado exacto para que se alineen perfectamente.
El Tiempo: E estandarizaron el tiempo a un ritmo anual. Si una fuente tenía datos diarios, los resumieron en un promedio anual. Si una fuente solo tenía datos cada 5 años, llenaron los huecos para crear una línea de tiempo fluida.
El Contenido: Es una mezcla "multimodal". No solo tiene clima; tiene:
- Naturaleza: Océanos, hielo, suelo, bosques y calidad del aire.
- Humanos: Población, PIB (riqueza), plantas de energía, carreteras e incluso zonas de conflicto.
- La Mezcla: Cómo los humanos cambian la naturaleza (como talar bosques) y cómo la naturaleza afecta a los humanos (como inundaciones que golpean ciudades).

3. Cómo lo construyeron (La analogía de la cocina)

Piensa en las fuentes de datos como ingredientes crudos de diferentes mercados. Algunos son pescado fresco (clima diario), otros son frijoles secos (censo anual) y otros son especias (puntos de ubicación de fábricas).

Regridding (Re-cuadriculación): Tomaron el "pescado" y lo cortaron en trozos del mismo tamaño que los "frijoles".
Rasterización: Tomaron las "especias" (puntos en un mapa) y las extendieron para que parecieran una capa suave de sazón sobre la cuadrícula.
Estandarización: Se aseguraron de que cada ingrediente se midiera en las mismas unidades (como convertir tazas a gramos) y se etiquetara claramente.
Control de Calidad: Revisaron los ingredientes para asegurarse de que no estuvieran en mal estado. Si un número era físicamente imposible (como una temperatura de 500°C en la Tierra), lo marcaron. También revisaron que el "mapa" no tuviera desgarros o costuras donde los bordes no coincidían.

4. Qué aspecto tiene

El artículo muestra que este conjunto de datos es enorme. Contiene más de 52,000 archivos que cubren los años 1900 a 2025.

Incluye 14 "departamentos" diferentes (como Clima, Energía, Sistemas Humanos, Peligros).
Permite que una computadora vea que un cambio en las emisiones (humano) está vinculado a un cambio en la calidad del aire (naturaleza), o que la urbanización (humano) está vinculada al riesgo de inundación (naturaleza).

5. Por qué es importante (El entrenamiento del "Supercerebro")

El objetivo principal de WorldTensor es entrenar Modelos Fundacionales.

Antes: Un supercerebro aprendía a predecir el clima, pero no entendía que construir una presa cambia el flujo del río, o que una guerra detiene a la gente de cultivar.
Ahora: Con WorldTensor, un supercerebro puede aprender las dinámicas acopladas. Puede aprender cómo las acciones humanas y las fuerzas naturales se empujan y se atraen mutuamente a escala global.

El artículo valida esto mostrando que los datos funcionan. Cuando probaron el conjunto de datos contra eventos históricos reales (como El Niño de 1997 o la pandemia de 2020), los datos mostraron correctamente los picos y caídas en la temperatura, las emisiones y los conflictos. Demostró que la "biblioteca" es precisa y está lista para que las computadoras la lean.

Resumen

WorldTensor es un conjunto de datos masivo, limpio y organizado que finalmente pone los motores "Humano" y "Tierra" en la misma página. Convierte un montón caótico de mapas y números incompatibles en una imagen coherente y única de nuestro planeta, permitiendo que la IA finalmente aprenda cómo vivimos en y con la Tierra, en lugar de solo estudiar la Tierra de forma aislada.

Resumen Técnico: WorldTensor – Un conjunto de datos armonizado para modelos fundacionales del sistema terrestre

Planteamiento del problema
Los modelos fundacionales del sistema terrestre han avanzado rápidamente en la simulación de la dinámica física del clima y el tiempo, aprovechando principalmente datos de reanálisis y satélite densos. Sin embargo, persiste una brecha crítica: estos modelos omiten en gran medida los sistemas humanos que impulsan las emisiones, alteran el uso del suelo, construyen infraestructura y determinan la vulnerabilidad. Si bien los datos necesarios para describir la dinámica acoplada humano-Tierra existen en reanálisis, teledetección, inventarios de emisiones e indicadores socioeconómicos, estos permanecen fragmentados. Estas fuentes difieren en sus resoluciones nativas, proyecciones, frecuencias temporales (que van desde lo diario hasta instantáneas multianuales dispersas) y convenciones de metadatos. Esta fragmentación obstaculiza el desarrollo de modelos fundacionales verdaderamente multimodales capaces de aprender dinámicas acopladas a través de sistemas ambientales y humanos a escala planetaria. Los esfuerzos actuales suelen limitarse al Norte Global o carecen de una representación unificada que permita el razonamiento conjunto entre los dominios físicos y socioeconómicos.

Metodología
Los autores presentan WorldTensor, un conjunto de datos global armonizado diseñado para servir como un recurso de entrenamiento unificado para flujos de trabajo de aprendizaje automático. El conjunto de datos alinea cientos de variables ambientales y socioeconómicas a una rejilla espacial estandarizada de 0.25° (coincidente con ERA5) y un marco temporal anual.

La construcción de WorldTensor se basó en cuatro principios fundamentales: soporte espacial compartido, resolución temporal compartida, cobertura de dominios multimodales y un formato legible por máquinas. La metodología incluyó:

Selección de fuentes: Se seleccionó un conjunto curado de variables de alta calidad basadas en su relevancia para las dinámicas acopladas humano-Tierra (cubriendo clima físico, procesos de tierra/océano, emisiones, infraestructura, peligros y actividad socioeconómica) y cobertura global. Se excluyeron las fuentes que carecían de extensión global, alineación temporal fiable o reproducibilidad.
Armonización espacial: Todas las entradas de rejilla fueron reajustadas a la rejilla canónica de 0.25°. Los campos continuos utilizaron remuestreo bilineal, mientras que las capas categóricas utilizaron la asignación de vecino más cercano para preservar los límites de clase. Los conjuntos de datos de puntos, líneas y polígonos (p. ej., centrales eléctricas, eventos de conflicto) se rasterizaron en campos continuos o mapas de densidad utilizando reglas específicas de geometría. Se prestó especial atención al manejo de la costura de la longitud, el comportamiento del borde polar y la evitación de artefactos espaciales.
Armonización temporal: Las frecuencias heterogéneas de las fuentes se convirtieron a un modelo común de liberación anual. Los datos diarios y mensuales se agregaron utilizando estadísticas apropiadas para cada variable (p. ej., media, suma, máximo, mínimo). Los conjuntos de datos socioeconómicos dispersos se interpolaron entre los años de referencia. Las variables estáticas (p. ej., batimetría, textura del suelo) se liberaron como capas invariantes en el tiempo.
Modelo de datos y empaquetado: El conjunto de datos se distribuye como archivos NetCDF comprimidos que cumplen con las convenciones de metadatos CF. La estructura es modular: las variables temporales se almacenan como <dominio>/<variable>/<YYYY>.nc, mientras que las variables estáticas residen en static/<grupo>/<variable>.nc. El conjunto de datos incluye 757 unidades liberadas (658 familias de variables temporales y 99 capas estáticas), sumando aproximadamente 46 GB.

Contribuciones clave

Conjunto de datos WorldTensor: Un conjunto de datos global armonizado y unificado que abarca 14 dominios de alto nivel: clima, extremos, calidad del aire, emisiones, uso del suelo, vegetación, hidrología, criosfera, océano, agricultura, energía, sistemas humanos, peligros/conflictos y contexto estático.
Representación estandarizada: El conjunto de datos proporciona una representación única para variables que anteriormente eran incompatibles, permitiendo que los modelos aprendan acoplamientos entre dominios (p. ej., entre emisiones y composición atmosférica, o cambio de uso del suelo e hidrología).
Infraestructura reproducible: Los autores proporcionan un pipeline de procesamiento completo, incluyendo módulos de descarga específicos para cada fuente, scripts de armonización y herramientas de control de calidad automatizadas.
Interfaces de Aprendizaje Automático: La liberación incluye ejemplos de PyTorch (WorldTensorYearDataset y WorldTensorPatchDataset) que demuestran cómo ingerir los datos en flujos de trabajo de entrenamiento de modelos fundacionales, gestionando tanto las capas temporales como las estáticas.

Resultados y validación técnica
El artículo valida WorldTensor a través de un marco de cinco capas:

Plausibilidad física: 54 variables representativas fueron probadas contra límites físicos; menos del 0.1% de los píxeles excedieron los rangos esperados. Las medias ponderadas por área global para temperatura, precipitación, NDVI, población y emisiones de metano coincidieron con referencias autorizadas (WMO, ERA5, MODIS, GPW, EDGAR).
Consistencia interna: Se verificó que las fracciones de estado de uso de suelo sumaran correctamente respecto al presupuesto de tierra (excluyendo hielo/agua). Se confirmó que las variables acumulativas de peligro e infraestructura fueran monótonamente no decrecientes.
Fidelidad de la señal temporal: El conjunto de datos capturó con éxito anomalías históricas sin conocimiento previo, incluyendo el El Niño de 2015–16 (pico de temperatura), la guerra civil siria (fatalidades por conflicto), la erupción del Pinatubo (caída de radiación solar) y la perturbación de emisiones por el COVID-19 de 2020 (atenuada a resolución anual).
Estructura espacial: Los semivariogramas empíricos confirmaron que se preserva la autocorrelación espacial amplia entre dominios. Las variables ambientales mostraron una autocorrelación de largo alcance (p. ej., temperatura ~~2580 km), mientras que las variables de sistemas humanos como el PIB permanecieron más localizadas (~~300 km).
Coherencia multivariante: El Análisis de Componentes Independientes (ICA) sobre variables no estáticas recuperó zonas eco-climáticas distintas (bosques boreales, selvas tropicales, regiones áridas) sin supervisión geográfica, confirmando que los datos codifican una estructura geográficamente significativa.
Utilidad de las características: El análisis de incrustación geoespacial mostró que las Características Convolucionales Aleatorias (RCF) extraídas de parches de WorldTensor superaron significativamente al codificador posicional de Fourier simple para predecir variables retenidas (media de $R^2$ de 0.63 frente a 0.34), demostrando que el conjunto de datos preserva la textura espacial detallada y los patrones de co-ocurrencia multivariable.

Significancia y afirmaciones
El artículo posiciona a WorldTensor como una infraestructura de investigación en lugar de un benchmark ligado a una clase de modelo específica. Su principal significancia radica en abordar la fragmentación de datos que restringe a la próxima generación de modelos fundacionales del sistema Tierra. Al co-localizar dimensiones ambientales, humanas y estáticas en un solo recurso, WorldTensor proporciona la "materia prima" para que los modelos aprendan cómo los sistemas humanos modifican y responden a las dinámicas planetarias.

Los autores afirman que esta representación unificada es esencial para tareas tales como:

Entrenar incrustaciones (embeddings) geoespaciales de propósito general.
Transferencia de aprendizaje entre tareas de predicción ambiental y socioeconómica.
Reducción de escala (downscaling) o llenado de vacíos en campos socioeconómicos dispersos.
Generación de características para modelos de impacto climático y riesgo.

El artículo reconoce limitaciones, señalando que la resolución anual es menos adecuada para el pronóstico meteorológico sub-diario o la detección de eventos de extremos de corta duración, y que la rejilla de 0.25° puede suavizar estructuras urbanas finas o introducir una precisión aparente para datos de puntos dispersos. Sin embargo, afirma que WorldTensor permite con éxito el estudio de las dinámicas acopladas humano-Tierra a escala planetaria, yendo más allá del sistema climático físico para incluir los impulsores y respuestas humanas que dan forma al cambio global.