EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

Cuando los científicos intentan comprender cómo funciona la Tierra, rara vez tienen una imagen única y perfecta de lo que está sucediendo. En su lugar, deben armar una historia a partir de muchas fuentes diferentes: un informe meteorológico de una estación local, una imagen satelital tomada desde el espacio, un resumen de una inundación de una agencia gubernamental y un reanálisis de datos climáticos históricos. Cada una de estas fuentes cuenta una parte de la verdad, pero a menudo hablan lenguajes distintos, cubren áreas diferentes y registran eventos en momentos diferentes. El verdadero desafío de las ciencias de la Tierra no es solo leer estos informes, sino determinar cuáles pertenecen entre sí, cómo compararlos de manera justa y si cuentan una historia coherente sobre un desastre o un cambio climático. Si un científico elige los datos equivocados o confunde la cronología, la conclusión entera sobre un peligro puede ser errónea, con graves consecuencias para la forma en que las comunidades se preparan o responden ante el peligro.

Un nuevo estudio llamado EarthVerse plantea una pregunta difícil: ¿pueden los sistemas de inteligencia artificial realizar este tipo de labor de detective científico por sí mismos? Los investigadores construyeron una prueba masiva para ver si los agentes informáticos podían actuar como científicos reales. Crearon 405 investigaciones específicas basadas en 199 desastres del mundo real y eventos climáticos extremos, que iban desde olas de calor hasta terremotos. Cada investigación era un paquete de aproximadamente 34 archivos diferentes, que incluían datos brutos, mapas e informes. A los agentes informáticos se les entregó una pregunta científica, como determinar la severidad de una ola de calor, pero no se les indicó qué archivos debían consultar. Tenían que buscar en todo el paquete, encontrar los registros adecuados, verificar si los datos coincidían en tiempo y espacio, realizar los cálculos necesarios y luego redactar una respuesta final que estuviera plenamente respaldada por la evidencia encontrada.

Los resultados revelaron una brecha significativa entre lo que estos sistemas pueden hacer en pruebas simples y cómo se desempeñan en escenarios complejos del mundo real. Cuando los investigadores probaron 25 sistemas de IA diferentes, los mejores fueron capaces de obtener correctamente alrededor del 85 por ciento de los datos individuales pequeños. A menudo podían encontrar los números correctos y realizar las matemáticas correctamente. Sin embargo, cuando los investigadores analizaron si la investigación completa era completa y confiable, la tasa de éxito cayó drásticamente. Solo alrededor del 35 por ciento de las investigaciones se realizaron lo suficientemente bien como para considerarse totalmente confiables. Esto significa que incluso los sistemas más avanzados a menudo cometían un error crítico en algún punto de la cadena de razonamiento. Podían haber encontrado el registro de temperatura correcto pero utilizado un intervalo de tiempo equivocado, o podrían haber calculado una estadística correctamente pero fallado al verificar si los datos provenían de una fuente compatible.

El estudio demostó que el problema no es la falta de conocimiento o la incapacidad de hacer matemáticas. Los sistemas conocían los hechos y podían calcular los números. El fallo ocurrió cuando tuvieron que decidir en qué evidencia confiar y cómo mantener todas las piezas del rompecabezas alineadas. Cuando los investigadores ayudaron a los sistemas de IA dándoles apoyo adicional al señalarles directamente los archivos correctos, su rendimiento aumentó significamente, demostrando que el principal cuello de botella era encontrar la información correcta, no entenderla. El estudio también encontró que el simple hecho de hacer que la IA pensara más tiempo o con más intensidad no ayudaba si estaba estancada buscando los datos equivocados. Los sistemas necesitaban ser capaces de cambiar de opinión, retroceder y encontrar una mejor fuente, y actualizar su conclusión basándose en nueva evidencia.

Esta investigación sugiere que, si bien la inteligencia artificial se está volviendo muy buena para responder preguntas cuando la respuesta ya es proporcionada, todavía tiene dificultades con la tarea más difícil de construir la propia base de evidencia. En el mundo de las ciencias de la Tierra, donde una sola pieza de datos faltante puede cambiar la comprensión de un desastre, esta brecha es crítica. El estudio concluye que, para que la IA sea verdaderamente confiable en campos científicos, debe ser capaz de mantener un vínculo constante entre cada afirmación que hace y la evidencia específica que la respalda, asegurando que toda la historia se mantenga cohesionada desde el primer dato hasta la conclusión final.