EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

Quando os cientistas tentam compreender como a Terra funciona, raramente possuem uma imagem única e perfeita do que está acontecendo. Em vez disso, eles devem montar uma história a partir de muitas fontes diferentes: um relatório meteorológico de uma estação local, uma imagem de satélite tirada do espaço, o resumo de uma agência governamental sobre uma inundação e uma reanálise de dados climáticos históricos. Cada uma dessas fontes conta parte da verdade, mas elas frequentemente falam línguas diferentes, cobrem áreas distintas e registram eventos em tempos diferentes. O verdadeiro desafio das geociências não é apenas ler esses relatórios, mas descobrir quais deles pertencem uns aos outros, como compará-los de forma justa e se eles contam uma história consistente sobre um desastre ou uma mudança climática. Se um cientista escolher os dados errados ou confundir o tempo, toda a conclusão sobre um perigo pode estar errada, com consequências graves para a forma como as comunidades se preparam ou respondem ao perigo.

Um novo estudo chamado EarthVerse faz uma pergunta difícil: os sistemas de inteligência artificial conseguem realizar esse tipo de trabalho de detetive científico por conta própria? Os pesquisadores construíram um teste massivo para ver se agentes de computador poderiam agir como cientistas reais. Eles criaram 405 investigações específicas baseadas em 199 desastres reais e eventos climáticos extremos, variando de ondas de calor a terremotos. Cada investigação era um pacote de cerca de 34 arquivos diferentes, incluindo dados brutos, mapas e relatórios. Os agentes de computador receberam uma questão científica, como determinar a severidade de uma onda de calor, mas não foram informados sobre quais arquivos deveriam consultar. Eles tiveram que vasculhar todo o pacote, encontrar os registros corretos, verificar se os dados coincidiam no tempo e no espaço, realizar os cálculos necessários e, então, escrever uma resposta final totalmente sustentada pelas evidhas encontradas.

Os resultados revelaram uma lacuna significativa entre o que esses sistemas conseguem fazer em testes simples e como eles performam em cenários complexos do mundo real. Quando os pesquisadores testaram 25 sistemas de IA diferentes, os melhores foram capazes de acertar cerca de 85 por cento dos pequenos fatos individuais. Eles frequentemente conseguiam encontrar os números corretos e realizar os cálculos corretamente. No entanto, quando os pesquisadores observaram se a investigação completa era precisa e confiável, a taxa de sucesso caiu drasticamente. Apenas cerca de 35 por cento das investigações foram feitas bem o suficiente para serem consideradas totalmente confiáveis. Isso significa que mesmo os sistemas mais avançados frequentemente cometiam um erro crítico em algum ponto da cadeia de raciocínio. Eles podiam ter encontrado o registro de temperatura correto, mas usado a janela de tempo errada, ou podiam ter calculado uma estatística corretamente, mas falhado em verificar se os dados vinham de uma fonte compatível.

O estudo mostrou que o problema não é a falta de conhecimento ou uma incapacidade de fazer matemática. Os sistemas conheciam os fatos e conseguiam calcular os números. A falha ocorria quando eles tinham que decidir em qual evidência confiar e como manter todas as peças do quebra-cabeça alinhadas. Quando os pesquisadores deram ajuda extra aos sistemas de IA, apontando-os diretamente para os arquivos corretos, o desempenho deles saltou significamente, provando que o principal gargalo era encontrar a informação correta, não compreendê-la. O estudo também descobriu que simplesmente fazer a IA pensar por mais tempo ou com mais intensidade não ajudava se ela estivesse presa procurando os dados errados. Os sistemas precisavam ser capazes de mudar de ideia, voltar e encontrar uma fonte melhor, e atualizar sua conclusão com base em novas evidências.

Esta pesquisa sugere que, embora a inteligência artificial esteja se tornando muito boa em responder perguntas quando a resposta já é fornecida, ela ainda está lutando com a tarefa mais difícil de construir a própria base de evidências. No mundo das geociências, onde uma única peça de dado ausente pode mudar a compreensão de um desastre, essa lacuna é crítica. O estudo conclui que, para a IA ser verdadeiramente confiável em campos científicos, ela deve ser capaz de manter um vínculo consistente entre cada afirmação que faz e a evidência específica que a sustenta, garantindo que toda a história se mantenha coesa, desde o primeiro dado até a conclusão final.