Resumo Técnico: KISS – Infraestrutura de Conhecimento para Simulação Científica

Declaração do Problema

Modelos de simulação baseados em processos codificam décadas de entendimento científico validado em disciplinas do sistema terrestre (hidrologia, agricultura, clima, etc.). No entanto, esses modelos permanecem inacessíveis às comunidades mais expostas ao risco climático e à escassez de recursos, e até grupos bem-resourced enfrentam gargalos devido à natureza dispersa e tácita do conhecimento operacional necessário para executá-los. Embora agentes de Modelos de Linguagem (LLM) tenham mostrado promessa na automação de fluxos de trabalho científicos, eles lutam com simulação baseada em processos. O desafio é estrutural: uma simulação válida exige encadear decisões através de um espaço de alta dimensão onde os critérios de validade são frequentemente implícitos. Sem orientação explícita, os agentes geram saídas "suaves e plausíveis" que são cientificamente inválidas, falhando em distinguir entre execução de código e correção científica. O problema central não é se os agentes podem raciocinar sobre ciência, mas se décadas de expertise operacional específica de domínio podem ser externalizadas em uma forma sobre a qual os agentes possam agir.

Metodologia

Os autores introduzem a Infraestrutura de Conhecimento (KI), uma estrutura acionável por agentes projetada para externalizar a expertise operacional em três componentes distintos e legíveis por máquina:

1. Operadores de Modelagem Validados: Conhecimento procedural codificado como funções específicas e pré-validadas (por exemplo, conversão de unidades, geração de arquivos, resolução de dependências) que os agentes invocam em vez de regenerar do zero.
2. Protocolos de Domínio em Etapas: Conhecimento avaliativo definindo pontos de verificação que devem ser satisfeitos antes que um fluxo de trabalho avance (por exemplo, verificação de intervalos de parâmetros, balanço de massa e plausibilidade física de resultados intermediários).
3. Mecanismos de Recuperação Diagnóstica: Conhecimento diagnóstico mapeando sintomas de falha para causas prováveis e remédios específicos, permitindo que os agentes se recuperem de falhas silenciosas ou indiretas.

Para operacionalizar isso, os autores desenvolveram o Kit de Ferramentas de Dissecação de Conhecimento (KDT), um sistema que extrai autonomamente essas três formas de conhecimento do código-fonte do modelo, documentação e prática de especialistas para construir pacotes de KI.

O estudo emprega uma estratégia de avaliação "de profundidade para escala":

• Teste de Profundidade: Uma KI construída manualmente para um fluxo de trabalho hidrológico acoplado VIC–Lohmann foi testada em 3.000 ensaios envolvendo 10 agentes de codificação CLI de cinco plataformas independentes (Anthropic, OpenAI, Google, Moonshot, Alibaba) em três bacias do rio Huai. O sucesso exigiu completar 14 marcos do pipeline e alcançar uma eficiência de Nash–Sutcliffe (NSE) ≥ 0,2.
• Teste de Escala: O KDT foi aplicado a 117 modelos adicionais baseados em processos em 14 domínios de ciências da Terra. Isso incluiu um conjunto de transferência supervisionado por especialistas (25 modelos) e um conjunto de escalonamento totalmente autônomo (92 modelos).
• Estudos de Ablação: Experimentos foram conduzidos para isolar a contribuição da KI retendo camadas específicas (operadores, protocolos ou diagnósticos) para observar modos de falha.

Resultados Principais

• Ganhos de Desempenho: Agentes equipados com KI alcançaram taxas de conclusão de até 84% no benchmark de hidrologia acoplada, enquanto agentes sem KI estagnaram abaixo de 40%. Três agentes (Claude Sonnet 4.5, Claude Opus 4.5 e Kimi K2.5 Coding) alcançaram desempenho de Nível 1 (≥80% de sucesso).
• Análise de Modo de Falha: Sem KI, os agentes falharam principalmente devido a "falsificação" (geração de dados sintéticos sem operadores), "cegueira física" (ignorar restrições sem protocolos) e "loop de erro" (incapacidade de recuperação sem diagnósticos). A KI eliminou essas assinaturas específicas de falha.
• Escalabilidade e Generalização: O KDT gerou com sucesso pacotes de KI para 119 modelos no total. No conjunto de escalonamento autônomo, 59 modelos foram validados contra dados observacionais e 33 foram verificados como executáveis em entradas sintéticas.
• Convergência Estrutural: A análise dos 119 pacotes de KI revelou que a expertise operacional não é ad hoc, mas altamente estruturada. Através de 2.406 mecanismos diagnósticos e 3.478 pontos de decisão, os modos de falha (por exemplo, erros de unidade, incompatibilidades de E/S) e as categorias de decisão (por exemplo, seleção de parâmetros, opções de física) convergiram em todos os 14 domínios, apoiando a hipótese de que uma estrutura compartilhada é suficiente para diversos modelos de ciências da Terra.
• Reprodutibilidade: A KI reduziu significativamente a variância de saída. No fluxo de trabalho construído manualmente, 15 de 30 combinações agente-bacia mostraram variância NSE zero em 100 execuções. A reprodutibilidade foi mais alta em domínios onde a KI fechou a maioria das escolhas operacionais (por exemplo, biogeoquímica) e mais baixa onde escolhas científicas significativas permaneceram não resolvidas.

Significado e Alegações

O artigo afirma que a Infraestrutura de Conhecimento representa uma mudança de paradigma na forma como a IA interage com a simulação científica. Em vez de substituir equações físicas por substitutos ou incorporar restrições em redes neurais, a KI permite que os agentes operem modelos existentes baseados em processos de ponta a ponta, externalizando a camada operacional "tácita".

Os autores afirmam três contribuições principais:

1. Redução de Barreiras de Acesso: A KI permite que usuários não especialistas façam perguntas práticas a modelos mecanísticos por meio de linguagem natural, preenchendo a lacuna entre aqueles que precisam de saídas de simulação e aqueles que podem executá-las.
2. Redução de Barreiras de Integração: A KI reduz a sobrecarga operacional de fluxos de trabalho entre modelos e entre domínios, permitindo que agentes componham, comparem e acoplem modelos (por exemplo, vinculando modelos de escoamento, inundação e impacto de culturas) em sessões únicas sem anos de coordenação manual.
3. Bem Comum Científico Vivo: Ao tornar a expertise operacional explícita, auditável e reutilizável, a KI transforma a ciência baseada em processos em um "bem comum científico vivo". Permite que a comunidade possua coletivamente, estenda e controle a versão da lógica operacional dos modelos, tornando-os reexecutáveis por qualquer agente compatível.

O artigo conclui que, embora a KI não resolva as incertezas estruturais dos próprios modelos de física subjacentes, ela resolve a ambiguidade operacional que historicamente confinou a simulação baseada em processos a grupos de especialistas. O valor dessa abordagem depende da participação coletiva da comunidade para construir, auditar e manter pacotes de KI para diversos modelos.