기술 요약: KISS – 과학적 시뮬레이션을 위한 지식 인프라

문제 제기

프로세스 기반 시뮬레이션 모델은 수문학, 농업, 기후 등 지구 시스템 학문 전반에 걸쳐 수십 년간 검증된 과학적 이해를 인코딩하고 있습니다. 그러나 이러한 모델은 기후 위험과 자원 부족에 가장 많이 노출된 지역사회에게는 접근이 불가능하며, 자원이 풍부한 집단조차 모델을 실행하는 데 필요한 산재하고 암묵적인 운영 지식을 이유로 병목 현상에 직면합니다. 대규모 언어 모델 (LLM) 에이전트가 과학적 워크플로우 자동화에서 가능성을 보였음에도 불구하고, 프로세스 기반 시뮬레이션에서는 어려움을 겪고 있습니다. 이 도전은 구조적입니다. 유효한 시뮬레이션은 종종 암시적인 유효성 기준이 존재하는 고차원 공간에서 의사결정을 체인링하는 것을 요구합니다. 명시적인 지침이 없으면 에이전트는 과학적으로 유효하지 않은 "매끄럽고 그럴듯한" 출력을 생성하며, 코드 실행과 과학적 정확성 사이의 차이를 구분하지 못합니다. 핵심 문제는 에이전트가 과학에 대해 추론할 수 있는지 여부가 아니라, 수십 년간의 도메인 특화 운영 전문성을 에이전트가 행동할 수 있는 형태로 외부화할 수 있는지 여부입니다.

방법론

저자들은 운영 전문성을 세 가지 구별되는 기계 가독성 구성 요소로 외부화하도록 설계된 에이전트 실행 가능 구조인 **지식 인프라 (Knowledge Infrastructure, KI)**를 소개합니다:

1. 검증된 모델링 연산자 (Validated Modelling Operators): 단위 변환, 파일 생성, 의존성 해결 등 에이전트가 처음부터 재생성하는 대신 호출하는 특정 사전 검증 함수로 인코딩된 절차적 지식.
2. 단계별 도메인 프로토콜 (Staged Domain Protocols): 워크플로우가 진행되기 전에 충족되어야 하는 체크포인트를 정의하는 평가적 지식 (예: 매개변수 범위 확인, 질량 수지, 중간 결과의 물리적 타당성 확인).
3. 진단 복구 메커니즘 (Diagnostic Recovery Mechanisms): 실패 증상을 가능한 원인과 특정 해결책에 매핑하는 진단 지식으로, 에이전트가 침묵적이거나 간접적인 실패에서 복구할 수 있도록 함.

이를 운영화하기 위해 저자들은 모델 소스 코드, 문서, 전문가 실무에서 이러한 세 가지 지식 형태를 자동으로 추출하여 KI 패키지를 구축하는 **지식 해부 툴킷 (Knowledge Dissection Toolkit, KDT)**을 개발했습니다.

본 연구는 "심도에서 규모로 (depth-to-scale)" 평가 전략을 사용합니다:

• 심도 테스트: 결합된 VIC–Lohmann 수문 워크플로우에 대해 수동으로 구축된 KI 를 5 개 독립 플랫폼 (Anthropic, OpenAI, Google, Moonshot, Alibaba) 의 10 개 CLI 코딩 에이전트가 3 개의 회하 유역에서 수행한 3,000 회 시도에 걸쳐 테스트했습니다. 성공을 위해서는 14 개의 파이프라인 마일스톤을 완료하고 네시-서틀리프 효율 (NSE) ≥ 0.2 를 달성해야 했습니다.
• 규모 테스트: KDT 를 14 개 지구과학 도메인의 117 개 추가 프로세스 기반 모델에 적용했습니다. 여기에는 **전문가 감독 이전 세트 (25 개 모델)**와 **완전 자율 확장 세트 (92 개 모델)**가 포함되었습니다.
• 결손 연구 (Ablation Studies): 특정 계층 (연산자, 프로토콜, 또는 진단) 을 withhold 하여 실패 모드를 관찰함으로써 KI 의 기여도를 분리하기 위해 실험을 수행했습니다.

주요 결과

• 성능 향상: KI 를 갖춘 에이전트는 결합 수문 벤치마크에서 최대 84% 의 완료율을 달성한 반면, KI 가 없는 에이전트는 40% 미만에서 정체되었습니다. 세 에이전트 (Claude Sonnet 4.5, Claude Opus 4.5, Kimi K2.5 Coding) 가 1 등급 성능 (≥80% 성공) 에 도달했습니다.
• 실패 모드 분석: KI 가 없으면 에이전트는 주로 "조작 (fabrication)"(연산자 없이 합성 데이터 생성), "물리적 무지 (physical blindness)"(프로토콜 없이 제약 조건 무시), "오류 루핑 (error looping)"(진단 없이 복구 불가) 으로 실패했습니다. KI 는 이러한 특정 실패 서명을 제거했습니다.
• 확장성 및 일반화: KDT 는 총 119 개 모델에 대한 KI 패키지를 성공적으로 생성했습니다. 자율 확장 세트에서 59 개 모델은 관측 데이터에 대해 검증되었고, 33 개 모델은 합성 입력에서 실행 가능한 것으로 확인되었습니다.
• 구조적 수렴: 119 개 KI 패키지에 대한 분석은 운영 전문성이 임의적이지 않고 매우 구조화되어 있음을 드러냈습니다. 2,406 개의 진단 메커니즘과 3,478 개의 의사결정 지점 전반에 걸쳐 실패 모드 (예: 단위 오류, I/O 불일치) 와 의사결정 범주 (예: 매개변수 선택, 물리 옵션) 가 모든 14 개 도메인에서 수렴하여, 공유된 구조가 다양한 지구과학 모델에 충분하다는 가설을 지지했습니다.
• 재현성: KI 는 출력 변이를 크게 감소시켰습니다. 수동 구축 워크플로우에서 30 개 에이전트–유역 조합 중 15 개는 100 회 실행에서 NSE 변이가 0 을 보였습니다. 재현성은 KI 가 대부분의 운영 선택을 닫은 도메인 (예: 생지화학) 에서 가장 높았으며, 의미 있는 과학적 선택이 해결되지 않은 도메인에서는 낮았습니다.

중요성 및 주장

본 논문은 **지식 인프라 (Knowledge Infrastructure)**가 과학적 시뮬레이션과 상호작용하는 AI 의 방식에 있어 패러다임 전환을 나타낸다고 주장합니다. KI 는 물리 방정식을 대리 모델로 대체하거나 신경망에 제약 조건을 임베딩하는 대신, "암묵적인" 운영 계층을 외부화함으로써 에이전트가 기존 프로세스 기반 모델을 엔드투엔드로 작동할 수 있게 합니다.

저자들은 세 가지 주요 기여를 주장합니다:

1. 접근 장벽 완화: KI 는 비전문가 사용자가 자연어를 통해 기계적 모델에 실용적인 질문을 할 수 있게 하여, 시뮬레이션 출력이 필요한 사람들과 이를 실행할 수 있는 사람들 간의 격차를 해소합니다.
2. 통합 장벽 완화: KI 는 교차 모델 및 교차 도메인 워크플로우의 운영 오버헤드를 줄여, 에이전트가 수년의 수동 조정 없이 단일 세션에서 모델을 구성, 비교 및 결합 (예: 유출, 침수, 작물 영향 모델 연결) 할 수 있게 합니다.
3. 살아있는 과학적 공유재: 운영 전문성을 명시적, 감사 가능, 재사용 가능하게 함으로써 KI 는 프로세스 기반 과학을 "살아있는 과학적 공유재"로 변모시킵니다. 이는 커뮤니티가 모델의 운영 논리를 집단적으로 소유, 확장 및 버전 관리할 수 있게 하여, 어떤 호환 가능한 에이전트라도 이를 재실행할 수 있게 합니다.

본 논문은 KI 가 근본적인 물리 모델 자체의 구조적 불확실성을 해결하지는 않지만, 역사적으로 프로세스 기반 시뮬레이션을 전문가 집단으로 제한해 온 운영적 모호성을 해결한다고 결론지었습니다. 이 접근법의 가치는 다양한 모델에 대한 KI 패키지를 구축, 감사 및 유지하기 위한 집단적 커뮤니티 참여에 달려 있습니다.