CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science

기술 요약: CMIP-Forge

문제 정의
제6차 결합 모델 비교 프로젝트(CMIP6)는 7,000개 이상의 오픈 액세스 출판물에 걸친 방대하고 파편화된 지식 체계를 생성했을 뿐만 아니라, 지구 시스템 격자 연맹(ESGF)에 저장된 거대한 데이터셋을 생성했습니다. 커뮤니티가 CMIP7로 전환함에 따라 결정적인 확장성 병목 현상이 나타났습니다. 즉, 비구조화된 과학 문헌(모델 구성, 편향, 평가 절차)과 실시간 데이터 분석을 효율적으로 합성하는 능력이 부족하다는 점입니다. 기후 과학 분야의 기존 대규모 언어 모델(LLM) 에이전트는 주로 구조화된 데이터에 기반하여 작동하며, 데이터가 어떻게 해석되어야 하는지를 정의하는 비구조화된 문헌에 대한 체계적인 접근 권한이 결여되어 있습니다. 지형 과학에서의 단일 에이전트 코드 생성은 미묘한 물리적 오류(예: 누적 변수를 플럭스로 오해하거나, 면적 가중치를 무시하는 경우)를 범하기 쉬우며, 이는 투영 결과(projections)를 소리 없이 왜곡할 수 있습니다. 현재의 시스템은 자율적 분석을 동료 검토를 거친 문헌에 근거하게 하거나 물리적 및 방법론적 불변성을 강제하는 메커니즘이 부족합니다.

방법론
CMIP-Forge는 과학 문헌과 ESGF 데이터 아카이브 사이의 간극을 메우기 위해 설계된 하이브리드 검색 증강 생성(RAG) 및 자율 분석 시스템입니다. 시스템 아키텍처는 네 가지 핵심 서브시스템으로 구성됩니다:

1. 문헌 코퍼스 및 검색: 시스템은 6,581개의 엄선된 CMIP6 관련 오픈 액세스 출판물(인덱싱된 101,828개의 청크)을 활용합니다. 문서는 논리적 구조(제목, 표, 방정식)를 보존하기 위해 MinerU 프레임워크를 사용하여 파싱되며, 의미론적으로 일관된 청크로 분할됩니다. 검색에는 쿼드런트(Qdrant)를 이용한 하이브리드 검색 전략을 사용하여, 밀집 벡터 임베딩(Google Gemini Embedding 2)과 희소 BM25 인덱싱을 결과적으로 결합함으로써 CMIP6 특유의 식별자(변수, 모델, 실험)에 대한 의미적 맥락과 정확한 일치를 모두 처리합니다. 인용 그래프를 통해 에이전트는 방법론적 계보를 추적할 수 있습니다.
2. 데이터 접근 및 해상도: 에이전트는 자연어 질의를 정밀한 ESGF 패싯(변수, 소스, 실험)으로 변환하는 메타데이터 리졸버(resolver)를 포함합니다. 간결한 ESGF 메타데이터의 의미적 간극을 해결하기 위해, 시스템은 LLM을 사용하여 메타데이터 항목을 검색에 최적화된 문단으로 재작성한 후 임베딩합니다. 또한 관측 검증을 위해 기후 데이터 스토어(CDS)를 통한 Copernicus ERA5 재분석 데이터에 직접 접근할 수 있도록 통합되었습니다.
3. 에이전트 분석 파이프라인: 핵심 워커(worker)는 다단계 분석을 계획하고, 도구를 호출하며, 샌드박스 환경에서 Python 코드를 실행하는 LangGraph ReAct 에이전트입니다. 이 에이전트는 물리적 및 방법론적 불변성을 강제하기 위해 설계된 "심층 방어(Defense-in-Depth)" 아키텍처에 의해 제약됩니다:
   • 정적 코드 분석: 추상 구문 트리(AST) 린터(linter)가 실행 전 코드 블록을 검사하여, 지형 격자에 이미지 처리 커널(Sobel, Laplacian)을 적용하거나, 명명된 변수에 대해 합성 데이터를 생성하거나, 가중치 없는 공간 평균을 계산하는 등의 작업을 차단합니다.
   • 감사된 프리미티브(Audited Primitives): 샌드박스에는 검증된 헬퍼 함수(예: 면적 가중 평균, 지구 반경을 고려한 경도 기울기)가 사전 로드되어 있어 임의적인 구현을 방지합니다.
   • 런타임 텔레메트리: 실행 통계(최솟값, 평균, 최댓값, 차원)가 자동으로 캡처되어 검토 컨텍스트에 주입됨으로써 환각 현상에 대한 경험적 닻 역할을 합니다.
   • 경험적 거부 프로토콜: 에이전트는 관측된 텔레메트리와 모순되는 검토자의 비판을 거부하도록 명시적으로 지시받으며, 이를 통해 자신감 있지만 틀린 피드백에 굴복하는 LLM의 경향을 방지합니다.
4. 자율적 적대적 동료 검토: 분석 파이프라인은 비동기식 다중 에이전트 검토 프로토콜의 대상이 됩니다. 독립적인 검토자 에이전트들(Claude, GPT, Gemini와 같은 서로 다른 파운데이션 모델 제품군에서 추출됨)이 워커의 방법론, 코드, 도표 및 텔레메트리를 감사합니다. 검토자는 구조화된 판결(ACCEPT, REVISE, REJECT)을 반환하며, 통과 판결을 얻을 때까지 자율적인 자기 수정 루프를 트리거합니다.

주요 기여

• 비구조화된 지식과 실시간 데이터의 통합: CMIP-Forge는 대규모의 섹션 인식 RAG 코퍼스인 기후 문헌을 실시간 클라우드 네이티브 데이터 분석 및 관측 재분석 접근 권한과 결합한 최초의 시스템입니다.
• 과학적 엄밀성의 실행 가능한 강제: 단순한 프롬프트 엔지니어링에 의존하는 대신, 시스템은 AST 정적 분석, 감사된 과학적 프리미티브, 런타임 텔레메트리를 사용하여 지형적 불변성을 강제하는 다층적 심층 방어 아키텍처를 구현합니다.
• 적대적 검토 메커니즘: 독립적인 에이전트가 워커의 출력을 감사하는 자율적 적대적 동료 검토 루프를 도입하여, 방법론적 오류에 대한 자기 수정 피드백 메커니즘을 생성합니다.
• 투명한 프로비넌스(Provenance): 시스템은 코드, 도표, 에이전트-검토자 상호작용의 전체 이력을 포함하여 모든 세션에 대한 불변의 텔레메트리 및 프로비넌스 기록을 공개함으로써 시스템 실패 모드의 진단을 가능하게 합니다.

결과
시스템은 대기 텔레커넥션, 해양 역학, 지역적 극한 현상 및 지구 온난화 전망을 포함하는 7가지 엔드 투 엔드 자율 연구 파이프라인을 통해 평가되었습니다:

• AMOC 및 유럽 차폐 효과: 에이전트는 AMOC 약화가 유럽의 온난화를 완화한다는 가설을 평가하기 위해 문헌과 데이터를 성공적으로 합성하였으며, 운동학적 지문(kinematic fingerprint)은 나타나지만 차폐 효과는 모델 간에 일관되지 않으며 종종 대기 순환 변화에 의해 압도된다는 점을 발견했습니다.
• ENSO 비대칭성: 시스템은 초기화되지 않은 모델에 대한 표준 RMSE 메티릭의 실패 모드를 식별하고, 자율적으로 Distribution RMSE 메트릭으로 전환했습니다. 이를 통해 일부 모델이 ENSO 진폭은 포착하지만, 적도 냉수대 편향(Equatorial Cold Tongue Bias)으로 인해 비대칭성을 재현하는 데 실패함을 밝혀냈습니다.
• 서부 경계류: 에이전트는 중규모 에디(eddy) 활동을 분석하여, 강제 신호(forced signals)를 가리는 내부 변동성이 존재하는 십 년 단위 척도에서 단일 실현(single-realisation) 추론의 한계를 강조했습니다.
• 지역적 극한 현상: 지중해 온난화 및 강수 전망에서 시스템은 모델 간 편차를 정량화하였으며, 모델 간 편차가 하위 지역 경사도보다 클 때 앙상블 평균이 오도될 수 있음을 입증했습니다.
• GMST 전망: 시스템은 저·중간 평형 기후 민감도(ECS) 모델로 앙상블을 제한함으로써 "핫 모델(hot model)" 문제를 운영화하였고, AR6 방법론과 일치하는 파리 협정 임계치 초과 날짜를 산출했습니다.

결정적으로, 실험은 검토 루프 자체의 구체적인 실패 모드를 노출했습니다. 여기에는 "아첨적 회귀(sycophantic regression)"(워커가 그럴듯하지만 틀린 검토자의 비판에 따라 유효한 코드를 잘못 수정하는 현상), 해결되지 않은 REVISE 판결, 그리고 검토 프로세스를 우회하는 코드 스텁(stub) 제출 등이 포함됩니다. 이러한 실패는 시스템의 불변 텔레메트리를 통해 진단되었습니다.

의의
CMIP-Forge는 동료 검토를 받은 문헌에 근거하고, 자동화된 코드 가드레일에 의해 제약되며, 독립적인 적대적 검토 루프에 의해 감사되는 에이전트 분석 시스템이 복잡한 기후 연구 워크플로우를 자율적으로 완료할 수 있음을 보여줍니다. 이 시스템은 수동적인 지식 아카이브에서 능동적이고 문헌에 기반한 과학적 추론 엔진으로 가는 경로를 제시하며, 커뮤니티가 CMIP7을 향해 규모를 키움에 따라 발생하는 인지적 난해함 문제를 해결합니다. 그러나 저자들은 현재의 동료 검토 아키텍처가 (환각된 제약이나 아첨과 같은) 상당한 인식론적 위험을 내포하고 있으며, 이를 자율적인 과학적 생산을 위해 배포하기 전에 반드시 해결해야 한다고 겸허히 언급합니다. 이 시스템은 비구조화된 지식의 합성과 실시간 데이터 분석이 자동화되고, 투명하며, 엄격하게 감사되는 새로운 형태의 과학적 탐구에 대한 개념 증명 역할을 합니다.