Systematic LLM Translation of Legacy Scientific Code to Differentiable Frameworks: Application to a Land Surface Model

기술 요약: 레거시 과학 코드를 미분 가능한 프레임워크로의 체계적 LLM 번역

문제 정의
지구 시스템 모델(ESM), 특히 지표 모델(LSM)은 기후 정책 및 예측에 매우 중요하지만, 현대적인 미분 가능 프로그래밍 기법을 사용하기에는 여전히 접근성이 낮다. 수십만 줄의 포트란(Fortran) 코드로 구성된 경우가 많은 이러한 모델들은 낮은 모듈성, 지원이 중단된 구성 요소, 그리고 줄어드는 개발 인력 문제에 직면해 있다. 미분 가능 프로그래밍은 효율적인 경사 기반 파라미터 추정, 민감도 분석, 데이터 동화를 가능하게 하지만, 레거시 코드베이스를 미분 가능한 프레임워크(예: JAX)로 마이그레이션하는 것은 여전히 해결되지 않은 과제이다. 기존의 코드 현대화 시도들은 레거시 물리학을 버리는 완전한 재작성을 수행하거나, 파일 간 의존성 문제 및 대규모 언어 모델(LLM) 번역의 수치적 충실도 부족으로 인해 고립된 함수 수준을 넘어 확장하는 데 실패한다. 또한, 현재의 LLM 벤치마크는 물리 모델에 요구되는 과학적 타당성이나 수치적 동등성을 적절히 측정하지 못한다.

방법론: 5단계 에이전트 파이프라인
저자들은 19,000행, 102개 모듈로 구성된 포트란 지표 모델 CLM-ml-v2를 완전 미분 가능한 JAX 구현체인 clm-ml-jax로 번역하기 위한 체계적인 5단계 에이전트 파이프라인을 제안한다. 이 파이프라인은 정적 의존성 분석, 모듈형 수치 동등성 테스트, 포괄적인 경사 검증이라는 세 가지 핵심 설계 원칙에 의존한다.

1. 1단계: 범위 설정 및 의존성 분석: 결합된 코드베이스에서의 데이터 타입에 대한 LLM의 환각(hallucination)을 방지하기 위해, 저자들은 전체 모듈 의존성 그래프에 대한 정적 분석을 수행한다. 위상 정렬(topological sort)을 통해 의존성을 준수하는 번역 순서를 결정하며, 이를 통해 모든 임포트된 모듈이 해당 모듈이 의존하는 모듈보다 먼저 번역되도록 보장한다.
2. 2단계: 상태 문서 설정: 파이프라인은 외부 에이전트 메모리 역할을 하는 지속적인 상태 문서(CLAUDE.md, plan.md, CHANGELOG.md)를 활용한다. 이 문서들은 프로젝트 컨벤션을 인코딩하고, 완료 플래그를 추적하며, 실패한 시도를 기록하여, 에이전트가 컨텍스트 윈도우 경계를 넘어 일관되게 세션을 재개할 수 있도록 하고 잘못된 경로를 다시 방문하는 것을 방지한다.
3. 3단계: 포트란 오라클 구축: 번역 전, 에이전트 팀은 기능 테스트 세트를 구축한다. 서브루틴은 테스트 가능성에 따라 세 가지 계층으로 분류된다. 시스템은 고정된 입력값 하에서 원래의 포트란 코드를 실행하여 "골든(golden)" 입출력 쌍을 생성함으로써, 수치 검증을 위한 참조 오라클을 확립한다.
4. 4단계: 반복적 번역, 테스트 및 수리: 모듈은 1단계에서 설정된 위상 순서에 따라 처리된다. 번역 에이전트는 JAX 코드를 생성하고, 테스트 에이전트가 포트란 오라클에 대해 이를 검증한다(상대 허용 오차 $10^{-4}$ 이내 요구). 테스트가 실패하면, "랄프 루프(Ralph Loop)"(오케스트레이션 패턴)가 작동하여 수리 에이전트가 불일치를 진단하고, 코드를 수정하며, 모듈이 통과하거나 인간의 검토 대상으로 플래그가 지정될 때까지 자율적으로 재테스트를 수행한다.
5. 5단계: 통합 및 미분 가능성 검증: 모듈이 번역되면, 통합 에이전트가 전체 컬럼 파이프라인을 조립하고 엔드 투 엔드 동작을 검증한다. 이후 미분 가능성 에이전트는 다음과 같은 JAX 특유의 이슈들을 반복적으로 해결한다:
   • 정적 루프 언롤링(Static Loop Unrolling): 런게-쿠타(Runge-Kutta) 솔버에서 관리 불가능한 계산 그래프를 피하기 위해, 파이썬 레벨의 for 루프를 컴파일 타임에 루프 본체를 한 번 트레이싱하는 jax.lax.scan으로 교체한다.
   • 정적 vs 동적 타이핑: 변경되는 캐시 키로 인한 전체 재컴파일을 방정하기 위해 상수를 JAX 스칼라로 변환한다.
   • 분기 안전 가드(Branch-Safe Guards): jnp.where 표현식에서의 $0 \times \infty$와 같은 연산으로 인한 NaN 경사를 방지하기 위해 하한값(예: jnp.maximum(x, 1e-30))을 적용한다.
   • 내재 함수 정리(IFT) 부가(Adjoins): 반복적 솔버(예: 기공 전도도 이분법, 모닌-오부코프 길이)를 미분할 때, 잘못된 경사를 산출하는 루프 언롤링 대신 IFT 부가(adjoints)를 사용한다.

주요 결과
결과물인 clm-ml-jax 모델은 2007년 5월 기상 데이터를 사용한 CHATS7 월넛 과수원 AmeriFlux 사이트에 대해 평가되었다.

• 수치적 등가성: 번역된 모델은 1488 타임스텝에 걸쳐 포트란 참조 모델과 거의 완벽한 수치적 일치성을 보였으며, 모든 변수(예: 현열, 잠열, GPP)에 대해 상관계수 1.000과 무시할 만한 편차를 달성했다.
• 경사 정확성: 역방향 미분은 중앙 유한 차분법(central finite differences)에 대해 검증되었다. 모든 활성 파라미터는 $1 \times 10^{-4}$ 미만의 상대 오차를 달성했다. 파이프라인은 반복적 솔버 및 런게-쿠타 서브스텝을 포함한 복잡한 구조를 성공적으로 처리했다.
• 파라미터 보정 효율성: 세 가지 파라미터에 대한 개념 증명 보정에서, 경사 기반 L-BFGS-B 옵티마이저는 50회 미만의 평가만으로 참값을 머신 정밀도($\sim 10^{-19}$)까지 회복했다. 이는 경사 미사용 Nelder-Mead 옵티마이저보다 (평가 횟수 측면에서) 8배 더 빨랐다.
• 성능 향상: GPU(Quadro RTX 8000)에서 jax.vmap을 사용하여, 앙상블 크기 $N=2,048$일 때 모델은 순차적 포트란 실행 대비 24배의 벽시계 시간(wall-clock) 단축을 달est했다. 앙상블 크기가 증가함에 따라 샘플당 분담 비용은 24.9 ms에서 11.4 ms로 감소한 반면, 포트란은 $\approx 54$ ms/sample로 일정하게 유지되었다.
• 에이전트 효율성: 73개의 모듈 번역 작업과 46개의 에이전트 세션에 걸쳐, **81.2%**의 버그가 첫 번째 시도에서 자율적으로 해결되었다. 총 인간 감독 시간은 10~15시간으로 추정되었다.

의의 및 주장
본 논문은 레거시 과학 코드베이스가 수동 재구현 없이도 과학적 근거(ground truth)를 보존하면서 미분 가능한 프레임워크로 체계적으로 번역될 수 있음을 입증한다고 주장한다.

• 과학적 성과: 이 연구는 CLM-ml-v2에 대해 이전에는 다루기 어려웠던 경사 기반 파라미터 최적화 및 민감도 분석을 가능하게 한다. 야코비안(Jacobian) 분석을 통해 공기 온도와 단파 복사가 총 일차 생산량(GPP) 및 에너지 플럭스의 민감도를 지배하며, $V_{c,max}$가 독특한 제어력을 행사함을 밝혀냈다.
• 방법론적 기여: 본 논문은 자율 수리 루프와 도메인 특화 오라클 검증을 갖춘 재현 가능한 5단계 워크플로우를 제시한다. 또한 복잡한 다일(multi-day) 번역 작업을 수행하는 데 있어 높은 수준의 인간 감독만으로도 충분하다는 것을 보여줌으로써, 과학적 코드 현대화에서 인간과 AI 에이전트 간의 "공동 저자(co-authorship)" 관계의 타당성을 정량화한다.
• 재사용성: 번역된 모델과 파이프라인 인프라 모두 재사용 가능한 프레임워크로 공개되어, 커뮤니티가 다른 지구 시스템 모델 구성 요소를 미분할 수 있도록 지원할 예정이다.

저자들은 이 작업을 모든 ESM에 대한 최종 해결책이 아니라, 레거시 포트란 물리학과 현대적인 미분 가능 프로그래밍 사이의 간극을 메우고, 하이브리드 물리-ML 아키텍처와 기후 모델링에서의 더 효율적인 불확실성 정량화를 위한 검증된 개념 증명으로 규정한다.