기술 요약: AutoPDE

문제 정의

편미분 방정식(PDE)을 위한 수치 솔버(numerical solvers)를 구축하는 것은 단순히 실행 가능한 코드를 생성하는 것 이상을 요구하며, 핵심적인 **수치 솔버 전략(numerical solver strategy)**을 수립하는 것을 의미한다. 이 전략은 이산화(discretization), 안정화(stabilatization), 솔버 구성, 그리고 해상도 제어에 관한 결정적인 선택들을 포함하며, 이는 반드시 PDE의 대수적 및 물리적 구조와 일치해야 한다.

최근의 대규모 언어 모델(LLM) 기반 코딩 에이전트들(예: SWE-agent, OpenHands, CodePDE)은 솔버 구현을 생성하고 디버깅함으로써 프로그래밍 부담을 줄여주었다. 그러나 이러한 시스템들은 프로그램 중심적(program-centric) 방식으로 작동한다. 이들은 PDE 명세로부터 코드 생성으로 직접 이동하며, 이 과정에서 솔버 전략은 생성된 구현 세부 사항 내에 **암묵적(implicit)**으로 존재하게 된다. 결과적으로, 솔빙이 실패할 경우 피드백은 수치적 결정이 아닌 코드 수정(패치)으로 전달된다. 이는 코드 생성 전의 수치적 선택을 검사하기 어렵게 만들며, 실패가 발생했을 때 수치적 근거를 바탕으로 이를 수정하는 것을 어렵게 만든다. 예를 들어, 부정 정치(indefinite) 헬름홀츠 시스템에 공액 기울기(Conjugate Gradient) 솔버를 적용하거나 대류 지배 문제에 안정화 기법을 누락하는 것은 전략적 차원의 불일치이며, 이는 국소적인 코드 패칭만으로는 해결하기 어렵다.

방법론: AutoPDE

이러한 한계를 해결하기 위해, 저자들은 솔버 전략을 전체 과정 동안 **명시적으로 표현된 객체(explicitly represented object)**로 유지하는 에이전트 기반 PDE 솔버인 AutoPDE를 제안한다. 코드를 즉시 생성하는 기존의 에이전트들과 달리, AutoPDE는 코드를 작성하기 전에 전략 아티팩트(strategy artifact)를 구축하여, 이를 검사하고 수치적 근거를 통해 수정할 수 있도록 한다.

AutoPDE 워크플로은 재사용 가능한 PDE 솔빙 기술 라이브러리에서 추출한 세 가지 뚜렷한 단계로 구성된다:

1. PDE 분석 (PDE Analysis):
   에이전트는 PDE 명세(방정식 유형, 도메인, 경계 조건, 지배적 메커니즘)를 조사하여 **진단 카드(DIAGNOSIS card)**를 생성한다. 이 카드는 방정식 계열(예: 헬름홀츠, 스토크스, 대류-확산)과 그 대수적 구조(예: 대칭 양정치 vs 대칭 부정치)를 식별한다. 이 단계는 어떤 재사용 가능한 기술이 적용 가능한지를 결정한다.

2. 수치 방법 선택 (Numerical Method Selection):
   진단 카드를 바탕으로, 에이전트는 10가지 방정식 계열(Poisson, Heat, Stokes, Navier-Stokes, Helmholtz, Convection-Diffusion, Biharmonic, Darcy, Linear Elasticity, Reaction-Diffusion)을 다루는 구조화된 평문 형태의 **PDE 기술(PDE skill)**을 라이브러리에서 검색한다. 그 후 에이전트는 다음의 구체적인 선택 사항들을 확정하는 **방법 카드(METHOD card)**를 작성한다:

   • 변분 공식 (Variational formulation)
   • 유한 요소 공간 (Finite element space, 이산화)
   • 안정화 기법 (예: 대류 지배 흐름을 위한 SUPG)
   • 대수 솔버 및 프리컨디셔너 (예: 부정치 시스템을 위해 CG를 피하고 MINRES 사용)

3. 적응형 튜닝 (Adaptive Tuning):
   초기 실행 가능한 솔버(solver.py)를 생성한 후, AutoPDE는 저비용 파일럿 솔빙(pilot solves)을 통해 적응형 튜닝을 수행한다. 에이전트는 규정된 정확도 및 실행 시간 예산 대비 경험적 오차와 실제 실행 시간을 측정한다. 규칙 기반 프로파일링 가이드가 자기 수정을 유도한다:

   • 오차가 너무 높은 경우: 격자($h$)를 세분화하거나 다항식 차수($p$)를 높임.
   • 실행 시간이 너무 긴 경우: 솔버를 단순화하거나 허용 오차를 완화함.
   • 실행 중 충돌이 발생하는 경우: 트레이스백(traceback)을 디버깅함.
     솔버 전략 기록은 목표가 달성되거나 더 이상의 국소적 수리가 불가능할 때까지 반복적으로 업데이트된다.

주요 기여

1. 전략 우선 에이전트 설계: AutoPDE는 솔버 전략을 코드와 함께 유지되는 명시적이고 감사 가능한 객체로 도입하는 패러다임을 제시한다. 이는 수치적 결정을 가시화하고, 검증 가능하며, 수정 가능하게 만들어, 현재의 LLM 코딩 에이전트들이 가진 암묵적 전략과 대조를 이룬다.
2. 전략 구축을 위한 재사용 가능한 기술: 이 시스템은 구조화된 비실행형 PDE 솔빙 기술 라이브リ를 활용한다. 이를 통해 에이전트는 분석 단계에서 식별된 특정 PDE 계열에 따라 복잡한 전략(공식, 이산화, 안정화, 솔버 선택)을 구성할 수 있다.
3. 수치적 근거를 통한 적응형 튜닝: 에이전트는 경험적 성능 데이터를 기반으로 해상도와 솔버 허용 오차를 보정하기 위해 파일럿 솔빙 메커니즘을 채택하여, 최종 솔버가 정확도와 실행 시간 제약을 모두 충족하도록 보장한다.

실험 결과

저자들은 8가지 방정식 계열에 걸친 191개의 케이스로 구성된 PDE Agent Bench에서 AutoPDE를 평가하였다.

• 전반적인 성능: AutoPDE는 Claude Opus 4.6 및 GPT 5.1 백본 모두에서 **54.5%**의 전체 통과율(pass rate)을 달성했다. 이는 가장 강력한 베이스라인인 OpenHands (GPT 5.1 기반, 40.3%)보다 14.2 퍼센트 포인트 높으며, 가장 우수한 Claude 기반 베이스라인인 CodePDE (31.9%)보다 22.6 퍼센트 포인트 높다.
• 백본 간의 견고성: AutoPDE는 기반이 되는 LLM 백본에 대한 의존도가 매우 낮았다 (Claude와 GPT 결과 간 차이 0.0%). 반면 다른 에이전트 계열은 15~21 퍼센트 포인트의 차이를 보였다. 이는 명시적인 전략 추론이 약한 코드 작성 능력을 가진 백본도 고품질의 결과를 얻을 수 있게 함을 시사한다.
• 계열별 성능: AutoPDE는 8가지 방정식 계열 모두에서 유의미한 통과율을 유지한 유일한 방법이었다. 특히 비사소한 수치적 결정이 필요한 복잡한 영역, 예를 들어 Convection-Diffusion (GPT 5.1 기준 59.5%) 및 Helmholtz (GPT 5.1 기준 78.9%)에서 탁월한 성능을 보였으며, 이 영역에서 다른 에이전트들은 통과율이 거의 0에 가깝게 무너졌다.
• 절제 연구 (Ablation Studies): 세 가지 단계(DIAGNOSIS, PDE Skills, 또는 Adaptive Tuning) 중 하나라도 제거하면 성능이 크게 하락했다. PDE Skills를 제거했을 때 가장 큰 하락(34.6 퍼센트 포인트)이 발생했으며, 이는 구조화된 기술 라이브러리의 중요성을 강조한다.

의의 및 주장

본 논문은 자동화된 PDE 솔빙의 주요 병목 현상이 코드 생성 능력이 아니라, 수치 전략의 암묵적 표현에 있다고 주장한다. 전략을 코드로부터 분리하고 이를 명시적이며 수정 가능한 아티팩트로 만듦으로써, AutoPDE는 문제를 분석하고, 방법을 선택하고, 근거를 바탕으로 정교화하는 인간 수치 전문가의 피드백 루프를 복구한다.

저자들은 AutoPDE가 새로운 LLM 아키텍처에 의존하는 것이 아니라, 에이전트의 추론 과정을 구조화하는 **스캐폴딩 혁신(scaffolding innovation)**에 기반하고 있음을 강조한다. 결과는 명시적인 전략 표현이 단순한 격자 세분화나 코드 패칭으로는 해결할 수 없는 "잘못된" 수치적 선택이 발생할 수 있는 민감한 영역(예: 대류 지배 수송, 부정치 연산자)에서 PDE를 해결하는 데 필수적임을 시사한다. 이 시스템은 전략 도출 및 수정이라는 "인간 전문가"의 루프를 성공적으로 자동화하여, 다양한 PDE 문제에 대해 최첨단(state-of-the-art) 성능을 달성했다.