기술 요약: HydroAgent

문제 정의

분산형 수문 모델 보정은 급류 예측부터 저수지 운영에 이르기까지 다양한 업무의 기반이 되는 운영 수자원 관리의 결정적 병목 현상입니다. 현재 이 과정은 수문학적 서명 (hydrograph signatures) 을 고차원 매개변수 벡터의 조정으로 수동적으로 변환하는 인간 전문가의 역량에 의존합니다. 이 워크플로우는 확장성이 없습니다. 유역당 전문가의 주의가 수시간에서 수일까지 소요되며, 한 유역에서 얻은 지식은 다른 유역으로 효과적으로 이전되지 않습니다. 기후 변화가 수문 순환을 가속화함에 따라, 정확한 유역별 시뮬레이션에 대한 수요는 훈련된 수문학자의 공급보다 더 빠르게 증가하고 있습니다.

본 논문은 최첨단 대규모 언어 모델 (LLM) 에이전트가 인간 수문 모델러를 대체할 수 있는지 조사합니다. 에이전트가 데이터를 읽고, 제어 파일을 편집하며, 시뮬레이터를 호출하는 추론 능력을 갖추고 있음에도 불구하고, 효과적인 보정에 필요한 지속적이고 반복적인 정제 작업을 수행할 수 있는지는 여전히 불분명합니다.

방법론

1. 최첨단 에이전트 벤치마킹

저자들은 먼저 CREST(Coupled Routing and Excess STorage) 분산형 수문 모델의 보정에 대해 9 개의 최첨단 LLM 에이전트 (Claude Opus 4.6/4.7, Sonnet 4.6, GPT-5 변형, Gemini 2.5/3.1/3-flash 포함) 를 평가하여 기준선을 설정했습니다.

• 환경: 에이전트들은 EF5(Ensemble Framework For Flash Flood Forecasting) 시뮬레이터를 사용하는 리눅스 샌드박스 내에서 작동했습니다.
• 작업: 에이전트들에게 유역 설명, 게이지 시계열 데이터, 래스터 강제력 (raster forcings) 이 제공되었습니다. 그들의 목표는 시뮬레이션된 유출량과 관측된 유출량 간의 내시 - 스틀리프 효율 (NSE) 을 극대화하기 위해 13 개의 스칼라 승수 (예: 토양 - 수분 용량, 침투 형상, 하도 유출 계수) 를 조정하는 것이었습니다.
• 제약 조건: 각 에이전트는 고정된 연산 예산인 20 라운드 (최대 200 회 시뮬레이션) 와 2 시간 타임아웃을 할당받았습니다. 평가는 다양한 수기후 지역과 유역 크기 (329–40,792 km²) 를 아우르는 4 개의 홀드아웃 게이지에 대해 수행되었습니다.

2. HydroAgent 프레임워크

최첨단 에이전트에서 관찰된 한계를 해결하기 위해 저자들은 오픈 가중치 Qwen3-4B-Instruct 모델을 기반으로 한 도메인 특화 에이전트인 HydroAgent를 제안합니다. 훈련은 두 단계 레시피를 따릅니다:

• 1 단계: 지도 미세 조정 (SFT):

  • 기본 모델은 더 강력한 독점 교사 모델 (GPT-5) 에서 추출된 2,576 개의 전문가 보정 궤적으로 미세 조정되었습니다.
  • 이러한 궤적은 가설 수립 → 시뮬레이션 → 진단 → 조정의 전체 반복 순서를 보존하여, 모델에게 도구 호출 문법과 기본적인 수문 추론 (예: 가파른 후퇴 limb 를 특정 매개변수 조정과 연결하는 것) 을 가르쳤습니다.
  • 최종 NSE 가 0.6 미만인 궤적은 폐기되었습니다.

• 2 단계: 시뮬레이션 피드백을 통한 강화 학습 (RLSF):

  • SFT 로 초기화된 모델은 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 강화 학습을 거쳤습니다.
  • 검증자: 인간 피드백 RL 과 달리, 보상 신호는 CREST 시뮬레이터에서 직접 제공되었습니다.
  • 보상 구조: 보상 함수는 종료 점수 (클립된 NSE) 와 라운드별 형성 신호를 결합했습니다. 특히, 유효한 매개변수 세트, 성공적인 시뮬레이션, 그리고 가장 중요한 것은 이전 라운드 대비 NSE 의 개선에 대한 보너스를 포함했습니다. 이는 에이전트가 "더 이상 개선할 수 없을 때까지 반복"하도록 명시적으로 훈련시켜 인간 전문가의 행동을 모방했습니다.
  • 인프라: 훈련은 4 개의 NVIDIA H100 GPU 와 verl 프레임워크 및 SGLang 을 사용하여 다중 라운드 롤아웃을 수행했습니다.

주요 결과

최첨단 에이전트 성능

• 성능 천장: 가장 우수한 최첨단 에이전트 (Sonnet 4.6, Opus 4.7, Gemini 3-flash) 는 20 라운드 중 최선의 평균 NSE 를 0.65–0.75 범위로 달성했습니다.
• 인간과의 격차: Opus 4.7 만 단일 테스트 게이지에서 인간 전문가 기준 (NSE ≈ 0.85) 에 도달했습니다. 대부분의 모델은 일관되게 "양호한" 성능 대역 (NSE > 0.70) 에 도달하지 못했습니다.
• 실패 모드:
  1. 조기 종료: 프로급 추론 모델들은 종종 예산이 남아있음에도 불구하고 1~2 라운드 후 결과를 "수용 가능"하다고 판단하고 중단했습니다.
  2. 범위 초과 제안: 약한 모델들은 종종 물리적으로 불가능한 매개변수 값 (예: 음수의 불투수 면적) 을 제안했습니다.
  3. 진단 - 조치 불일치: 에이전트들은 종종 수문학적 문제 (예: 후퇴 형상) 를 정확히 식별했지만, 잘못된 물리적 매개변수 (예: 토양 수분 대신 유출 경로 변경) 에 대한 조정을 제안했습니다.

HydroAgent 성능

• 지표 개선: HydroAgent 는 튜닝되지 않은 Qwen3-4B 기본 모델에 비해 4 개의 홀드아웃 유역 전반에 걸쳐 보정 지표를 크게 개선했습니다.
  • NSE: +5% 에서 +200% 이상 개선되었습니다 (예: 게이지 01403060 에서 깊이 음수에서 양수로 전환).
  • 상관관계 및 타이밍: 유출량 상관관계는 최대 41% 개선되었으며, 타이밍 오프셋은 크게 축소되었습니다.
• 절단 분석 통찰:
  • SFT 단독: 놀랍게도 SFT 만 적용된 모델은 대부분의 게이지에서 튜닝되지 않은 기본 모델보다 더 나쁜 성능을 보였습니다. 이들은 도구 형식을 학습했지만 반복적 참여를 잃어 종종 단일 추측 후 종료했습니다.
  • RLSF 의 필요성: RLSF 의 추가가 결정적이었습니다. 이는 장기적 참여를 복원하여 모델이 전체 50 라운드 예산을 활용하고 시뮬레이터 피드백에 기반하여 매개변수를 반복적으로 정제하도록 강제했습니다.
  • 시너지: 도메인 어휘와 도구 문법을 제공하는 SFT 와 반복적 정제를 위한 인센티브를 제공하는 RLSF 의 결합이 최첨단 모델과의 격차를 해소하는 데 필요했습니다.

중요성과 주장

본 논문은 수문 보정 분야에서 최첨단 LLM 과 인간 전문가 간의 격차가 매개변수 수의 문제가 아니라 도메인 기반 (grounding) 문제라고 주장합니다.

1. 규모보다 효율성: 평가 비용이 낮은 물리 시뮬레이터가 관여하는 지구 시스템 작업의 경우, 대규모 범용 최첨단 모델을 확장하는 것보다 40 억 매개변수의 작은 도메인 튜닝 정책과 시뮬레이터 내 RL 을 결합하는 것이 더 계산 효율적이고 물리적으로 충실한 경로입니다.
2. 멀티모달 데이터의 역할: 원격 탐사, 현장 시계열 데이터, 예보관 내러티브와 같은 풍부한 멀티모달 데이터 덕분에 지구 시스템 과학은 AI 에이전트에게 독특한 기회를 제공합니다. 물리 솔버와 이러한 데이터를 융합하도록 훈련된 도메인 에이전트는 조정 가능하고 물리적으로 일관된 예측을 산출할 수 있습니다.
3. 재현성: 저자들은 180 개의 보정 궤적 (9 개 에이전트 × 20 라운드) 과 전체 훈련 구성을 포함하여 훈련 (SFT + GRPO) 과 벤치마킹을 재현할 수 있는 완전한 레시피를 제공합니다.

저자들은 최첨단 에이전트가 인간 성능에 도달할 수 있는 거리 내에 있지만, 최종 격차를 해소할 수 있는 구체적인 기반이 부족하다고 결론지었습니다. HydroAgent 는 거대한 범용 모델이 필요하지 않으면서도 이 격차를 상당 부분 좁힐 수 있는 전문적이고 시뮬레이터 기반의 접근 방식이 가능함을 보여줍니다.