기술 요약: 수력학 분야에서의 다중 에이전트 자율 추론을 향한 노력

문제 제기

단일 에이전트 시스템 (SAS) 은 대규모 언어 모델 (LLM) 기반 과학 워크플로우의 기본 패러다임이 되었으며, 단일 컨텍스트 창을 통해 계획 수립, 추론, 도구 실행을 단일 모델에 의존합니다. 그러나 과학적 탐구가 복잡해짐에 따라 SAS 아키텍처는 구조적 및 인지적 한계에 직면합니다. 도구 문서, 관측 기록, 프롬프트 지시사항의 누적 유입은 모델의 컨텍스트 한계를 빠르게 포화시켜 주의를 분산시키고 성능을 저하시킵니다. 또한, 모든 논리를 단일 노드를 통해 라우팅하면 운영상의 병목 현상이 발생합니다. 에이전트가 하위 작업에서 실패하거나 경쟁하는 전문 지식 영역을 통합하는 데 어려움을 겪으면 전체 분석 파이프라인이 멈추게 됩니다.

수력학이라는 특정 영역에서는 데이터의 본질적으로 다중 소스 특성으로 인해 이러한 도전 과제가 더욱 심화됩니다. 연안 홍수 위험을 특성화하려면 형식, 해상도, 물리량이 서로 다른 근본적으로 다른 출처의 관측 데이터 (예: 조위계 기록, 수심 측량, 원격 감지, 비정형 격자 모델 출력 등) 를 조화시켜야 합니다. 운영 수력학은 또한 대기 강제력, 해양 경계, 하천 유출을 추가로 활용하므로, 단일 스키마 하에서 통합된 쿼리에 저항하는 파편화된 데이터 환경을 조성합니다.

방법론

저자들은 허리케인으로 인한 폭풍 해일 예측을 위해 수력학 분야의 과학 워크플로우를 자동화하도록 설계된 다중 에이전트 시스템 (MAS) 프로토타입을 제시합니다. 이 시스템은 단일 구조 아키텍처를 벗어나 레이어 실행 그래프 (LEG) 를 사용하는 그래프 구조 오케스트레이션으로 전환합니다.

핵심 아키텍처

MAS 는 런타임 동안 LEG 로 구성된 동적으로 선택된 에이전트들로 구성됩니다. 시스템은 에이전트 식별자, 기능 및 도구 허용 목록을 정의하는 레지스트리를 활용합니다. 에이전트는 다음과 같이 분류됩니다:

1. 전문 에이전트: 이들은 엄격한 도구 허용 목록 하에 운영되며 상호 보완적인 데이터 클래스 역할을 수행합니다. 여기에는 다음이 포함됩니다:
   • NHC: 열대성 저기압 예보, 최선 경로 (best tracks), 및 권고 사항을 검색합니다.
   • NOAA CO-OPS: 관측 및 예측 수위를 제공합니다.
   • USGS: 측량 기반의 고수위 마크 및 사건 데이터를 제공합니다.
   • FEMA: 홍수 보험료율 지도 및 디지털 위험 계층에 접근합니다.
   • STOFS: 운영 폭풍 해일 예보의 등고선 플롯을 생성합니다.
   • OSM: Open Street Map 타일을 소싱합니다.
2. 범용 에이전트: 이들은 워크플로우 및 통합을 관리합니다:
   • 그래프 아키텍트: 레지스트리에서 파생된 자연어 라우팅 휴리스틱을 기반으로 LEG 를 구성합니다. 단일 파이프라인 사용 여부를 결정하거나 병렬 트랙을 결정합니다.
   • 통합기 (Consolidator): 레이어의 병렬 출력을 간결한 요약본으로 융합하여 하위 에이전트를 위한 컨텍스트를 압축합니다.
   • 크로스-트랙 병합: 여러 병렬 트랙의 출력을 통합합니다.
   • 이미지 에이전트: STOFS 또는 OSM 등의 이미지를 최첨단 LLM 이미지 이해 기능을 사용하여 분석합니다.
   • 리포터: 병합된 자료와 원래 쿼리를 기반으로 최종 응답을 종합합니다.

오케스트레이션 전략

그래프 아키텍트는 자연어 라우팅 휴리스틱을 사용하여 사용자 쿼리를 LEG 로 매핑하며, 이는 경직된 제어 논리를 하드코딩하지 않고도 도메인 지식을 포착합니다. LEG 는 두 가지 토폴로지를 지원합니다:

• 단일 파이프라인: 순차적으로 정렬된 레이어 시퀀스.
• 병렬 트랙: 독립적인 하위 질문이 별도의 파이프라인에 할당된 후 나중에 병합됩니다.

중요하게도, 시스템은 컨텍스트 압축 전략을 사용합니다. 레이어 내에서 여러 전문가가 병렬로 작동할 때, 그들의 출력은 다음 단계로 원시 그대로 전달되지 않습니다. 대신 통합기 에이전트가 이를 일관된 마크다운 블록으로 융합하여 컨텍스트 창 포화를 방지합니다. 런타임은 모든 도구 호출에 대해 구조화된 감사 추적을 유지하며, 인자, 타이밍, 콘텐츠 해시 및 URL 을 기록하여 데이터 출처 및 감사 가능성을 지원합니다.

프로토타입은 Python 기반 도구 호출 및 이미지 이해에 의존하며, Anthropic 및 OpenAI 의 API 와 인터페이스합니다 (평가에서 모든 에이전트의 백본 모델로 Claude Sonnet 4.6 을 사용).

주요 기여

1. 레이어 실행 그래프 (LEG) 오케스트레이션: 이 논문은 작업을 동기화된 단계 (레이어) 로 그룹화하여 병렬로 실행한 후 장벽에서 병합하는 그래프 기반 조정 전략을 소개합니다. 이는 글로벌 레이어 장벽과 단계별 동기화를 강제함으로써 표준 방향성 비순환 그래프 (DAG) 와 구별되며, 컨텍스트 관리에 도움이 됩니다.
2. 도메인 특화 라우팅 휴리스틱: 시스템은 경직된 사전 정의 프로그래밍 워크플로우에 의존하기보다 그래프 아키텍트 내에서 자연어 휴리스틱을 활용하여 라우팅 결정 (예: 폭풍 해일 데이터 전에 최선 경로 데이터 소싱, 또는 관측 대 가상의 전문가 분리) 을 내립니다.
3. 통합을 통한 컨텍스트 압축: 병렬 출력을 융합하기 위한 전용 통합기 에이전트의 도입은 단일 에이전트 시스템에 내재된 '컨텍스트 포화' 병목 현상을 해결하여 LLM 의 컨텍스트 창을 압도하지 않고도 복잡하고 다중 소스 쿼리를 처리할 수 있게 합니다.
4. 출처 인식 실행: 시스템은 모든 도구 호출을 공유 추적 식별자와 함께 기록하여 보고된 문장과 수량의 출처를 검증할 수 있는 장부를 생성합니다.

결과

프로토타입은 단일 전문가 조회부터 복잡하고 다중 트랙 병렬 문의에 이르기까지 6 가지 복잡성 범주를 아우르는 37 개 쿼리에 대해 평가되었습니다. 모든 실험은 Claude Sonnet 4.6 을 사용했습니다.

• 성능: 시스템은 전체 93.6% 의 사실적 정밀도를 달성했으며 100% 통과율(실행 오류 제로) 을 기록했습니다.
• 복잡도별 정확도:
  • 단일 에이전트 쿼리 (예: NHC 폭풍 등급) 는 99.5% 정밀도를 달성했습니다.
  • 다중 에이전트 선형 파이프라인은 90.1~95.0% 정밀도를 달성했습니다.
  • 병렬 트랙 쿼리는 94.9~95.9% 정밀도를 달성했습니다.
  • 가장 낮은 정밀도 (82.2%) 는 서로 다른 수직 기준을 가진 독립적인 계기에서 측량된 고수위 마크와 조위계 관측치를 조화시켜야 했던"NHC→N+U"카테고리에서 발생했습니다.
• 강건성:
  • 스트레스 테스트: 1 개에서 5 개의 독립적인 하위 질문으로 확장될 때에도 정확도는 90% 이상을 유지했습니다.
  • 적대적 강건성: 시스템은 불가능한 시나리오 (예: 존재하지 않는 폭풍 또는 내륙 지역) 에 대해 데이터를 환각하지 않았으며, 5 개의 문제 있는 전제 중 4 개를 감지했습니다.
  • 내결함성: 시뮬레이션된 API 중단 (NOAA CO-OPS, USGS 또는 FEMA) 에서 시스템은 충돌 없이 점진적으로 저하되어 실질적인 부분 답변을 반환했습니다.
• 절제 연구 (Ablation Studies):
  • 적응형 그래프 아키텍트를 정적 파이프라인으로 대체하면 사실적 정밀도가 28.7% 포인트 감소하여 적응형 계획의 중요성이 확인되었습니다.
  • 통합기 에이전트를 제거하면 사실적 정밀도는 4.6 포인트 감소했으나 (원시 기술 토큰의 존재로 인해 소스 귀속 점수는 증가), 일관성과 원시 데이터 유지 간의 트레이드오프를 강조했습니다.
  • 리포터 에이전트를 제거하면 사실적 정밀도가 10.8 포인트 감소하여 최종 종합 단계의 가치를 입증했습니다.
• 비용: 시스템은 수행된 작업에 비해 계산적으로 효율적입니다. 전문가 에이전트는 토큰의 92.2% 를 소비한 반면, 오케스트레이션 오버헤드 (아키텍트, 통합기, 리포터) 는 약 6% 만 차지했습니다.

중요성 및 주장

이 논문은 플래너가 안내하는 그래프 구조 다중 에이전트 오케스트레이션이 단일 구조 단일 에이전트 아키텍처를 제약하는 컨텍스트 포화 병목 현상을 의미 있게 완화할 수 있다고 주장합니다. 저자들은 다중 에이전트 시스템 (MAS) 이 통신 및 지연과 관련된 새로운 복잡성을 도입하지만, 전문적이고 협력적인 추론의 이점이 조정 오버헤드를 능가하는 지질과학 모델링과 같은 고복잡성 다중 규모 문의의 경우 실현 가능한 전략이라고 논증합니다.

이 연구는 상태 및 도구 실행을 여러 컨텍스트 창에 분산함으로써 이질적인 데이터로 인해 단일 에이전트가 압도되는 것을 방지한다고 시사합니다. 또한, 전문가 에이전트가 검색을 처리하고 범용 에이전트가 계획 및 통합을 처리하는 관심 분리 (separation of concerns) 는 복잡한 과학 워크플로우를 위한 구조적으로 필수적인 분해법을 창출합니다.

저자들은 프로토타입의 현재 상태에 대해 겸손하게 언급하며, 이는"상당히 경량"이며 자체적으로 수력학 모델을 실행하지 않고 API 에 크게 의존한다고 지적합니다. 현재 출처 로깅 전략은 대규모 워크플로우에 최적화되지 않을 수 있으며, 시스템은 현재 중복성 및 오류 복구를 위한"감독자"에이전트가 부족하다고 인정합니다. 그러나 결과는 이 아키텍처가 정확하고, 회복력이 있으며, 지구과학의 다른 하위 도메인으로 확장 가능함을 나타냅니다.