comokit4py : a python package to ease COMOKIT agent based model simulation integration into a high performance computing workflow

"comokit4py: 고성능 컴퓨팅 워크플로우에 COMOKIT 에이전트 기반 모델 시뮬레이션 통합을 용이하게 하는 파이썬 패키지"의 기술적 요약

문제 제기
에이전트 기반 모델 (ABM) 은 도시 분리 현상이나 전염병 위기 같은 사회적 현상을 시뮬레이션하는 강력한 도구입니다. 그러나 의사결정에 대한 그 유용성은 주로 두 가지 주요 장애물에 의해 저해됩니다. 바로 매개변수 공간 탐색과 관련된 '차원의 저주'와 무작위성을 완화하기 위해 수많은 반복 실행이 필요한 시뮬레이션의 확률적 성질입니다. 이러한 요소들은 표준 워크스테이션의 능력을 초과하는 계산 부하를 초래합니다. 고성능 컴퓨팅 (HPC) 이 해결책을 제시하지만, COMOKIT 모델에 사용되는 GAMA 플랫폼과 같은 복잡한 ABM 환경을 HPC 워크플로우에 통합하는 것은 간단하지 않습니다. 기존 솔루션들은要么是 커스텀 언어 (예: OpenMole, EMEW) 를 숙달해야 하거나, 파이썬과 같은 표준 과학 프로그래밍 언어와의 원활한 통합이 부족하여 이질적인 연구 팀들에게 장벽을 만들고 있습니다.

방법론
저자들은 GAMA 플랫폼과 HPC 인프라를 연결하도록 설계된 파이썬 소프트웨어 래퍼인 comokit4py를 제안합니다. 이 방법론은 사용자가 IDE 의 헤드리스 (headless) 모드나 작업 스케줄러 구문에 대해 깊이 이해할 필요 없이 대규모 시뮬레이션 실험의 생성, 실행 및 후처리를 자동화하는 데 중점을 둡니다.

이 패키지는 세 가지 핵심 클래스를 통해 작동합니다:

1. Gama: GAMA 플랫폼과의 연결을 구성하며, 헤드리스 실행 스크립트 (gama-headless.sh) 의 경로와 자바 가상 머신 (JVM) 을 위한 메모리 할당을 정의합니다.
2. GamaExploration: 실험 계획을 정의합니다. GAML(GAMa Language) 파일을 구문 분석하여 실험 이름, 반복 횟수, 시뮬레이션 지속 시간 및 선택적 제약 조건 (예: 중지 조건 또는 시드 값) 을 지정하는 전체 매개변수 공간을 자동으로 생성합니다.
3. Workspace: 실행 환경을 관리합니다. GAMA 헤드리스 엔진에 필요한 XML 입력 파일을 생성하고 작업 배치를 처리합니다.

이 패키지는 두 가지 실행 모드를 지원합니다:

• SLURM 통합: EDF 가 지원하는 GAIA 슈퍼컴퓨터에 특화되어 있으며, 노드 할당, 코어 사용 및 작업 시간outs를 관리하기 위해 SLURM 배치 스크립트 (prepareSBatch) 를 생성한 후 runSlurm 을 통해 작업을 제출합니다.
• 로컬/기본 헤드리스 모드: 작업 스케줄러 없이 사용 가능한 로컬 코어에 따라 순차적 또는 병렬로 시뮬레이션을 실행하는 폴백 모드로, runGamaHeadless 를 사용합니다.

시뮬레이션 후, 이 패키지는 수천 개의 반복 실행에서 나온 원시 CSV 출력을 집계하는 데이터 처리 파이프라인 (prepareProcessedOutput, rawOutputProcessing) 을 포함합니다. 이는 통계적 지표 (사분위수, 최소/최대값) 를 계산하고 결과를 종합하기 위해 사람이 읽을 수 있는 시각화 자료 (CSV 및 PNG) 를 생성합니다.

주요 기여

• 워크플로우 자동화: 주요 기여는 GAMA 모델을 HPC 에서 실행하는 복잡성을 추상화하는 파이썬 네이티브 인터페이스입니다. 이를 통해 연구자들은 복잡한 탐색 계획을 정의하고 표준 파이썬 스크립트를 사용하여 분산 시스템에서 이를 시작할 수 있습니다.
• 이질적 팀 지원: 파이썬을 활용함으로써 이 패키지는 GAML 을 사용하는 모델러와 파이썬을 사용하는 데이터 과학자 등 서로 다른 전문성을 가진 개발자들 간의 협력을 촉진하여 프로젝트 개발을 가속화합니다.
• 확장 가능한 데이터 처리: 이 도구는 테라바이트 규모의 원시 시뮬레이션 데이터를 관리 가능하고 해석 가능한 데이터셋 및 시각화 자료로 축소하는 내장 메커니즘을 제공하여 대규모 ABM 결과의 후처리 병목 현상을 해결합니다.

결과
이 패키지는 COMOKIT 모델 내의 민감도 분석에 적용되었으며, SARS-CoV-2 의 환경 오염 (표면 지속성) 의 잠재적 영향에 초점을 맞추었습니다.

• 실험 규모: 이 연구는 개인별 바이러스 방출량과 건물 내 바이러스 부하 감소 인자라는 두 가지 주요 변수를 포함하는 매개변수 공간을 탐색했습니다. 실험은 100 개의 매개변수 조합으로 구성되었으며, 각각 1,000 회의 반복 실행이 수행되어 총 100,000 회의 시뮬레이션이 이루어졌습니다.
• 실행: 작업 부하는 GAIA HPC 인프라의 89 개 노드에 분산되어 약 31 시간 내에 완료되었으며, 1 테라바이트 이상의 원시 데이터가 생성되었습니다.
• 발견: 집계된 결과는 매개변수 간의 중요한 상호작용을 드러냈습니다. 구체적으로, 개인별 바이러스 방출량이 낮을 때 환경 내 바이러스 부하 감소 속도는 사망률에 상당한 영향을 미쳐 사망자를 최대 16% 까지 증가시키는 것으로 나타났습니다. 반면, 바이러스 방출량이 높은 수준에서는 환경 감소 인자의 영향이 미미했습니다 (<2.5%). 또한, 높은 바이러스 방출량과 느린 환경적 감쇠가 결합된 경우, 낮은 환경 전염 시나리오에 비해 발병 기간이 평균 45.1 일 연장되었습니다.

의의 및 주장
이 논문은 comokit4py가 COMOKIT 에이전트 기반 모델의 HPC 워크플로우 통합을 성공적으로 용이하게 하여, 표준 하드웨어에서는 불가능했을 대규모 시뮬레이션 캠페인 (10 만 회 실행) 의 실행을 가능하게 했다고 주장합니다. 이 도구는 복잡한 전염병 모델에서 민감도 분석을 수행하고 매개변수 공간을 탐색하기 위한 실용적인 솔루션으로 제시됩니다.

저자들은 도구의 현재 상태에 대해 겸손한 어조를 유지하며, 이는 "완성 가능하다 (perfectible)"고 인정합니다. 그들은 향후 작업으로 집계 공식의 유연성 증가, 사용자 정의 사후 계산 결과 허용, 그리고 GAMA 플랫폼에서 개발된 다른 모델을 지원하도록 프로세스를 일반화하는 데 초점을 맞추고 있습니다. 이 작업의 중요성은 개입 정책 테스트 및 불확실성 하의 모델 역학 이해를 위한 확장 가능하고 재현 가능한 방법을 제공함으로써 (2020 년 COVID-19 발발과 같은) 위기 상황에서의 의사결정을 지원할 수 있다는 점에 있습니다.