Everywhere & Nowhere: Envisioning a Computing Continuum for Science

기술 요약: 과학을 위한 컴퓨팅 컨티뉴엄(Computing Continuum) 구상

문제 정의
신흥 과학 워크플로는 점차 데이터 중심적으로 변모하고 있으며, 종단 간(end-to-end) 현상을 이해하고 실험을 주도하며 의사결정을 촉진하기 위해 분산된 데이터 소스의 통합을 요구하고 있습니다. 에지(edge)에서의 디지털 데이터의 기하급수적인 성장과 비사소한(non-trivial) 계산 능력의 편재성에도 불구하고, 이러한 워크플로를 실현하는 것은 여전히 도전 과제로 남아 있습니다. 전용 시스템에 특화된 코드를 통해 성능 극대화를 추구해 온 전통적인 고성능 컴퓨팅(HPC) 환경은 패러다임 전환을 겪고 있습니다. 이러한 변화는 데너드 스케일링(Dennard scaling)의 종료, AI/ML의 초월, 하이퍼스케일러의 부상, 그리고 사용자 가치 구조의 변화에 의해 주도됩니다. 이제 사용자들은 순수 성능보다 접근의 용이성, 과학 도달 시간(time-to-science), 그리고 환경적 영향을 우선시하며, 이러한 속성을 위해 성능을 기꺼이 절충하기도 합니다. 또한, 기존의 인프라 격차는 팬데к믹이나 자연재해와 같이 엄격한 시간 및 품질 제약이 의사결정에 필요한 긴급 상황에서 효과적인 자원 동원을 방해합니다.

방법론 및 개념적 프레임워크
본 논문은 해결책으로서 "컴퓨팅 컨티뉴엄(Computing Continuum)"을 제안하며, 이를 에지(센서, 장치, 네트워크)에서 코어(클라우드 데이터 센터, HPC 시설)에 이르는 계산, 데이터 및 통신 능력의 원활하게 접근 가능한 스펙트럼으로 정의합니다. 이 컨티뉴엄은 "어디에나 존재하며(everywhere)" (일상생활과 측정 기기에 계산 능력이 편재함), 동시에 "어디에도 존재하지 않는(nowhere)" 것(사용자가 복잡한 시스템 상호작용을 관리하지 않고도 워크플로에 매끄럽게 통합되는 투명하고 추상화된 접근)으로 개념화됩니다.

이 컨티뉴엄을 활용하기 위해, 본 논문은 세 가지 기둥을 기반으로 한 방법론을 개괄합니다:

1. 프로그래밍 추상화: 정적이고 사전 컴파일된 실행에서 벗어나 데이터 중심적이고 반응적인 워크플로로 이동합니다. 본 논문은 연관 랑데부(Associative Rendezvous, AR) 상호작용 모델을 사용하는 R-Pulsar 프로그래밍 시스템을 강조합니다. 이를 통해 사용자는 스트리밍 데이터의 내용, 속성 또는 통계적 추세에 의해 트리거되는 반응형 동작을 정의함으로써, 런타임 시점에 데이터의 무엇을, 언제, 어디에서 처리할지를 결정할 수 있습니다.
2. 자율형 미들웨어(Autonomic Middleware): 자원 발견, 연합(federation) 및 오케스트레이션을 자동화하는 서비스를 개발합니다. 여기에는 애플리케이션의 요구 사항이 진화함에 따라 자원(컴퓨팅, 데이터)을 동적으로 집계하는 제약 기반 자율 연합이 포함됩니다. 또한, 데이터 발견, 캐싱 및 프리페칭(prefetching)을 최적화하기 위해 협업 지식 인식 그래프 어텐션 네트워크(CKAT)를 사용하는 과학적 데이터 추천 시스템도 포함됩니다.
3. 동적 실행 관리: 사용자 정의 정책 및 제약 조건에 따라 컨티뉴엄 전반에서 워크플로 스케줄링과 서비스 품질(QoS)을 관리하는 자율 런타임 서비스(예: 가상 데이터 콜라보라토리 및 국가 데이터 플랫폼 내)를 구현합니다. 이는 환경의 내재된 역동성에 적응합니다.

주요 기여
본 논문은 컴퓨팅 컨티뉴엄을 실현하기 위한 비전과 연구 방향을 제시합니다:

• 컴퓨팅 컨티뉴엄의 정의: 센싱, 시뮬레이션, 모델링 및 액추에이션(actuation)을 결합하는 과학적 워크플로에 특화된 에지, 인네트워크(in-network), 코어 데이터 센터를 아우르는 자원의 통합된 관점을 명시합니다.
• 애플리케이션 클래스 식별: 이 컨티뉴엄을 통해 가능해지는 특정 워크플로 클래스를 상세히 설명합니다:
  • 종단 간 실험 관리: 실험의 실시간 분석 및 최적화 (예: 유전 현장 생산 관리, 핵융합 토카막 이상 예측).
  • 디지털 트윈(Digital Twins): 최적화 및 보호를 위한 물리적 시스템의 실시간 디지털 표현.
  • 긴급 컴퓨팅(Urgent Computing): 긴급 대응(예: 산불 공기 질 예측, 조기 지진 경보)을 위해 엄격한 시간/품질 제약 하에 수행되는 컴퓨팅.
• 연구 과제 및 솔루션: 8가지 핵심 연구 질문(예: 데이터를 통한 계산 구동, 보안/개인정보 보호 보장, 불확실성 처리 등)을 식별하고, R-Pulsar 시스템, 제약 기반 자율 연합, CKAT 기반 데이터 추천 프레임워크를 인용하며 이를 해결하기 위한 최근의 연구 노력을 제시합니다.
• 정책 및 전략적 프레임워크: 번역적 컴퓨터 과학(translational computer science)의 필요성을 논의하며, 국가적 비상 상황 시 컴퓨팅 자원과 전문 지식의 준비된 예비군을 구축하기 위한 메커니즘으로서 미국 백악관 OSTP가 주도하는 **국가 전략적 컴퓨팅 예비군(NSCR)**을 강조합니다.

결과 및 근거
본 논문은 단일 연구의 새로운 실험 결과를 제시하는 대신, 기존 연구와 실제 사용 사례를 종합하여 컴퓨팅 컨티뉴엄의 필요성과 잠재력을 검증합니다:

• 긴급 컴퓨팅 사용 사례: COVID-19 HPC 컨소시엄을 성공적인 국제적 파트너십 사례로 인용하며, 팬데믹 연구를 위한 분산된 자원의 잠재력을 입증하는 동시에 인프라 및 정책적 격차를 부각했습니다.
• 산불 및 공기 질: 캘리포니아 산불이 공기 질에 미치는 영향에 관한 유타의 진행 중인 연구를 설명하며, 공기 질의 급격한 악화를 예측하기 위해 실시간 화재, 연기 및 기상 데이터를 대기 모델과 통합해야 할 필요성을 강조합니다.
• 지진 경보: 에지와 전송 경로에 있는 지진계 및 GPS 센서로부터 오는 스트리밍 3D 시계열 데이터를 머신러닝으로 분석하는 프로젝트를 상세히 설명합니다. 이 시스템은 P파를 감지하여 S파의 규모를 예측하고, 지면 운동이 민감한 지역에 도달하기 전에 경보를 전달합니다.
• 허리케인 오티스(Hurricane Ottis): 허리케인 오티스의 예상치 못한 강도 증가 사례를 통해 현재 예측 모델의 실패와, 예측 및 대응을 개선하기 위해 실시간 센서 데이터와 컨티뉴엄을 활용하는 긴급 컴퓨팅 접근법의 잠재력을 보여줍니다.

의의 및 주장
본 논문은 HPC 커뮤니티가 기술적 발전과 변화하는 사용자 가치의 수렴으로 인해 파괴적 혁신의 기회를 맞이한 중대한 기로에 서 있다고 주장합니다. 제안된 "컴퓨팅 컨티뉴엄"의 의의는 다음과 같은 능력을 갖추는 데 있습니다:

1. 접근의 민주화: HPC를 의도적이고 전문적인 프로세스에서 투명하고 편재하는 유틸리티("어디에나 존재하며 어디에도 존재하지 않는")로 변모시킵니다.
2. 긴급 대응 가능: 글로벌 비상 사태(팬데믹, 기후 사건, 지진 활동)를 필요한 속도와 신뢰도로 탐지, 예측 및 대응하는 데 필요한 기술적, 운영적 프레임워크를 제공합니다.
3. 연구와 배포의 가교 역할: 기초 연구의 영향력을 가속화하기 위해 혁신 주기와 타 학문의 배포를 밀접하게 결합하는 "번역적 컴퓨터 과학"을 옹호합니다.

저자들은 HPC 커뮤니티가 자신의 전문 지식을 결집하여 컴퓨팅 컨티뉴엄을 활용함으로써, 점점 빈번해지는 긴급한 사건들에 더 큰 영향력을 가지고 대응할 것을 촉구하며, NSCR와 같은 이니셔티브가 위기 상황에서 자원을 동원할 수 있는 전략적 국가 자산이 되기 위한 필수적인 단계임을 시사하며 결론을 맺습니다.