Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

이 논문은 사후(post-hoc) 및 인시투(in-situ) 분석 모두를 위해 유체 흐름 내의 유선(field lines)을 효율적으로 계산하도록 MPI 애플리케이션과 인터페이스하는 오픈 소스 기반의 확장 가능한 GPU 가속 라이브러리인 Streami를 소개한다.

핵심

슈퍼컴퓨터 내부에서 거대하게 소용돌이치는 폭풍의 보이지 않는 흐름을 시각화하려고 한다고 상상해 보십시오. 유체 역학의 세계에서 과학자들은 '필드 라인(field lines, 유선 등)'을 사용하여 아주 작은 입자들이 이 흐름을 타고 이동할 때 그리는 경로를 그립니다. 이것은 마치 강물에 수백만 개의 나뭇잎을 떨어뜨려 물이 어디로 흐르는지 관찰하는 것과 같습니다.

문제는 이러한 시뮬레이션이 매우 거대하다는 점입니다. 이들은 수십 개의 강력한 그래픽 카드(GPU)가 여러 대의 기계에서 함께 작동하는 슈퍼컴퓨터에서 실행됩니다. 보통 이 선들을 그리려면 시뮬레이션을 중단하고, 이 방대한 데이터를 별도의 컴퓨터로 복사한 다음, 그것을 그려내야 합니다. 하지만 이만큼 많은 양의 데이터를 옮기는 것은 마치 거대한 바다 전체를 찻잔에 부으려는 것과 같습니다. 느리고, 비용이 많이 들며, 모든 과정을 멈추게 만드는 병목 현상을 일으킵니다.

"Streami"의 등장.

Streami를 슈퍼컴퓨터 내부에 존재하는 특화된 고속 특송 서비스라고 생각하십시오. 데이터를 밖으로 옮기는 대신, Streami는 이미 데이터를 보유하고 있는 서로 다른 그래픽 카드 사이에서 직접 '나뭇잎'(입자)을 이동시킵니다.

작동 방식은 다음과 같으며, 간단한 개념으로 나누어 설명합니다.

1. "인시투(In-Situ)" 배송 서비스

대부분의 시각화 도구는 패키지를 집하하여 창고로 운반하고, 분류한 뒤, 다시 배송하는 배송 서비스와 같습니다. Streami는 다릅니다. 이것은 공장 바닥에 바로 구축된 텔레포트 네트워크와 같습니다.

• 설정: 슈퍼컴퓨터는 각 구역(데이터 파티션)으로 나뉘며, 각 구역은 특정 GPU에 의해 관리됩니다.
• 임무: Streami는 입자가 A 구역에서 시작하여 흐름을 따라 이동하다가 B 구역의 경계를 넘게 되면, 해당 구역을 관리하는 GPU로 즉시 "텔레포트"(빠르고 직접적인 연결을 통해) 할 수 있게 해줍니다.
• 이점: 데이터가 절대 슈퍼컴퓨터를 떠나지 않습니다. 시뮬레이션과 시각화가 동일한 기계 위에서 동시에 일어나며, 데이터를 복사하는 느린 "트럭 운송" 과정 없이 진행됩니다.

2. 도서관의 두 가지 계층

논문은 Streami를 두 가지 "언어" 또는 계층으로 설명합니다.

• 저수준 계층 (엔진): 이것은 매우 빠르고 기술적인 언어(CUDA/C++)로 작성된 헤비 머시너리(heavy machinery)입니다. 이는 실제로 모든 입자의 수학적 계산을 수행하고, 입자가 어느 구역에 있는지 확인하며, 컴퓨터 간의 즉각적인 텔레포트를 처리하는 부분입니다. 이 부분은 속도를 늦추지 않으면서 다양한 유형의 데이터 그리드에 적응할 수 있도록 "템플릿"을 사용하여 물리적으로 가능한 한 가장 빠르게 설계되었습니다.
• 고수준 계층 (대시보드): 이것은 사용자 친화적인 인터페이스(C++로 작성됨)입니다. 이것은 자동차의 스티어링 휠과 대시보드와 같습니다. 과학자들은 엔진이 어떻게 작동하는지 알 필요가 없습니다. 그저 대시보드에 "여기에 입자 흐름을 그려줘"라고 명령하기만 하면, 대시보드가 배후에서 복잡한 수학 계산과 통신을 처리합니다.

3. 다양한 지형 처리

유체 시뮬레이션은 복잡할 수 있습니다. 때로는 데이터가 깔끔하고 균일한 격자(체크무늬 판 같은 형태)일 수도 있습니다. 반면, 때로는 혼란스럽고 뒤섞인 메쉬 구조(돌무더기 같은 형태)일 수도 있습니다.

• Streami는 **확장 가능(extensible)**합니다. Streami에는 깔끔한 체크무늬 격자와 복잡한 돌무더기를 모두 이해할 수 있는 "만능 번역기"가 있습니다.
• 만약 과학자가 새로운 형태의 독특한 데이터를 가지고 있다면, 전체 시스템을 다시 구축할 필요 없이 Streami의 저수준 엔진에 이를 연결할 수 있습니다. 라이브러리는 해당 데이터의 특정 지형을 탐색하는 방법을 스스로 파악합니다.

4. 실제 테스트

저자들은 16개의 강력한 GPU가 있는 클러스터에서 Streami를 테스트했습니다. 그들은 시뮬레이션된 은하계를 통과하는 100,000개의 입자를 추적했습니다.

• 결과: 시스템은 믿을 수 없을 정도로 빨랐으며, 모든 입자를 한 단계 앞으로 이동시키는 데 단 1~2 밀리초(ms)밖에 걸리지 않았습니다.
• 병목 현상: 유일하게 속도를 약간 늦춘 것은 서로 다른 컴퓨터 간의 "전화 통화"(MPI 통신), 즉 "이 입자가 이제 당신의 구역에 있습니다"라고 알리는 과정이었습니다. 그럼에도 불구하고 매우 효율적이었습니다.

요약

요약하자면, Streami는 과학자들이 거대한 슈퍼컴퓨터 내부에서 시뮬레이션이 실행되는 동안 직접 흐름 선(바람이나 물의 흐름 등)을 그릴 수 있게 해주는 도구입니다. 이는 방대한 양의 데이터를 복사하는 느리고 고통스러운 과정을 피하게 해줍니다. 대신, 입자들이 서로 다른 그래픽 카드 사이를 즉각적으로 건너뛸 수 있게 하는 매끄러운 가교 역할을 하여, 복잡하고 거대한 유체 흐름을 실시간 또는 실시간에 가깝게 시각화하는 것을 가능하게 합니다.

저자들은 이 도구를 오픈 소스로 공개하여, 누구나 자신만의 "대화형 시드 포인트 배치(interactive seed point placement)" 앱(시뮬레이션에 클릭하여 가상의 나뭇잎을 떨어뜨리고 그것들이 어디로 가는지 보는 앱)을 구축하거나 자신의 과학적 워크플로우에 통합할 수 있도록 했습니다.

기술 요약

기술 요약: Streami – GPU 가속 필드 라인 계산을 위한 MPI 데이터 병렬 라이브러리

문제 정의

필드 라인(예: 유선(streamlines), 스트리크라인(streaklines))은 유체 흐름을 분석하는 데 필수적인 기본 요소이며, 특히 전산유체역학(CFD)에서 매우 중요합니다. 이러한 시뮬레이션은 일반적으로 분산 메모리와 멀티 GPU 노드를 사용하는 고성능 컴퓨팅(HPC) 시스템에서 실행됩니다. 개별 GPU 계산은 CUDA나 HIP와 같은 API를 통해 가속화되지만, 노드 간 통신은 MPI에 의존합니다.

현재의 시각화 워크플로우는 다음과 같은 심각한 병목 현상에 직면해 있습니다:

1. 데이터 이동: 거대한 분산 데이터셋을 사후 처리를 위해 별도의 워크스테이션으로 복사하는 것은 데이터의 양과 지연 시간 때문에 종종 불가능합니다.
2. 추상화의 부재: 스칼라 장 시각화(예: OSPRay, ANARI)를 위한 라이브러리나 인시튜(in-situ) 오케스트레이션(예: Catalyst, Ascent)을 위한 도구는 존재하지만, 기존 MPI 도메인 분할과 원활하게 통합되는 고성능 데이터 병렬 필드 라인 계산을 위한 특화된 추상화 계층은 없습니다.
3. 유연성 부족: 기존 도구들은 특정 데이터 구조(예: 복셀 그리드)에 맞추기 위해 커스텀 유동장을 재샘플링하거나 리매핑해야 하는 경우가 많으며, 이는 품질 저하나 과도한 메모리 사용을 초래합니다. 또한, MPI 랭크 간의 부하 불균형 및 입자 이동(소위 "핑퐁" 효과)을 처리하는 방식이 VTK와 같은 특정 생태계에 강하게 결합되어 있어 이식성이 제한됩니다.

방법론

저자들은 멀티 GPU 클러스터에서 데이터 병렬 접근 방식을 사용하여 필드 라인을 직접 계산하도록 설계된 확장 가능한 오픈 소스 라이브러리인 Streami를 제시합니다. Streami는 CFD 시뮬레이션과 저수준 렌더링 사이의 얇은 계층 역할을 하며, in-situ 및 in-transit 시각화를 모두 지원합니다.

소프트웨어 아키텍처

Streami는 두 가지 주요 인터페이스로 나뉩니다:

1. 저수준 인터페이스 (CUDA/C++)
이 계층은 런타임 오버헤드를 피하기 위해 컴파일 타임 다형성을 활용하여 성능 중심의 빌딩 블록을 제공합니다.

• 벡터장 추상화: 핵심 추상화는 호스트 및 디바이스 구성 요소를 모두 갖춘 VecField 클래스입니다. 디바이스 클래스는 두 가지 핵심 내재 함수를 구현합니다:
  • sample(position): 특정 3D 위치에서 벡터장 값을 재구성합니다.
  • destinationID(position): 해당 위치에 대한 데이터를 보유하고 있는 MPI 랭크(GPU)를 결정합니다. 이를 통해 라이브러리는 특정 데이터 레이아웃을 강요하지 않고도 임의의 공간 분할(예: 균일 그리드, 트리 기반 구조)을 처리할 수 있습니다.
• 입자 이류(Advection): CUDA 커널(예: Runge-Kutta 적분 사용)을 통해 구현됩니다. 커널은 필드를 샘플링하고, 입자 위치를 업데이트하며, 대상 랭크를 결정합니다.
• GPU 간 통신: 랭크 간의 입자 교환은 원래 레이 트레이싱을 위해 설계된 최적화된 라이브 라이브러리인 RaFI를 통해 처리됩니다. RaFI는 입자를 광선(ray)으로 취급하여, 입자를 버퍼링하고 CUDA-aware MPI를 사용하여 집합적 all-to-all 전송을 수행합니다. 이는 사용자로부터 이웃 쿼리 및 할로(halo) 영역의 복잡성을 추상화합니다.

2. 고수준 인터페이스 (객체 지향 C++)
이 계층은 시각화 알고리즘을 조율하는 Tracer 클래스를 제공합니다:

• 알고리즘 지원: 유선(Streamlines)(정상 유동) 및 스트리크라인(Streaklines)(비정상 유동)을 지원합니다.
• 워크플로우: Tracer는 시뮬레이션 시간 단계, 입자 생성(시드 배치), 그리고 반복적인 저수준 update() 커널 호출을 관리합니다.
• 유연성: API를 통해 애플리케이션이 호환 가능한 필드 타입 구현이 제공되는 한, 자신의 네이티브 형식(구조적 또는 비구조적)으로 데이터를 전달할 수 있습니다.

필드 확장

Streami는 C++ 템플릿을 통해 다양한 필드 표현을 지원합니다. 현재 다음을 지원합니다:

• 구조적 필드(Structured Fields): 글로벌 메모리에 저장된 균일 복셀 그리드.
• 비구조적 필드(Unstructured Fields): 사면체, 피라미드, 프리즘, 육면체를 포함하는 그리드로, 공간 쿼리를 위해 cuBQL을 통한 GPU 가속 경계 볼륨 계층 구조(BVH)를 활용합니다.

주요 기여

1. 드롭인(Drop-in) 라이브러리: Streami는 데이터 복사나 컨텍스트 전환 없이 기존 HPC 파이프라인에 필드 라인 계산을 통합할 수 있는 간단한 API를 제공합니다.
2. 데이터 병렬 효율성: 기존 CFD 애플리케이션의 도메인 분할을 활용함으로써, Streami는 전통적인 사후 처리에서 발생하는 부하 분산 문제와 데이터 전송 비용을 피할 수 있습니다.
3. 확장성: 사용자는 컴파일 타임 템플릿을 통해 커스텀 벡터 필드 유형 및 공간 분할 방식(예: 트리 순회)을 정의할 수 있어, 재샘플링의 필요성을 제거합니다.
4. 오픈 소스 공개: Streami는 Apache 2.0 라이선스 하에 공개되어, 멀티 GPU, MPI 기반 유동 시각화를 위한 참조 구현을 제공합니다.

결과 및 성능

저자들은 천체 물리학 데이터셋(1K³ 복셀)을 사용하여 최대 16개의 A100 GPU(2개 노드)에서 Streami를 평가했습니다.

• 성능: 100,000개 입자에 대한 단일 이류 단계는 평균 1~2ms가 소요되었습니다.
• 병목 현상: 결과에 따르면, 성능은 로컬 GPU 계산보다는 주로 MPI 통신 오버헤드에 의해 제한됩니다.
• 확장성: 라이브러리는 분산된 랭크를 가로질러 입자를 성공적으로 추적했으며, RaFI 라이브러리가 입자 교환을 효율적으로 처리했습니다.
• 비구조적 데이터: 라이브러리는 구조적 데이터셋을 비구조적 육면체 형식으로 성공적으로 적응시켰으나, BVH 구조의 오버헤드로 인해 매우 적은 수의 GPU(1~4개)에서는 실행이 제한되었습니다.

의의 및 주장

본 논문은 Streami를 멀티 노드, 멀티 GPU 유동 시각화를 위한 최신 기술의 공백을 메우는 필수적인 추상화 계층으로 규정합니다. 주요 의의는 다음과 같습니다:

• 기존 HPC 시뮬레이션 애플리케이션의 도메인 분할을 재사용하여 상호 운용할 수 있습니다.
• 데이터 복사와 컨텍스트 전환을 피함으로써 오버헤드를 최소화하여, 대화형 사후 처리 및 인시튜 분석 모두에 적합합니다.
• 대규모 HPC 시각화에 필요한 "광속(speed-of-light)" 성능을 희생하지 않으면서, 다른 필드 라인 유형(예: 경로선/pathlines) 및 복잡한 필드 토폴로지로의 향후 확장을 위한 기반을 제공합니다.

저자들은 Streami가 현재 기능 세트(유선 및 스트리크라인에 집중)는 겸손하지만, 저수준 필드 샘플링과 고수준 알고리즘 로직을 분리하는 설계 철학이 효율적인 데이터 병렬 필드 라인 계산을 위한 견고한 프레임워크를 제공한다고 결론지었습니다.