An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

본 논문은 CPU 기반 시스템 대비 막대한 속도 향상을 달성하고 그레이트 배리어 리프의 경우 5 배 해상도 개선과 같은 초고해상도 연안 시뮬레이션을 가능하게 하는 SLIM 불연속 갤러킨 해양 모델의 고효율 멀티 GPU 가속 구현을 제시한다.

핵심

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

큰 그림: 해양 모델을 "초고속"으로 만들기

바다를 시뮬레이션해 보려고 상상해 보세요. 오랫동안 과학자들은 바다를 매핑하기 위해 체스판과 같은 "격자"를 사용해 왔습니다. 하지만 바다는 체스판이 아닙니다. 바다에는 울퉁불퉁한 해안선, 깊은 해구, 얕은 산호초가 있습니다. 체스판을 맞추려면 모든 곳에서 사각형을 아주 작게 만들어야 합니다 (계산하는 데 영원히 걸립니다) 또는 가장자리가 블록처럼 보이고 잘못 보일 수 있음을 받아들이거나 해야 합니다.

이 논문에서 설명하는 SLIM 모델은 다른 접근 방식을 사용합니다: 비구조화된 메쉬. 이를 불규칙한 모양의 타일로 만든 모자이크라고 생각하세요. 바위 산호초 바로 옆에는 작고 정교한 타일을 사용하고, 깊고 넓은 바다에는 크고 단순한 타일을 사용할 수 있습니다. 이는 연안 지역에 완벽하지만, 계산 비용이 많이 듭니다. 작은 붓으로 걸작을 그리려는 것과 같습니다. 많은 시간과 노력이 필요합니다.

이 논문의 저자들은 다음과 같이 물었습니다: "이처럼 디테일하고 모자이크 스타일의 해양 모델을 유용할 정도로 빠르게 실행하려면 어떻게 해야 할까요?" 그들의 답은 GPU(게임용 컴퓨터와 슈퍼컴퓨터에 있는 강력한 그래픽 칩)에 특화된 버전을 구축하는 것이었습니다.

핵심 혁신: "GPU 준비 완료" 해양

이 논문은 **불연속 갈레르킨 **(Discontinuous Galerkin, DG)이라는 특정 수학적 방법에 초점을 맞춥니다.

• 비유: 교실을 상상해 보세요.
  • **구식 방법 **(연속) 학생들이 거대한 원으로 손을 잡고 있습니다. 한 학생이 움직이면 원 안의 모든 다른 학생들에게 알려야 합니다. 연결되어 있지만 조율이 느립니다.
  • DG 방법: 각 학생은 자신의 책상에 앉아 있습니다. 그들은 자신의 수학 문제를 독립적으로 풉니다. 쪽지를 전달할 때만 바로 옆 학생과 이야기합니다.
• 이것이 도움이 되는 이유: 학생들 (데이터 포인트) 이 독립적으로 작업하기 때문에 1,000 명의 선생님 (GPU 코어) 을 고용하여 서로 방해받지 않고 동시에 모두를 도울 수 있습니다. 이것이 바로 GPU 가 좋아하는 일입니다: 대규모 병렬 작업.

어떻게 빠르게 만들었는지 (비밀 레시피)

저자들은 단순히 코드를 GPU 에 올린 것이 아니라, 데이터를 저장하고 이동하는 방식을 완전히 재설계하여 세 가지 주요 트릭을 사용했습니다.

**1. "도서관" 조직화 **(메모리 레이아웃)
GPU 는 초고속 사서와 같습니다. 책이 무작위로 흩어져 있으면 사서가 뛰어다니는 데 시간을 낭비합니다. 완벽하게 조직화되어 있으면 즉시 책을 꺼낼 수 있습니다.

• 팀은 관련 정보가 메모리에서 서로 바로 옆에 오도록 데이터를 재구성했습니다. 심지어 이웃이 컴퓨터 메모리에서 물리적으로 가깝도록 불규칙한 타일을 배치하기 위해 "힐베르트 곡선"이라는 특정 구불구불한 경로를 사용했습니다. 이로써 GPU 의 "사서"가 최고 속도로 작동하도록 유지합니다.

2. "셀" 조립 라인
해양 모델은 3 차원이며, 수직 물 기둥으로 구성되어 있습니다. 일부 계산은 전체 기둥에 대한 퍼즐을 한 번에 풀어야 합니다.

• 문제: 보통 이러한 퍼즐을 하나씩 푸는 것은 느립니다.
• 해결책: 특수한 "셀" 레이아웃을 만들었습니다. 128 명의 작업자 (스레드) 가 128 개의 기둥에 할당된 공장의 조립 라인을 상상해 보세요. 부품을 서로 주고받는 대신, 모든 128 명의 작업자가 필요한 것을 동시에 꺼낼 수 있도록 부품을 깔끔한 격자 (행렬) 로 정리합니다. 이렇게 하면 느린 순차적 프로세스가 빠른 병렬 프로세스로 바뀝니다.

**3. "청사진 없는" 솔버 **(행렬 프리)
많은 수학 문제에서는 문제를 풀기 전에 거대한 청사진 (행렬) 을 만들어야 합니다. 청사진을 만드는 데 시간이 걸립니다.

• 트릭: 해양 모델의 일부 부분 (압력과 수직 운동 등) 에 대해서는 청사진이 항상 예측 가능한 패턴을 따른다는 것을 저자들이 깨달았습니다. 청사진을 만드는 대신, 그 자리에서 직접 답을 계산하는 레시피를 작성했습니다. 긴 나눗셈 단계를 작성할 필요 없이 수학 문제의 답을 아는 것과 같습니다.

결과: 속도 혁명

이 논문은 이것이 얼마나 효과적인지 보여주는 벤치마크 결과를 제시합니다.

• 하나의 GPU 대 컴퓨터 방: 하나의 고성능 GPU(예: NVIDIA A100) 는 약 1,500 개의 표준 컴퓨터 프로세서만큼의 작업을 수행할 수 있습니다.
• "50 배" 도약: 128 개의 CPU 코어가 있는 거대한 서버를 이러한 GPU 를 단 4 개만 갖춘 단일 서버로 교체하면 시뮬레이션이 50 배 더 빠르게 실행됩니다.
• 확장성: 최대 1,024 개의 GPU가 있는 슈퍼컴퓨터에서 이를 테스트했습니다. 시스템이 훌륭하게 확장되어, 시뮬레이션되는 바다 영역이 모든 GPU 를 바쁘게 유지할 만큼 충분히 크다면 더 많은 GPU 를 추가해도 시뮬레이션이 효율적으로 실행되었습니다.

현실 세계 테스트: 그레이트 배리어 리프

이것이 단순한 이론적 속도 테스트가 아님을 증명하기 위해, 그들은 그레이트 배리어 리프의 시뮬레이션을 실행했습니다.

• 도전 과제: 산호초는 매우 복잡한 형태를 가지고 있습니다. 이전 모델들은 합리적인 시간 내에 실행되려면 "흐릿한" 해상도 (타일당 약 1.5km 에서 4km) 를 사용해야 했습니다.
• 새로운 결과: 새로운 GPU 가속 모델을 사용하여 전체 산호초를 5 배 더 정밀한 해상도 (200 미터까지) 로 시뮬레이션했습니다.
• 결과: 그들은 이전에 보이지 않았던 "조류 제트"(빠른 물줄기) 와 작은 소용돌이와 같은 미세한 세부 사항을 볼 수 있었습니다. 컴퓨터가 실제 시간 1 일당 해양 시간 100 일을 시뮬레이션할 수 있는 속도를 달성했습니다.

요약

이 논문은 데이터 조직 방식을 재고하고 현대 그래픽 칩의 고유한 힘을 활용함으로써 과학자들이 마침내 복잡한 해안의 고도로 디테일한 3 차원 해양 모델을 실행할 수 있음을 보여줍니다. 그들은 과거에 너무 느리고 비용이 많이 들었던 프로세스를 빠르고 효율적인 도구로 바꾸어 그레이트 배리어 리프와 같은 곳의 초고해상도 시뮬레이션에 대한 문을 열었습니다.

기술 요약

기술 요약: 불연속 갈러킨 해양 모델 SLIM 을 위한 효율적인 멀티 GPU 구현

문제 제기
비정렬 격자 해양 모델은 복잡한 기하학적 구조를 표현하고 국소 격자 정밀도를 적용할 수 있는 능력으로 인해 연안 응용 분야에서 점점 더 중요해지고 있습니다. 그러나 불연속 갈러킨 유한 요소 (DG-FE) 방법에 기반한 모델의 경우, 높은 계산 비용으로 인해 보다 광범위한 채택이 저해되어 왔습니다. DG-FE 접근법은 전통적인 유한 체적법이나 연속 유한 요소법에 비해 요소당 더 많은 자유도와 계산을 본질적으로 수반합니다. 또한, 비정렬 격자의 불규칙한 연결성은 이웃 관계의 명시적 저장과 관리를 필요로 하여 정교한 데이터 처리 요구사항과 증가된 계산 오버헤드를 초래합니다. 국소 격자 정밀화 및 모드 분할과 같은 전략들이 사용되어 왔지만, 고해상도 또는 장기간 시뮬레이션에는 종종 불충분합니다. GPU 기반 고성능 컴퓨팅 (HPC) 아키텍처의 급속한 부상은 잠재적인 해결책을 제시합니다. DG-FE 공식화는 대규모 병렬 요소 단위 계산에 적합하지만, 이러한 아키텍처를 완전히 활용하려면 계산 코드의 완전한 재설계가 필요합니다.

방법론
저자들은 NVIDIA 및 AMD 아키텍처를 지원하며 단일 및 멀티 GPU 시스템 모두에 최적화된 SLIM 의 완전한 3D DG-FE 해양 모델 구현을 제시합니다. 이 구현은 CPU, CUDA, HIP 백엔드 간 전환을 위한 경량 추상화 레이어에 의존합니다.

• 메모리 레이아웃 및 스레드 할당: 모델은 스레드당 계산 작업량을 증가시키기 위해 노드 단위 대신 "요소당 하나의 스레드" 전략을 사용합니다. 메모리 병합을 최적화하기 위해 2D 격자는 힐베르트 곡선을 사용하여 재배열됩니다. 일반 계산을 위한 구조의 배열 (SoA) 형식과 선형 시스템 해를 위한 특수한 "셀 레이아웃"을 혼합한 데이터 레이아웃이 도입되었습니다. 셀 레이아웃은 일반적으로 128 개의 프리즘 열 집합을 행렬 구조 (배열의 구조의 배열) 로 그룹화하여, 수직 열과 관련된 대역 선형 시스템 해를 도출하는 동안 완벽한 병합된 메모리 접근을 가능하게 합니다.
• 수치 기법: 모델은 분할 IMEX 런지 - 쿠타 기법을 사용합니다. 외부 (바로트로픽) 모드는 2D 격자에서 3 단계 명시적 런지 - 쿠타 방법을 사용하며, 내부 (바로클린) 모드는 3D 방정식을 전진시킵니다. 내부 모드는 수평 및 수직 과정을 분리합니다. 수평 이류 및 점성은 명시적이며, 수직 과정은 엄격한 CFL 조건을 완화하기 위해 암시적일 수 있습니다.
• 솔버:
  • 행렬 프리 솔버: 수평 압력 구배 및 수직 속도의 경우, 선형 시스템은 명시적 행렬 조립 없이 해를 구할 수 있는 예측 가능한 구조를 가집니다. 단일 패스 업 - 룩킹 솔버는 재귀 공식에 행렬 구조를 인코딩합니다.
  • 완전 조립 열 솔버: 난류 폐쇄 및 암시적 수직 플럭스의 경우, 모델은 열 내 노드를 결합하는 희소 행렬을 조립합니다. 이러한 행렬은 시스템당 하나의 스레드를 사용하여 가우스 소거법으로 인플레이스 (in-place) 로 해결되며, 레지스터 스플리링을 방지하기 위해 로컬 버퍼를 활용합니다.
• 멀티 GPU 전략: 도메인은 MPI 를 사용하여 수평적으로 분해되며, 랭크당 하나의 GPU 를 할당합니다. 계산과 통신을 오버랩하기 위해 코드는 각 파티션을 경계/고스트 요소와 내부 요소로 분할합니다. 경계 계산 및 할로 교환은 고우선순위 통신 스트림에서 시작되고, 내부 계산은 계산 스트림에서 진행됩니다. 이 오버랩은 특히 짧은 커널의 높은 빈도와 할로 교환으로 인해 커널 시작 지연 및 통신 비용이 병목이 될 수 있는 2D 외부 모드의 경우 중요합니다.

주요 결과

• 단일 GPU 성능: NVIDIA A100 GPU 에 대한 벤치마크는 약 1500 개의 CPU 코어에 해당하는 성능을 보여줍니다. 128 코어 CPU 노드를 4 개의 A100 GPU 노드로 교체하면 약 50 배의 속도 향상을 얻습니다. 이 구현은 메모리 바운드 커널의 경우 피크 메모리 대역폭의 최대 80% 를, 계산 바운드 커널의 경우 피크 부동소수점 처리량의 60% 를 유지하며, 전체 시간 단계에 걸쳐 두 가지 모두에 대해 약 30% 의 지속 평균을 기록합니다.
• 확장성: 약한 확장성 효율은 LUMI 슈퍼컴퓨터에서 1024 개의 GPU(512 개의 AMD MI250X GCD) 까지 유지됩니다. 강한 확장성은 암달의 법칙을 따르며, 3D 바로클린 구성 요소는 거의 이상적으로 확장되지만, 짧은 커널과 할로 교환의 높은 빈도로 인해 2D 바로트로픽 모드는 순차적 분수로 작용합니다.
• 대보초 (GBR) 적용: 모델은 330 만 개의 삼각형 (3400 만 개의 3D 요소) 격자를 가진 현실적인 GBR 시뮬레이션에 적용되었으며, 산호초 근처에서는 200m 에서 해상도에서 해상도까지 해상도가 10km 로 설정되었습니다. 32 개의 AMD MI250X GPU(64 개의 GCD) 에서 이중 정밀도로 실행된 시뮬레이션은 벽시계 하루당 약 100 일의 시뮬레이션 처리량을 달성했습니다. 이 구성은 uniform-resolution 모델에서 이전에는 해결할 수 없었던 조류 제트 및 와류와 같은 수백 미터까지의 흐름 구조를 해결했습니다.

의의 및 주장
이 논문은 GPU 가속 DG-FE 방법이 비정렬 격자 해양 모델링의 능력을 획기적으로 발전시킬 수 있다고 주장합니다. 특정 데이터 레이아웃, 행렬 프리 솔버, 통신 오버랩 전략을 통해 GPU 아키텍처를 효과적으로 활용함으로써, 저자들은 고해상도 비정렬 시뮬레이션의 계산 비용을 더 낮은 해상도의 구조화 격자 모델과 일치시킬 수 있음을 보여줍니다. 이는 지역 및 연안 도메인에 대한 비정렬 격자 모델의 실용적 적용에 대한 역사적 제약을 제거합니다.

저자들은 이 작업이 이전에 불가능했던 초고해상도 연안 시뮬레이션을 가능하게 하여 육지 - 해양 연속체 전반에 걸친 다중 규모 과정의 해결을 가능하게 한다고 강조합니다. GBR 응용은 과학적으로 완전히 검증된 연구라기보다는 확장성 및 해상도 능력의 시연으로 기능하지만, 환경 관리에서의 운영적 응용 가능성을 강조합니다. 논문은 비정렬 격자의 고유한 장점인 기하학적 유연성, 국소 정밀화, 다중 규모 해상도가 이제 전통적인 계산 오버헤드 없이 활용될 수 있으며, GPU 가속 DG 모델이 차세대 연안 해양 시뮬레이션을 위한 유망한 도구로 자리 잡고 있다고 결론지었습니다.