Hybrid Coarse-Grained Transprecision boosted by a Custom GEMM Kernel to accelerate Parametric Linear Systems

현대 공학 및 과학의 세계에서 복잡한 물리적 문제를 해결하는 것은 유한 요소법(finite element method)이라 불리는 기술에 의존하는 경우가 많습니다. 다리가 바람에 어떻게 흔들리는지, 혹은 반도체 내에서 전기가 어떻게 흐르는지 이해하려고 노력한다고 상상해 보십시오. 과학자들은 이 거대한 연속 물체를 수백만 개의 작고 관리 가능한 조각으로 나누어, 물리학의 법칙을 거대한 방정식 체계로 변환합니다. 정밀한 답을 얻기 위해 컴퓨터는 '배정밀도(double precision)'라고 알려진 형식을 사용하여 극도로 주의 깊게 숫자를 계산해야 합니다. 이 방식은 모든 숫자를 최대한의 정확도로 다루어, 아주 작은 오류가 거대한 실수로 눈덩이처럼 불어나지 않도록 보장합니다. 그러나 이러한 끊임없는 완벽 추구에는 가혹한 대가가 따릅니다. 즉, 엄청난 양의 시간과 에너지를 요구한다는 점입니다. 공장의 디지털 트윈이나 재난 지역을 탐색하는 로봇처럼 즉각적인 답변이 필요한 응용 분야에서, 이러한 느리고 초정밀한 계산을 기다리는 것은 결코 선택지가 될 수 없습니다.

문제는 이러한 시뮬레이션에서 반복적으로 나타나는 특정 유형의 계산에 있습니다. 이는 물리적 구조를 나타내는 거대하고 고정된 데이터 집합과, 재료 강도나 온도와 같이 현재의 조건을 설명하는 변화하는 매개변수 세트를 결합하는 작업을 포함합니다. 컴퓨터는 이 둘을 곱하여 해를 구해야 합니다. 고정된 데이터 세트가 매우 방대하기 때문에, 이 계산은 병목 현상을 일으켜 모든 과정을 느리게 만듭니다. 연구자들은 오랫동안 이러한 많은 작업에서 배정밀도 수학의 극단적인 정밀도가 불필요할 수도 있다고 의심해 왔습니다. 인간의 눈이 어두운 방 안에서 두 가지 미세하게 다른 회색 음영을 구별할 수 없는 것처럼, 많은 물리 시뮬레이션은 최종 결과가 쓸모없어지지 않는 선에서 작은 수치적 오차를 허용할 수 있습니다. 문제는 우리가 그 추가적인 정확도를 희생하여 막대한 속도 향상을 안전하게 얻어낼 수 있느냐 하는 것입니다.

퀸즈 벨파스트 대학교와 에든버러 대학교의 연구팀은 이 문제를 해결하기 위한 더 스마트하고 빠른 솔루션을 제공하는 새로운 방법을 개발했습니다. 그들은 수학적 정밀도를 위한 2단계 필터처럼 작동하는 시스템을 만들었습니다. 먼저, '오프라인 단계'에서 시스템은 변화하는 매개변수의 대표 샘м플을 연구하여, 최종 답이 안전한 오차 범위 내에 머물 수 있는 최저 정밀도 수준을 결정합니다. 이 과정에서 시스템은 표준 고정밀 숫자부터 훨씬 더 압축된 저정밀 버전까지 다양한 형식을 테스트합니다. 이 기준선이 설정되면, 시스템은 실시간 데이터를 처리하는 '온라인 단계'로 넘어갑니다. 새로운 매개변수 세트가 도착할 때마다 시스템은 그 범위를 빠르게 확인하고, 그래픽 카드에서 사용 가능한 가장 효율적인 정밀도 형식을 자동으로 선택합니다. 숫자가 작고 안정적이면 매우 압축된 형식을 사용하고, 숫자가 더 크거나 변동성이 크면 약간 더 견고한 형식으로 전환합니다. 이러한 동적 조정을 통해 컴퓨터는 결과의 신뢰성을 희생하지 않으면서도 최고 속도로 실행될 수 있습니다.

이러한 속도 향상을 더욱 극적으로 만들기 위해, 연구진은 계산을 위한 맞춤형 엔진도 구축했습니다. 보통 컴퓨터는 이러한 유형의 행렬 곱셈을 두 개의 별도 단계로 수행합니다. 먼저 데이터를 매개변수에 따라 스케일링(scaling)한 다음, 결과들을 서로 곱합니다. 이 과정에서 데이터를 컴퓨터 메모의 서로 다른 부분 사이로 왔다 갔다 이동시켜야 하며, 이는 시간을 낭비합니다. 연구팀은 이 두 단계를 하나의 맞춤형 연산으로 융합했습니다. 프로세서의 빠른 메모리로 데이터를 로드하는 동안 데이터를 스케일링함으로써, 데이터를 두 번 이동시켜야 하는 필요성을 제거했습니다. 이 간소화된 접근 방식은 상당한 양의 낭비되는 노력을 제거하여, 시스템이 동일한 계산을 훨씬 더 효율적으로 수행할 수 있게 해주었습니다.

이 방식의 결과는 세 세대의 서로 다른 기술력을 가진 강력한 그래픽 카드를 사용하여 다양한 대규모 문제에 대해 테스트되었습니다. 결과는 놀라웠습니다. 2,100만 개 이상의 행을 포함하는 거대한 데이터 세트에 대해, 새로운 방법은 기존의 초정밀 방식보다 정보를 최대 117배 더 빠르게 처리할 수 있었습니다. 에너지 측면에서 이 시스템은 동일한 결과를 얻기 위해 36배 적은 전력을 소비했습니다. 결정적으로, 이러한 막대한 속도와 효율성 향상에도 불구하고, 최종 답의 평균 오차는 1% 미만으로 매우 낮게 유지되었습니다. 80.3GB의 데이터 세트를 포함한 특정 테스트 케이스에서, 시스템은 매초 두 개의 서로 다른 매개변수 세트를 평가할 수 있었는데, 이는 기존의 느린 방식으로는 불가능한 일이었습니다.

연구진은 또한 메모리 제한 문제도 해결했습니다. 데이터가 너무 커서 그래픽 카드에 전부 들어가지 않을 때, 표준 방식은 종종 메인 컴퓨터 메모리로부터 데이터를 가져오기 위해 멈춰야 하며, 이는 속도를 늦춥니다. 연구팀은 저정밀 형식을 사용하면 데이터의 크기(footprint)가 줄어들어 그래픽 카드에 완전히 들어갈 수 있게 되어, 이러한 느린 멈춤 현상을 피할 수 있다는 것을 발견했습니다. 그들은 데이터가 들어가지 않을 때 처리하는 두 가지 전략을 비교했습니다. 즉, 메인 메모리에서 원래 데이터를 다시 불러오는 방식과 데이터를 즉석에서 재계산하는 방식을 비교했습니다. 그들은 매우 큰 데이터 세트의 경우, 정밀도를 세심하게 관리하여 오차가 시간이 지남에 따라 쌓이는 것을 방지한다면, 데이터를 다시 불러오는 것보다 데이터를 즉석에서 재계산하는 것이 훨씬 더 빠르다는 것을 발견했습니다.

이 연구는 과학적 컴퓨팅에서 배정밀도 수학이 항상 필수적인 것은 아니라는 점을 보여줍니다. 계산의 정밀도를 문제의 특정 요구 사항에 지능적으로 맞추고, 컴퓨터가 데이터를 처리하는 방식을 간소화함으로써, 이전에는 실시간으로 해결하기에 너무 느렸던 문제들에 대해 실시간 성능을 달야내는 것이 가능합니다. 이 연구는 적절한 도구가 있다면 과학자와 엔지니어들이 복잡한 시뮬레이션을 실시간으로 실행할 수 있음을 확인시켜 주며, 이는 더 반응성이 뛰어난 디지털 트윈, 더 빠른 진단 도구, 그리고 더 효율적인 공학 설계를 위해 기존에 필요했던 훨씬 적은 에너지로도 가능하다는 문을 열어줍니다.