A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

인공지능의 세계에서 가장 눈에 띄는 돌파구는 흔히 소프트웨어에서 나오지만, 이를 움직이는 엔진은 하드웨어입니다. 컴퓨터에게 사진 속의 고양이를 인식하거나 문장을 다른 언어로 번역하는 법을 가르치기 위해, 엔지니어들은 복잡한 수학적 모델을 훈련시켜야 합니다. 이 훈련 과정은 매우 까다로운데, 컴퓨터가 아주 짧은 시간 안에 수십억 번의 계산을 수행해야 하기 때문입니다. 이러한 작업량을 처리하기 위해 연구자들은 많은 작업을 동시에 처리하도록 설계된 그래픽 처리 장치(GPU)라고 불리는 특수 칩에 의존합니다. 하지만 단순히 이 강력한 칩들을 더 많이 추가한다고 해서 반드시 작업이 빨라지는 것은 아닙니다. 마치 사무실이 너무 좁거나 도구를 제대로 공유하지 못하면 대규모 작업 팀이 오히려 프로젝트를 늦출 수 있는 것처럼, 더 많은 GPU를 추가하는 것이 때로는 칩들이 실제로 작업하는 시간보다 데이터를 기다리며 보내는 시간이 더 길어지는 병목 현상을 만들 수 있습니다. 과학자와 엔지니어들의 과제는 하드웨어가 효율적으로 사용되도록 하면서, 시스템의 비용 및 복잡성과 속도 사이의 균형을 맞추는 최적의 지점을 찾는 것입니다.

발레아레스 제도 대학교의 연구팀은 이 퍼즐을 풀기 위한 새로운 방법을 개발했습니다. 그들은 ResNet-50이라고 알려진 유명한 이미지 인식 모델을 훈련하는 데 사용되는 다양한 컴퓨터 구성들을 분류하는 방법을 만들었습니다. 단순히 어떤 시스템이 작업을 가장 빨리 끝냈는지만 보는 대신, 그들은 어떤 시스템이 가장 효율적인지를 이해하고자 했습니다. 그들은 이 기계들의 성능을 하나의 풍경처럼 취급하여, 칩의 수가 증가함에 따라 훈련 시간, 속도, 자원 사용량이 어떻게 변하는지의 패턴을 살펴보았습니다. 유사한 시스템들을 그룹화하고 서로 비교함으로써, 그들은 가장 강력한 구성이 반드시 가장 많은 칩을 가진 것은 아니라는 사실을 발견했습니다.

연구진은 먼저 MLPerf Training 벤치마크라는 널리 사용되는 산업 표준으로부터 데이터를 수집하는 것으로 시작했습니다. 이 데이터셋에는 동일한 이미지 인식 과제에 대해 자신들의 하드웨어를 테스트한 많은 조직의 결과가 포함되어 있습니다. 연구팀은 사용된 그래픽 칩의 유형, 설치된 칩의 개수, 훈련에 걸린 시간, 그리고 시스템이 초당 처리할 수 있는 이미지 수와 같은 각 시스템의 구체적인 세부 사항을 조사했습니다. 그런 다음 그들은 어떤 세부 사항이 가장 중요한지를 측정하기 위해 컴퓨터 기술을 사용했습니다. 가용 데이터를 분석함으로써, 그들은 측정 가능한 확장성의 핵심 동인에 집중하며 시스템 성능과 효율성에 상당한 영향을 미치는 일련의 변수들을 식별해 냈습니다. 그들은 칩의 개수와 얻어지는 속도 사이의 관계가 직선이 아니라는 것을 발견했습니다. 이상적인 세상에서는 칩의 수를 두 배로 늘리면 훈련 시간이 절반으로 줄어들 것입니다. 하지만 현실에서 연구진은 시스템 규모가 커질수록 새로운 칩 하나로부터 얻는 추가적인 속도 이득이 줄어드는 것을 관찰했습니다.

이 복잡한 데이터를 파악하기 위해 연구진은 성능에 따라 서로 다른 컴퓨터 구성을 다섯 가지 뚜렷한 범주로 분류했습니다. 그들은 그중 한 특정 그룹이 가장 효과적이라는 것을 발견했습니다. 이 시스템들은 일반적으로 4개에서 16개 사이의 최신 세대 그래픽 칩을 강력한 중앙 프로세서와 결합하여 사용했습니다. 이러한 구성은 놀라운 균형을 달왔습니다. 즉, 자원을 높은 효율로 사용하면서도 모델을 매우 빠르게 훈련시켰습니다. 이와 대조적으로, 수천 개의 유닛을 사용하는 일부 사례와 같이 가장 많은 칩을 보유한 시스템들은 절대적인 시간 면에서는 가장 짧게 작업을 마쳤지만, 효율성은 훨씬 떨어졌습니다. 이러한 거대한 구성에서는 칩들이 데이터를 기다리거나 서로를 기다리느라 칩들이 최대한 열심히 일하지 못했기 때문에, 값비싼 하드웨어의 상당 부분이 유휴 상태로 머물러 있었습니다.

이 연구는 인공지능 모델을 훈련하기 위한 최선의 접근 방식이 단순히 문제에 더 많은 하드웨어를 쏟아붓는 것이 아니라는 점을 시사합니다. 대신, 가장 효과적인 시스템은 서로 다른 구성 요소들이 조화를 이루며 작동하는 시스템입니다. 연구진은 최적의 구성이 칩 사이의 고속 연결과 강력한 프로세서를 사용하여 지연 없이 칩에 데이터를 공급한다는 것을 발견했습니다. 이를 통해 그래픽 칩이 바쁘고 생산적으로 유지될 수 있었습니다. 연구 결과는 작지만 잘 조정된 시스템이 종종 거대하지만 불균형한 시스템보다 더 나은 성능을 낼 수 있음을 보여줍니다. 이러한 시스템을 구축하는 조직들에게 이는, 가능한 가장 큰 클러스터를 구매하는 것보다 엄선된 수의 최상급 칩을 투자하고 이들을 적절하게 연결하는 것이 더 현명한 선택이 될 수 있음을 의미합니다. 이 연구는 효율성과 성능이 규모보다는 균형을 통해 가장 잘 달성된다는 것을 보여줌으로써, 적절한 도구를 선택하기 위한 명확한 가이드를 제공합니다.