Energy-Efficient GPU Resource Management for Generative AI on HPC Systems: A Roadmap Towards Cross-Layer Co-Design Approaches
이 논문은 HPC 시스템 내 생성형 AI를 위한 에너지 효율적인 GPU 관리에 관한 46편의 연구를 검토하고, 교차 계층 조정 및 동적 워크로드 지원에서의 결정적인 격차를 식별하며, 지속 가능하고 에너지 비례적인 실행을 위해 텔레메트리, 예측 및 제어를 통합하는 GenAI-XEnergy 프레임워크를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
오늘날 가장 진보된 인공지능을 구동하는 기계들은 단순히 똑똑한 것이 아니라, 탐욕적입니다. 생성형 AI로 알려진 이 시스템들은 방대한 양의 데이터를 학습함으로써 새로운 텍스트, 이미지, 코드를 만들어냅니다. 이를 위해 이들은 계산의 엔진 역할을 하는 GPU라고 불리는 특수 컴퓨터 칩에 의존합니다. 하지만 이 엔진을 가동하려면 엄청난 양의 전기가 필요합니다. 단 하나의 거대 모델을 훈련하는 데 소요되는 에너지는 작은 마을 하나가 일 년 동안 사용하는 에너지와 맞먹을 수 있으며, 이러한 시스템의 일상적인 운영은 경이로운 속도로 전력을 계속해서 끌어다 씁니다. 모델이 더 커지고 복잡해짐에 따라, 과제는 단순히 더 빠르게 만드는 것에서 벗어나 지구의 자원을 고갈시키지 않고 실행될 수 있을 만큼 효율적으로 만드는 것으로 옮겨가고 있습니다. 엔지니어들이 직면한 질문은 이제 단순히 성능에 관한 것이 아니라, 이 거대한 컴퓨터 시스템을 통해 에너지의 흐름을 어떻게 관리하여 모든 와트의 전기가 유용한 작업에 쓰이도록 할 것인가에 관한 것입니다.
한 연구팀은 우리가 현재 이러한 에너지 집약적인 시스템을 어떻게 관리하고 있는지 면밀히 조사했으며, 우리의 접근 방식이 너무 많은 별개의 조각들로 분절되어 있다는 사실을 발견했습니다. 46개의 최근 연구를 종합적으로 검토한 결과, 전문가들이 에너지 문제를 개별적으로 해결하려고 시도하고 있다는 것을 발견했습니다. 어떤 연구자들은 칩이 유휴 상태일 때 속도를 늦추는 등 하드웨어 자체에 집중합니다. 다른 이들은 프로그램이 실행되는 소프트웨어를 살펴보며 작업을 더 잘 조직하려고 노력합니다. 또 다른 이들은 어떤 컴퓨터에 어떤 작업을 할지 결정하는 스케줄링 시스템을 연구합니다. 이러한 각 노력이 개별적으로는 어느 정도 성과를 보여주었지만, 연구진은 이들이 서로 협력하지 못하고 있다고 주장합니다. 시스템의 서로 다른 계층들이 서로 소통하지 못하기 때문에, 그 결과로 종종 에너지가 낭비됩니다. 예를 들어, 전력을 아끼기 위해 칩의 속도를 늦출 수 있지만, 소프트웨어는 이를 알지 못해 계속 작업을 보내거나, 스케줄러가 실시간 하드웨어 데이터가 부족하여 이미 과열된 컴퓨터에 작업을 할당할 수도 있습니다.
연구진은 생성형 AI 워크로드의 특성이 이러한 파편화를 특히 위험하게 만든다고 지적했습니다. 일정한 속도로 실행되는 전통적인 컴퓨터 작업과 달리, 이러한 AI 작업은 매우 예측 불가능합니다. 몇 초 동안 강렬한 활동을 보이다가 갑자기 조용해질 수도 있고, 전통적인 시스템이 처리하도록 설계되지 않은 방식으로 막대한 양의 메모리를 요구할 수도 있습니다. 검토 결과, 현재의 방법들은 이러한 작업들을 마치 정적이고 예측 가능한 것처럼 취급하여 자원의 비효식적인 사용을 초래하는 경우가 많았습니다. 예를 들어, 많은 시스템은 작업이 실제로 필요로 하는지 여부와 관계없이 고정된 양의 컴퓨팅 파워를 할당하며, 이로 인해 값비싼 하드웨어가 전력을 소비하면서도 유휴 상태로 방치되기도 합니다. 연구에 따르면 하드웨어 수준이나 소프트웨어 수준에서 에너지를 절약하는 영리한 기술들은 많지만, 이 둘을 연결하는 전략은 뚜렷하게 부족합니다.
이를 해결하기 위해 저자들은 '교차 계층 공동 설계(cross-layer co-design)'라는 새로운 사고방식을 제안합니다. 하드웨어, 소프트웨어, 또는 스케줄러를 각각 따로 고치는 대신, 이 모든 부분이 하나의 조정된 단위로서 작동하는 시스템을 구축할 것을 제안합니다. 그들은 'GenAI-XEnergy'라고 부르는 개념적 프레임워크를 도입합니다. 이 아이디어는 컴퓨터의 에너지 사용량을 끊임없이 관찰하고, 작업이 시작되기도 전에 얼마나 많은 전력이 필요할지 예측한 다음, 그에 맞춰 하드웨어와 소프트웨어를 즉각적으로 조정하는 시스템을 구상합니다. 모든 연주자가 서로의 소리를 듣고 실시간으로 음량을 조절하여 완벽한 화음을 만들어내는 오케스트라의 지휘자를 상상해 보십시오. 이 경우 '음악'은 전기의 흐름이며, '연주자'는 컴퓨터 칩, 운영 체제, 그리고 작업 스케줄러입니다. 이러한 계층들을 연결함으로써, 시스템은 칩의 일부가 필요하지 않은 즉시 그 부분을 끄거나, 더 저렴하고 깨끗한 에너지를 사용할 수 있는 다른 컴퓨터로 무거운 작업을 옮길 수 있습니다.
이 검토 보고서는 우리가 개별적인 도구들은 갖추고 있지만, 이를 조정할 중앙 브레인이 부족하다고 강조합니다. 연구진은 현재 시스템들이 다른 유형의 컴퓨터 작업을 위해 작성된 오래된 규칙들에 의존하고 있다고 지적합니다. 그들은 인공지능의 에너지 위기를 진정으로 해결하기 위해서는 정적인 규칙에서 벗어나 학습하고 적응하는 동적인 시스템으로 나아가야 한다고 주장합니다. 제안된 프레임워크는 실시간 데이터를 사용하여 결정을 내림으로써, 에너지가 절대적으로 필요할 때만 사용되도록 보장할 것을 제안합니다. 이 접근 방식은 완전히 새로운 유형의 컴퓨터를 발명하는 것이 아니라, 우리가 이미 가지고 있는 능력들을 더 스마트하고 연결된 방식으로 사용하는 것입니다. 연구 결과는 이러한 별개의 계층들을 하나로 모음으로써, 속도나 학습 능력을 희생하지 않고도 인공지능의 에너지 발자국을 크게 줄일 수 있음을 시사합니다.
논문에 따르면 앞으로 나아갈 길은 하드웨어와 소프트웨어 사이의 이러한 연결을 구축하는 것입니다. 연구진은 미래의 시스템이 스스로의 에너지 소비를 감지하고 그에 따라 동작을 조정할 수 있어야 한다고 제안하는데, 이는 '텔레메트리 기반 관리(telemetry-driven management)'라고 알려진 개념입니다. 이는 컴퓨터가 매 초마다 정확히 얼마만큼의 전력을 사용하는지 알고, 에너지를 절약하기 위해 즉각적인 변화를 가할 수 있음을 의미합니다. 또한 그들은 전력의 원천을 고려해야 한다고 강조하며, 시스템이 더 깨끗한 에너지원을 사용하는 전력망을 활용할 때 무거운 작업을 수행하도록 유도해야 한다고 제안합니다. 논문은 이러한 통합된 시스템을 구축하는 것이 아직 완전히 실현되지 않은 복잡한 과제임을 인정하면서도, 그곳에 도달하기 위한 명확한 로드맵을 제공합니다. 궁극적인 목표는 강력할 뿐만 아니라 지속 가능한 인공지능 인프라를 구축하여, 기술이 이를 뒷받합하는 에너지 시스템을 압도하지 않고도 계속 성장할 수 있도록 보장하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.