Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

현대적인 삶을 움직이는 소프트웨어가 인간의 손뿐만 아니라 인공지능에 의해 작성되는 세상을 상상해 보십시오. 대규모 언어 모델로 알려진 이 디지털 비서들은 코드를 작성하는 데 매우 능숙해져서 이제 수백만 명의 개발자들의 일상적인 작업 흐름의 일부가 되었습니다. 이들은 프로그래밍 문장의 끝을 완성하거나, 고장 난 함수를 디버깅하거나, 간단한 설명만으로 작은 프로그램을 구축할 수 있습니다. 하지만 이러한 편리함에는 숨겨진 비용이 따릅니다. 이 모델들이 생각할 때마다 막대한 양의 전력을 소비하며, 이는 우리가 보호하고자 하는 바로 그 환경을 위협하는 늘어나는 탄소 발자국을 초래합니다. 이러한 도구에 대한 수요가 증가함에 따라, 과학자들은 한 가지 중요한 질문을 던지고 있습니다. 어떻게 하면 지구를 태워버리지 않고도 이들을 더 빠르고 저렴하게 만들 수 있을까?

이에 답하기 위해, 연구자들은 최근 이러한 인공 지능의 정신이 한 유형의 컴퓨터 하드웨어에서 다른 유형으로 옮겨졌을 때 어떻게 행동하는지 테스트하기 위해 착수했습니다. 수년 동안 개발자들은 이 모델들을 원래 비디오 게임용으로 설계된 특수 그래픽 칩에서 실행하는 것이 표준 컴퓨터 프로세서에서 실행하는 것보다 훨씬 빠르다는 것을 알고 있었습니다. 하지만 속도는 이야기의 절반에 불과합니다. 연구팀은 이 빠른 하드웨어로의 전환이 에너지도 절약하는지, 그리고 더 중요한 것은, 그것이 모델이 생성하는 코드의 품질을 변화시키는지 알고 싶었습니다. 그들은 또한 프롬프팅(prompting)에 사용되는 미묘한 기술, 즉 모델에게 작업을 요청하기 전에 몇 가지 예시를 주는 방식에 대해서도 궁금했습니다. 모델에게 작업 샘플을 보여주는 것이 에너지 절약에 도움이 될까요, 아니면 단순히 과정을 더 길게 만들 뿐일까요?

연구진은 다섯 가지의 서로 다른 오픈 소스 코딩 모델을 선정하여 엄격한 테스트를 거쳤습니다. 그들은 동일한 프로그래밍 과제 세트를 두 가지 매우 다른 기기에서 실행했습니다. 하나는 표준 컴퓨터 프로세서였고, 다른 하나는 강력한 그래픽 카드 클러스터였습니다. 그들은 각 실행이 소비하는 에너지를 정확히 측정했고, 시간이 얼마나 걸렸는지, 그리고 생성된 코드가 실제로 작동하는지를 측정했습니다. 또한 모델에게 도움을 요청하는 두 가지 방식을 비교했습니다. 첫 번째 방법은 모델에게 예시 없이 과제를 주는 '제로샷(zero-shot)' 접근 방식이었습니다. 두 번째로는 모델의 사고를 유도하기 위해 유사한 작업의 예시 세 개를 먼저 제공하는 '쓰리샷(three-shot)' 접근 방식을 사용했습니다.

결과는 놀라웠으며, 속도와 안정성 사이의 명확한 트레이드오프(trade-off)를 드러냈습니다. 모델들이 강력한 그래픽 하드웨어로 이동했을 때, 속도의 차이는 상상할 수 없을 정도였습니다. 코드를 생성하는 데 걸리는 시간은 99% 이상 감소하여, 몇 초가 걸리던 과정을 1초 미만으로 단축했습니다. 이 엄청난 가속화는 에너지 사용량의 급격한 감소로도 이어졌으며, 일부 작업은 표준 프로세서에서 사용했던 것보다 거의 90% 적은 전력을 소비했습니다. 이는 효율성의 명백한 승리였습니다. 그러나 연구진이 코드의 품질을 살펴보았을 때 이야기는 더 복잡해졌습니다.

모델들에게 예시 없이 작업하도록 요청했을 때, 빠른 하드웨어로의 전환은 모델들을 예측 불가능하게 만들었습니다. 그래픽 칩은 표준 프로세서와 다른 방식으로 정보를 처리하기 때문에, 설정이 동일함에도 불구하고 모델들은 때때로 구조적으로 다르거나 단순히 작동하지 않는 코드를 생성했습니다. 이는 마치 같은 사람이 두 개의 서로 다른 방에서 이야기를 쓰라는 요청을 받았을 때, 완전히 다른 결말을 내놓는 것과 같았습니다. 이러한 불일치는 모델들이 스스로 문제를 해결하도록 남겨두었을 때 가장 심각하게 나타났습니다.

이러한 불안정성의 해결책은 놀라울 정도로 단순했습니다. 연구진이 모델에게 코드를 쓰라고 요청하기 전에 세 가지 예시를 제공하자, 행동이 극적으로 변했습니다. 모델들은 훨씬 더 일관되게 행동하여, 어떤 컴퓨터에서 실행되든 관계없이 신뢰할 수 있는 결과를 생성했습니다. 게다가, 예시를 보여주는 이 방식은 에너지 또한 절약했습니다. 모델에게 명확한 경로를 제공함으로써, 예시가 제공되지 않을 때 출력물을 어지럽히는 불필요한 잡담이나 긴 설명을 피할 수 있었기 때문입니다. 이 '쓰리샷' 접근 방식은 과정에서 군더더기를 제거하여, 일부 테스트에서 에너지 소비를 60% 이상 줄였고 코드 생성을 더 빠르고 정확하게 만들었습니다.

이 연구는 단순히 더 빠른 하드웨어를 구매하는 것만으로는 인공지능의 에너지와 품질 문제를 해결할 수 없음을 시사합니다. 강력한 그래픽 카드로 이동하는 것은 과정을 믿을 수 없을 정도로 효율적으로 만들지만, 그것 자체로 더 나은 결과를 보장하지는 않습니다. 실제로, 적절한 안내가 없다면 속도는 신뢰성의 희생을 초래할 수 있습니다. 연구진이 발견한 가장 효과적인 전략은 이 둘의 조합이었습니다. 즉, 속도를 위해 강력한 하드웨어를 사용하되, 모델이 따라올 수 있는 몇 가지 예시를 주는 프롬프팅 스타일을 결합하는 것입니다. 이 접근 방식은 에너지 사용량을 낮게 유지할 뿐만 아니라 생성된 코드가 안정적이고 정확하도록 보장했습니다.

결국, 이 연구는 녹색 인공지능의 미래가 우리가 어떤 기계를 사용하는가가 아니라, 우리가 어떻게 질문을 던지느냐에 달려 있음을 강조합니다. 우리가 이 모델들과 상호작용하는 방식을 신중하게 설계함으로써, 우리는 작업의 품질이나 지구의 건강을 희생하지 않고도 그들의 속도를 활용할 수 있습니다. 앞으로 나아갈 길은 단순히 더 크고 빠른 컴퓨터를 만드는 것이 아니라, 우리가 사용하는 도구와 우리가 주는 지침 사이의 적절한 균형을 찾는 것입니다.