현대 디지털 환경에서 대규모 언어 모델이라 불리는 강력한 인공지능 시스템은 컴퓨터가 인간의 언어를 이해하고 생성하는 방식을 변화시켰습니다. 이러한 시스템은 파라미터라고 불리는 방대한 데이터 포인트의 집합체로 구축되며, 이는 모델의 내부 지식 기반 역할을 합니다. 일반적인 모델은 수십억 개의 파라미터를 포함할 수 있으며, 이를 저장하기 위해 상당한 양의 컴퓨터 메모리가 필요합니다. 수년 동안 이러한 복잡한 시스템을 실행하는 것은 특수하고 고속인 그래픽 프로세서를 갖춘 거대한 데이터 센터의 영역이었습니다. 그러나 이러한 지능을 사람들이 실제로 살고 일하는 곳에 더 가깝게 가져오려는 움직임이 커지고 있으며, 사무실, 가정, 또는 인터넷 연결이 불안정하거나 보안 문제로 인해 데이터를 건물 외부로 반출할 수 없는 원격 지역에 있는 '엣지 노드(edge nodes)'라고 불리는 더 작은 로컬 컴퓨터에 이를 배치하려는 시도가 이어지고 있습니다. 엔지니어들의 과제는 이러한 로컬 기기들이 데이터 센터에서 볼 수 있는 강력한 그래픽 프로세서 대신, 대부분의 컴퓨터에서 범용적인 두뇌 역할을 하는 표준 중앙 처리 장치(CPU)에 의존한다는 점입니다. 핵심적인 질문은 이처럼 겸손한 수준의 일상적인 기기들이 실제로 고급 언어 모델을 실행하는 무거운 작업을 감당할 수 있는지, 만약 그렇다면 얼마나 많은 메모리가 필요하며 얼마나 빠르게 작동할 수 있는지였습니다.

한 연구팀은 대표적인 단일 엣지 컴퓨터의 한계를 테스트함으로써 이 질문들에 답하고자 했습니다. 그들은 새로운 소프트웨어를 만들거나 더 빠른 칩을 발명한 것이 아니라, 표준 컴퓨터가 세 가지 서로 다른 크기의 언어 모델을 실행할 때 정확히 어떤 일이 발생하는지를 정밀하게 측정하는 관찰자 역할을 수행했습니다. 그들은 11억 개의 파라미터를 가진 소형 버전부터 70억 개의 파라미터를 가진 더 강력한 버전까지 모델을 테스트했습니다. 각 모델에 대해, 그들은 컴퓨터가 내부 숫자를 저장할 때 사용하는 상세 수준이라고 볼 수 있는 세 가지 다른 정밀도 수준으로 시스템을 실행했습니다. 연구진은 이 상세 수준을 줄이는 기술인 '양자화(quantization)'가 강력한 데이터 센터에서 그러하듯 로컬 기기에서도 속도를 높이고 메모리 사용량을 줄이는 데 도움이 될지 확인하고자 했습니다.

그들이 밝혀낸 결과는 이러한 시스템에 대해 널리 알려진 믿음을 뒤엎는 놀라운 현실을 드러냈습니다. 세계의 고성능 데이터 센터에서는 모델의 정밀도를 낮추는 것이 메모리 사용량을 절반 이하로 줄이고 성능을 높이는 입증된 전략입니다. 하지만 연구 대상이 된 로컬 CPU 전용 컴퓨터에서는 정확히 그 반대의 현상이 발생했습니다. 공간을 절약하기 위해 정밀도를 낮췄을 때, 컴퓨터는 모델을 실행하는 데 오히려 훨씬 더 많은 메모리를 필요로 했습니다. 이론적으로 약 14기가바이트의 메모리가 필요해야 했던 가장 큰 모델의 경우, 정밀도를 낮추었을 때 시스템은 거의 20기가바이트를 요구했습니다. 약 48%의 이러한 증가가 발생한 이유는 컴퓨터의 표준 프로세서가 압축된 저정밀도 숫자를 네이티브 방식으로 이해하지 못했기 때문입니다. 시스템은 이 숫자들을 직접 처리하는 대신, 매 계산마다 압축된 가중치를 메모리에 유지하면서 동시에 이를 표준 형식으로 다시 변 변환해야 했습니다. 이로 인해 컴퓨터는 압축된 가중치와 변환 버퍼를 모두 보유해야 했고, 활성화 값(activations)과 어텐션 캐시(attention cache)는 전체 과정 동안 표준 형식을 유지해야 했기에, 결과적으로 메모리 부하를 경감시키기는커녕 오히려 늘리는 이중 부담을 초래했습니다.

메모리 문제 외에도, 연구는 무엇이 컴퓨터를 느리게 만드는지를 정확히 식별해 냈습니다. 연구진은 프로세서가 거의 100%의 용량으로 작동하고 있음에도 불구하고 매우 적은 결과물만을 생산하고 있다는 사실을 발견했습니다. 이는 기기가 수학적 계산 자체로 고전하는 것이 아니라, 메모리로부터 데이터가 도착하기를 기다리고 있음을 나타냈습니다. 병목 현상은 메모리 칩에서 프로세서로 정보가 이동하는 속도, 즉 '메모리 대역폭(memory bandwidth)'이라는 한계에서 발생했습니다. 컴퓨터가 끊임없이 데이터를 기다리고 있었기 때문에, 시스템은 한 번에 하나의 요청만 처리할 수 있었습니다. 만약 사용자가 두 개의 질문을 동시에 던지려 한다면, 시스템은 작업을 두 개의 스레드로 나눌 수 없으며 단순히 과부하 상태에 빠지게 됩니다. 단일 요청이 기기를 포화시켰다는 것은, 여러 사용자에게 서비스를 제공하기 위해서는 단일 기기에서 더 많은 작업을 짜내려 하기보다 네트워크에 물리적인 컴퓨터를 더 추가해야 함을 의미합니다.

성능 저하는 연구진이 속도를 살펴보았을 때 더욱 극적으로 나타났습니다. 가장 유능한 모델을 표준 정밀도로 실행했을 때는 초당 약 3.76단어를 생성하여 느리긴 하지만 대화가 가능한 수준이었습니다. 그러나 연구진이 속도를 높이기 위해 적용했던 압축 기술을 사용하자 속도는 급락했습니다. 시스템은 초당 1단어 미만의 속도로 떨어져 상호작용이 매우 답답하게 느껴졌습니다. 가장 극단적인 압축의 경우, 시스템은 16초에 한 번꼴로 새로운 단어를 생성하여 실시간 대화에는 쓸 수 없는 수준이 되었습니다. 이는 강력한 그래픽 카드를 위해 설계된 기술들이 이러한 로컬 기기에서는 효과적이지 않을 뿐만 아니라, 기기가 감당할 수 없는 메모리 페널티를 대가로 속도를 희생시키는, 오히려 해로운 영향을 미친다는 것을 확인시켜 주었습니다.

엔지니어들이 이러한 현실을 계획에 반영할 수 있도록, 연구진은 로컬 컴퓨터에 실제로 필요한 메모리 양을 추정하기 위한 간단한 규칙을 개발했습니다. 그들은 필요한 메모리 양이 단순히 모델의 파라미터 크기에 의해서만 결정되는 것이 아님을 발견했습니다. 대신, 총 메모리 사용량은 선택된 정밀도 수준에 크게 좌우되었습니다. 압축되지 않은 표준 모델의 경우 필요한 메모리는 대략 모델 가중치의 크기와 같습니다. 그러나 압축 모델의 경우, 연구진은 한 단계의 압축에서는 메모리 요구량이 가중치 크기의 약 3배로 뛰며, 가장 깊은 단계의 압축에서는 거의 6배에 달한다는 것을 발견했습니다. 이는 로컬 기기에서 대규모 모델을 실행하려는 엔지니어가 모델 파일 크기보다 훨씬 더 많은 메모리를 갖춘 기기를 준비해야 함을 의미합니다. 32기가바이트 메모리를 가진 컴퓨터는 큰 모델을 실행할 수는 있겠지만, 운영 체제나 다른 작업을 위한 여유 공간이 거의 없을 것이며, 당연히 두 개의 모델을 동시에 실행할 수도 없습니다.

연구는 강력한 언어 모델을 CPU 전용 로컬 기기에서 실행하는 것이 가능하지만, 이는 이러한 시스템을 배포하는 방식에 대한 전면적인 재고를 요구한다고 결론짓습니다. 클라우드에서 작동하는 전략이 엣지(edge)에서는 그대로 적용되지 않습니다. 엔지니어들은 데이터 센터에 최적화된 모델을 가져와서 로컬 노트북이나 서버에서 효율적으로 작동할 것이라고 기대해서는 안 됩니다. 그들은 이러한 기기들이 계산 속도가 아닌, 데이터를 얼마나 빨리 이동시킬 수 있는지에 의해 제한된다는 점을 고려해야 합니다. 또한 모델을 압축하여 공간을 절약하는 것이 오히려 속도를 늦추고 더 많은 메모리를 요구하게 될 것임을 받아들여야 합니다. 개인정보 보호 문제나 열악한 인터넷 환경이 존재하는 곳에 이러한 시스템을 배치해야 하는 이들에게, 앞으로의 길은 가용 메모리에 맞는 적절한 모델 크기를 선택하고, 단일 로컬 컴퓨터는 한 번에 한 사람만을 서비스할 수 있다는 사실을 인정하는 데 있습니다. 엣지 인텔리티지의 시대는 도래했지만, 이는 이전의 데이터 센터와는 다른 규칙을 요구합니다.