A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

급변하는 인공지능의 세계에서, 인간의 언어를 놀라울 정도로 유창하게 이해하고 생성할 수 있는 새로운 세대의 컴퓨터 프로그램이 등장했습니다. 흔히 파운데이션 모델이라 불리는 이 시스템들은 방대한 양의 텍스트를 신경망이라고 알려진 복잡한 수학적 구조에 입력함으로써 구축됩니다. 이 분야의 지배적인 아이디어는 규모가 클수록 더 좋다는 것이었습니다. 모델이 더 많은 데이터를 접하고 내부 구조가 더 커질수록, 모델은 더 똑똑해진다는 논리였습니다. 이러한 규모를 향한 추동력은 수십억 개의 파라미터를 가진 모델들을 탄생시켰으며, 이 모델들은 자신이 소비한 텍스트 속의 패턴을 인식하는 것만으로도 특정 훈련 없이 과업을 수행할 수 있게 되었습니다. 그러나 이러한 크기를 향한 경주는 숨겨진 비용을 동반합니다. 이러한 모델을 훈련하는 데 필요한 막대한 컴퓨팅 파워는 엄청난 양의 전력을 소비하며, 그 에너지 사용이 환경에 미치는 영향은 중대한 관심사가 되었습니다. 세계가 기후 변화와 씨름하고 있는 상황에서, 이 디지털 거인들의 진정한 탄소 발자국을 이해하는 것은 더 이상 단순한 기술적 세부 사항이 아니라, 사회에 대한 이들의 가치를 평가하기 위한 필수적인 부분이 되었습니다.

아부다비의 테크놀로지 이노베이션 인스티튜트(Technology Innovation Institute)와 파리의 라이트온(LightOn) 연구진은 통상적인 수치 너머를 살펴보기로 했습니다. 그들은 단순히 단일 모델을 훈련하는 데 사용된 전력만을 계산하는 대신, '누르(Noor)'라고 불리는 프로젝트에 대해 완전한 엔드 투 엔드(end-to-end) 회계를 실시했습니다. 이 프로젝트는 15억 개에서 130억 개의 파라미터 규모를 가진, 아랍어를 위해 제작된 역대 최대 규모의 언어 모델을 구축하는 것을 목표로 했습니다. 연구진은 데이터 수집의 첫 단계부터 미래에 사람들이 이 모델들을 사용할 때까지, 이 모델들을 존재하게 만드는 데 드는 전체적인 환경적 대가를 알고 싶었습니다. 그들은 대규모 데이터셋의 저장, 설계를 올바르게 하기 위해 필요한 예비 실험, 주요 훈련 과정, 심지어 국제적인 팀이 협업하기 위해 필요한 이동을 포함하여 모든 에너지 소비원을 추적했습니다. 그들의 목표는 이처럼 야심 찬 사업에서 발생하는 탄소 배출량의 전체 그림을 그려내는 것이었습니다.

여정은 데이터로부터 시작되었습니다. 모델에게 아랍어를 가르치기 위해, 팀은 1,500억 단어를 포함하는 맞춤형 텍스트 컬렉션을 구성해야 했습니다. 여기에는 방대한 양의 웹 데이터를 다운로드하고, 저품질 콘텐츠를 걸러내며, 컴퓨터가 읽을 수 있도록 정리하는 과정이 포함되었습니다. 이 테라바이트 단위의 정보를 저장하고 이동시키는 데는 실제 훈련이 시작되기도 전부터 상당한 에야가 필요했습니다. 연구진은 이 데이터를 저장하고 전송하는 데 사용된 에너지와 이를 정제하고 준비하는 예비 작업이 프로젝트 전체 에너지 사용량의 상당 부분을 차지한다고 계산했습니다. 그들은 데이터를 준비하는 노력이 사소한 부수적 작업이 아니라 전체 환경 비용의 주요 기여자라는 사실을 발견했습니다.

데이터가 준비되자 팀은 컴퓨터가 문장에서 다음 단어를 예측하는 법을 배우는 훈련 단계로 넘어갔습니다. 이것은 과정 중 가장 에너지가 많이 소비되는 부분입니다. 팀은 강력한 슈퍼컴퓨터를 사용하여 규모가 점진적으로 커지는 네 가지 서로 다른 모델을 훈련했습니다. 그들은 이 훈련으로부터 발생하는 탄소 배출량이 컴퓨터가 위치한 장소에 크게 좌우된다는 것을 발견했습니다. 매우 깨끗한 전기로 운영되는 룩셈부르크의 데이터 센터를 사용했을 때는 배출량이 놀라울 정도로 낮았습니다. 그러나 자체 고성능 컴퓨팅 클러스터를 아랍에미리트에서 사용했을 때는 현지 전력 믹스에 탄소 집약적인 에너지원이 더 많이 포함되어 있었기 때문에 배출량이 훨씬 높았습니다. 이 연구는 컴퓨팅 작업이 수행되는 위치가 수행되는 작업의 양만큼이나 중요하다는 것을 보여주었습니다. 결과적으로 네 가지 모델의 훈련이 가장 많은 에너지를 소비했지만, 그것이 유일한 요인은 아니었습니다.

연구진은 또한 프로젝트의 인간적 요소도 살펴보았습니다. 팀은 프랑스와 아랍에미리트에 있는 과학자들로 구성되었으며, 워크숍과 브레인스토밍 세션을 열기 위해 두 나라 사이를 여행해야 했습니다. 그들은 이러한 비행으로부터 발생하는 탄소 배출량을 계산했으며, 그것이 전체 발자국의 상당 부분을 차지한다는 것을 발견했습니다. 실제로 여행만으로 프로젝트 전체 탄소 배출량의 거의 5분의 1을 차지했습니다. 이 발견은 오직 컴퓨터 시간만이 중요하다는 일반적인 가설에 도전했습니다. 연구는 데이터 센터가 점점 더 효율적으로 변하고 전기가 더 깨끗해짐에 따라, 인간의 여행과 기타 간접 비용이 프로젝트의 환경적 영향에서 지배적인 부분이 될 수 있음을 강조했습니다.

앞으로를 내다보며, 팀은 이 모델들이 실제로 사람들에 의해 사용될 때 어떤 일이 일어날지도 추정했습니다. 그들은 사용자의 프롬프트에 응답하여 텍스트를 생성하는 데 필요한 에너지를 계산했습니다. 그들은 만약 이 모델들이 널리 사용된다면, 일상적인 사용 중에 소비되는 에너지가 처음에 모델을 훈련하는 데 사용된 에너지를 결국 넘어설 수 있다는 것을 발견했습니다. 이는 훈련은 한 번 일어나지만, 사용은 수백만 번 일어날 수 있기 때문에 매우 중요한 통찰입니다. 연구진은 모델이 깨끗한 에너지로 구동되는 컴퓨터에서 실행된다면 영향이 낮겠지만, 화석 연료로 구동되는 그리드에서 실행된다면 환경적 비용이 매우 높을 수 있다고 언급했습니다.

누르 프로젝트의 최종 합계는 이산화탄소 환산 36.5톤이었습니다. 이를 이해하기 위해 설명하자면, 미국인 한 명은 연간 약 20톤의 탄소 배출을 발생시키는데, 이는 이 전체 연구 프로젝트가 한 사람의 2년이 조금 넘는 배출량과 맞먹는다는 것을 의미합니다. 이것이 산업적 오염에 비하면 작아 보일 수 있지만, 단일 연구 노력으로서 이는 상당한 수치입니다. 연구는 이 발자국의 가장 큰 동인이 훈련에 사용된 전력의 탄소 집약도였다고 결론지었습니다. 더 깨끗한 에너지를 사용하는 위치에서 계산을 수행함으로써, 팀은 전체 발자국을 절반 이상 줄일 수 있었을 것이라고 추정했습니다.

이 논문은 우리가 대규모 언어 모델 구축을 중단해야 한다고 제안하는 것이 아니라, 우리가 그것을 어떻게 구축할지에 대해 더 사려 깊어야 한다고 주장합니다. 연구진은 향ual 프로젝트가 훈련 시간뿐만 아니라 모든 배출원을 체계적으로 추적해야 한다고 권고합니다. 그들은 깨끗한 에너지를 사용하는 데이터 센터를 선택하고, 불필요한 여행을 최소화하며, 더 효율적인 컴퓨터 하드웨어를 사용하는 것이 환경적 비용을 획기적으로 낮출 수 있다고 제안합니다. 또한 기술이 발전하고 훈련 과정이 더 효율적이 됨에 따라, 초점은 여행 및 모델의 장기적 사용과 같은 다른 비용으로 옮겨가야 한다고 강조합니다. 총체적인 관점을 취함으로써, 과학계는 지구에 미치는 영향을 주의 깊게 살피면서도 인공지능을 계속 발전시켜 나갈 수 있습니다.