Wasted large language models: A life cycle thinking approach
이 논문은 거대언어모델(LLM)의 증가하는 환경적 영향을 완화하기 위한 전 생애 주기적 사고 접근법으로서 EU의 폐기물 위계 체계를 적용할 것을 제안하며, 불필요한 사용과 새로운 모델 학습을 방지하는 것이 탄소 발자국을 줄이는 데 가장 효과적인 전략임을 강조한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
우리는 기계가 놀라운 속도로 시를 쓰고, 복잡한 방정식을 풀며, 컴퓨터 코드를 생성할 수 있는 시대에 살고 있습니다. 이러한 기계들은 방대한 양의 정보를 처리함으로써 학습하는 인공지능의 일종인 거대 언어 모델에 의해 구동됩니다. 이러한 도구들이 우리가 일하는 방식을 혁신할 것이라는 약속을 하고 있지만, 그 뒤에는 무거운 대가가 따릅니다. 즉, 이 모델들은 훈련하고 실행하는 데 엄청난 양의 전기를 소비하며 지구에 상당한 탄소 발자국을 남깁니다. 수년 동안 과학자들은 이러한 모델의 에너지 효율성을 높여 환경적 영향을 줄이고자 노력해 왔습니다. 그러나 '제번스의 역설(Jevons paradox)'로 알려진 현상은 종종 이러한 노력을 무력화합니다. 모델이 더 효율적이고 저렴하게 운영될수록, 우리는 이를 덜 사용하는 것이 아니라 오히려 더 많이 사용하게 되어 결과적으로 총 에너지 소비량이 증가하게 됩니다. 이는 단순한 효율성을 넘어, 기술의 생성부터 최종 폐기에 이르기까지 전체 생애 주기를 고려하는 색다른 종류의 해결책이 절실히 필요함을 시사합니다.
노르웨이의 SINTEF Digital 연구진은 보통 물리적인 쓰레기에 적용되는 개념인 '폐기물 계층 구조(waste hierarchy)'를 적용함으로써 이 문제에 대한 새로운 사고방식을 제안했습니다. 유럽 연합의 물리적 폐기물 관련 법규는 다섯 단계, 즉 폐기물 발생 자체를 예방하기, 물건 재사용하기, 새로운 재료로 재활용하기, 에너지 회수하기, 그리고 마지막으로 책임 있게 폐기하기를 우선시합니다. 연구진은 거대 언파 모델을 단순한 소프트웨어가 아니라 '쓰레기'가 될 수 있는 하나의 제품으로 간로 보아야 한다고 제안합니다. 플라스틱 병이 더 이상 유용하지 않을 때 버려질 수 있는 것처럼, 언어 모델도 새로운 버전으로 교체되거나 단순히 방치될 때 쓰레기가 될 수 있습니다. 저자들은 이러한 디지털 도구를 생애 주기를 가진 제품으로 취급함으로써, 단순히 더 빠르고 작게 만드는 것을 넘어 환경적 영향을 줄일 수 있는 새로운 방법을 찾을 수 있다고 주장합니다.
연구진의 논지의 핵심은 인공지능의 기후 영향을 낮추는 가장 효과적인 방법이 새로운 모델의 불필요한 생성을 피함으로써 폐기물을 예방하는 것이라는 점입니다. 새로운 모델을 훈련할 때는 데이터 처리, 실험, 그리고 실제 학습 과정에 막대한 에너지가 필요합니다. 만약 기존 모델의 수명을 연장하거나 이를 다양한 작업에 재사용할 수 있는 방법을 찾는다면, 처음부터 다시 구축하기 위해 에너지를 태울 필요를 피할 수 있습니다. 논문은 물리적 대상과 달리 소프트웨어는 고장 나거나 마모되지 않으므로, 모델이 쓰레기가 되는 주요 원인은 더 새롭고 빠른 버전에 의해 대체되기 때문이라고 강조합니다. 이러한 급격한 교체 주기는 실험실들이 끊임없이 업데이트된 모델을 출시하여 이전 모델을 완전히 활용하기도 전에 구식으로 만드는 경쟁적인 시장에 의해 주도됩니다. 연구진은 우리의 초점을 절대적인 최고 성능을 쫓는 것에서 '충분히 좋은(good enough)' 수준을 찾는 것으로 전환한다면, 이러한 교체 주기를 크게 늦추고 훈련에 소모되는 에너지를 줄일 수 있을 것이라고 제안합니다.
발생하는 폐기물을 관리하기 위해, 저자들은 폐기물 계층 구조의 다른 단계들이 디지털 모델에 어떻게 적용될 수 있는지 탐구합니다. '재사용'은 가장 직접적인 접근 방식입니다. 디지털 모델은 비용 없이 복제될 수 있으므로, 폐기되기 전 다양한 응용 분야에서 최대한 활용해야 합니다. 논문은 기존 모델에 특정 작업에 특화될 수 있도록 적은 양의 새로운 훈련을 추가하는 '미세 조정(fine-tuning)' 기법을 재활용의 한 형태로 지목합니다. 이는 에너지 집약적인 원래의 모델을 버리는 대신 적응시키는 것을 가능하게 합니다. 마찬가지로 '회수'는 모델을 더 오래 유용하게 만드는 방법을 포함하는데, 예를 들어 모델을 외부 데이터베이스와 연결하여 처음부터 다시 훈련하지 않고도 정확도를 높이는 방식이 있습니다. 마지막 단계인 '폐기' 역시 여기에서 역할을 합니다. 디지털 파일을 삭제하는 것이 물리적인 잔해를 남기지는 않지만, 사용되지 않는 모델을 저장하는 서버는 여전히 전기를 소비합니다. 따라서 더 이상 필요하지 않은 모델을 적극적으로 삭제하는 것은 에너지를 절약하고 그것을 만드는 데 들어간 자원을 존중하는 실질적인 방법입니다.
또한 연구진은 디지털 편의성이 조장하는 '일회용 문화(throwaway mentality)'에 대해 경고합니다. 모델을 삭제하는 것이 비용이 들지 않는다고 느끼기 때문에, 개발자와 사용자들은 그 생성에 투입된 엄청난 에너지와 시간을 간과하곤 합니다. 논문은 현재 우리가 이러한 도구와 상호작용하는 방식에 격차가 있다고 지적합니다. 인터페이스는 종로 계속 사용하도록 권장할 뿐, 사용자에게 환경적 비용을 이해시키거나 더 효율적인 대안으로 안내하는 데 도움을 주지 않습니다. 저자들은 거대 언어 모델이 실제로 필요한 시점과 더 단순하고 에너지 소비가 적은 도구로 충분한 시점을 구분하여 더 의식적으로 행동해야 한다고 주장합니다. 그들은 기술이 강력하지만, 그 가치는 비용과 비교하여 측정되어야 하며, 끊임한 모델 업데이트의 흐름을 맹목적으로 따르는 것이 순이익이 거의 없는 제품에 자원을 낭비하게 만들 수 있다고 주장합니다.
궁극적으로, 이 연구는 인공지능의 기후 위기를 해결했다고 주장하거나 새로운 모델 개발을 완전히 중단해야 한다고 제안하는 것이 아닙니다. 대신, 이 도구들의 생애 주기를 더 신중하게 생각할 수 있는 프레임워크를 제공합니다. 거대 언어 모델을 쓰레기가 될 수 있는 제품으로 봄으로써, 우리는 불필요한 훈련을 예방하고, 기존 모델의 유효 수명을 연장하며, 사용되지 않는 모델을 책임 있게 폐기할 수 있는 기회를 식별할 수 있습니다. 저자들은 이러한 관점의 전환이 인공지능의 지속 가능한 미래를 향해 나아가는 데 필수적이며, 새로운 것을 만들기 위해 서두르기 전에 우리가 이미 소비한 자원을 가치 있게 여길 것을 촉구하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.