🤖 machine learning

Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines

본 논문은 LLM 증류 과정에서 종종 간과되는 교사 측 작업 부하의 자원 비용을 드러내는 포괄적인 종단 간 에너지 회계 프레임워크를 제시하여, 에너지-품질 트레이드오프 곡선 생성과 효율적인 증류 방법 선택을 위한 실용적 지침 마련을 가능하게 합니다.

원저자: Katherine Lambert, Sasha Luccioni

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Katherine Lambert, Sasha Luccioni

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 아이디어: AI 교육의 '숨겨진 비용'

젊은 견습생 (작고 효율적인 AI 모델) 을 마스터 셰프처럼 가르치고 싶다고 상상해 보세요. 두 가지 선택지가 있습니다:

직접 훈련: 견습생이 실제 요리를 맛보고 스스로 연습하며 배웁니다.
증류 (가르치기): 유명 마스터 셰프 (거대하고 비싼 AI) 를 고용해 먼저 요리를 맛보고, 정확히 어떤 맛인지 상세한 메모를 작성한 뒤, 그 메모를 견습생에게 주어 공부하게 합니다.

수년 동안 기술계는 옵션 2가 항상 더 저렴하고 친환경적이라고 가정해 왔습니다. 논리는 다음과 같습니다: "견습생은 작아 전기를 적게 쓰죠. 마스터 셰프는 일회성 비용일 뿐입니다."

이 논문은 이렇게 말합니다: "잠깐만요. 마스터 셰프의 비용을 계산하는 것을 잊고 계십니다."

연구자들은 마스터 셰프가 음식을 맛보고, 메모를 작성하며, 작업을 점검하는 데 소비하는 막대한 전기를 포함한 모든 것을 계산했을 때, '가르치는' 방법이 종종 견습생이 스스로 배우게 하는 것보다 더 많은 에너지를 사용한다는 사실을 발견했습니다.

실험: 주방 전체를 측정하다

연구자들은 모든 단계에서 정확히 얼마나 전기가 사용되었는지 측정할 수 있는 '스마트 주방'을 구축했습니다. 그들은 견습생만 보지 않고 마스터 셰프, 메모 작성, 테스트, 그리고 최종 요리에 이르기까지 모든 과정을 추적했습니다.

그들은 다양한 크기의 AI '셰프' (10 억 개 파라미터 모델부터 130 억 개 모델까지) 를 사용하여 세 가지 방법을 비교했습니다:

기준선 (직접 훈련): 학생이 원시 데이터에서 직접 배웁니다.
로짓 증류 (Logit Distillation): 교사가 학생이 복사할 복잡한 수학적 '맛 프로필 (로짓)'을 작성합니다.
합성 데이터: 교사가 완전한 '레시피 (답변)'를 작성하고, 학생이 이를 암기하며 배웁니다.

그들이 발견한 것

1. '교사'는 무거운 짐을 나릅니다

'가르치는' 방법에서 마스터 셰프는 학생이 시작하기 전에 엄청난 양의 작업을 해야 합니다.

비유: 한 채의 집을 짓기 위해 유명 건축가를 고용해 설계도를 그리는 것과 같습니다. 만약 한 채의 집만 지을 경우, 건축가의 시간 비용으로 인해 프로젝트 비용이 엄청나게 비싸집니다.
발견: 연구자들이 '교사'가 데이터를 생성하거나 메모를 캐싱하는 데 사용한 에너지를 계산했을 때, 가르치는 방법의 총 에너지 비용은 학생을 직접 훈련시키는 것보다 종종 2.4 배 더 높았습니다.

2. 크기가 중요합니다 ('상각' 규칙)

이 논문은 가르치는 것이 실제로 에너지를 절약하는 시점에 대한 구체적인 규칙을 발견했습니다: 재사용.

비유: 유명 건축가가 한 채의 집을 위한 설계도를 그리는 것은 낭비입니다. 하지만 그 동일한 설계도가 100 채의 동일한 집을 짓는 데 사용된다면, 집 한 채당 비용은 극적으로 떨어집니다.
발견: 증류는 교사의 작업을 재사용할 때만 에너지 효율이 좋아집니다.
- 한 번만 학생을 훈련시킨다면 에너지 낭비입니다.
- 같은 교사 메모를 5~10 명의 다른 학생을 훈련시키거나, 같은 학생을 여러 다른 테스트에 통과시키는 데 사용한다면, 에너지 비용이 '평균화'되어 가르치는 것이 더 저렴한 옵션이 됩니다.

3. 더 큰 학생이 항상 더 좋은 결과를 의미하는 것은 아닙니다

보통 우리는 더 큰 모델이 더 좋다고 생각합니다. 하지만 연구자들은 학생 모델을 더 크게 만드는 것 (예: 70 억에서 130 억 파라미터로 증가) 은 많은 추가 에너지를 소모하지만 '품질' (얼마나 똑똑한지) 에는 미미한 향상만 준다는 사실을 발견했습니다.

비유: 장보러 가기 위해 거대한 럭셔리 스포츠카를 사는 것입니다. 연료 비용은 천문학적이지만, 작은 세단으로 가는 것보다 2 분 정도 일찍 가게 도착할 뿐입니다.
발견: 많은 작업에서 직접 훈련된 중형 크기의 학생이 가장 에너지 효율적인 '최적점'인 경우가 많습니다.

4. 모든 '가르치기'가 동등하게 만들어진 것은 아닙니다

연구자들은 두 가지 유형의 가르치기를 테스트했습니다:

로짓 증류: 교사가 복잡한 수학 메모를 제공합니다.
합성 데이터: 교사가 완전한 답변을 작성합니다.
발견: 두 방법 모두 '교사 세금'을 겪습니다. 그러나 교사가 많은 양의 텍스트를 생성해야 하는 '합성 데이터' 방법이 특히 에너지를 많이 소비합니다.

에너지를 절약하기 위한 '황금 규칙'

측정 결과에 따라 저자는 AI 를 구축하는 모든 사람을 위한 세 가지 간단한 규칙을 제시합니다:

가르치는 것이 무료라고 가정하지 마세요: 모델을 하나만 훈련시킨다면, 그냥 직접 학습하게 하세요 (기준선 SFT). 이것이 보통 더 저렴하고 친환경적입니다.
재사용, 재사용, 재사용: 반드시 교사를 사용해야 한다면, 그 교사의 작업을 많은 다른 학생이나 다양한 실험에 사용하도록 하세요. 교사의 메모를 한 번 사용한 후 버린다면, 당신은 전기를 낭비하고 있는 것입니다.
전체 파이프라인을 확인하세요: 학생이 사용하는 에너지만 보면 안 됩니다. 교사, 데이터 생성, 테스트에 사용된 에너지를 모두 합쳐야 실제 모습을 파악할 수 있습니다.

요약

이 논문은 증류가 자동으로 '그린 AI'는 아니다라고 주장합니다. 교사의 작업을 재사용 가능한 자원으로만 간주할 때만 친환경적입니다. 교사를 일회성 비용으로 간주한다면, 필요한 것보다 더 많은 전기를 태우고 있을 가능성이 높습니다.

저자들은 다른 연구자들이 자신의 에너지 비용을 정확하게 측정할 수 있도록 '측정자 (오픈소스 도구)'를 공개했습니다. 이를 통해 미래에는 단순히 서류상 효율적인 것이 아니라, 실제로 효율적인 AI 를 구축할 수 있도록 보장할 것입니다.

기술 요약: 자원 효율적 LLM 을 위한 방향: 증류 파이프라인의 종단간 에너지 회계

문제 제기

대규모 언어 모델 (LLM) 의 급속한 배포는 전력 소비, 데이터센터 확장, 환경적 영향에 대한 우려를 심화시켰습니다. 모델 증류는 종종 더 효율적이고 저렴한 모델로 가는 길로 홍보되지만, 현재의 지속 가능성 주장은 불완전한 회계에 의존하는 경우가 많습니다. 구체적으로, 이전 연구들은 일반적으로 증류에 필요한 상당한 '교사 측' 작업 부하 (예: 합성 데이터 생성, 로짓 캐싱, 필터링, 평가) 를 생략한 채 학생 측 훈련 비용 (예: FLOPs, 실행 시간) 만 보고합니다. 이러한 누락으로 인해 증류가 표준 감독 미세 조정 (SFT) 보다 본질적으로 에너지 효율적이거나 '더 친환경적'이라는 주장을 입증하기 어렵습니다.

방법론

저자들은 증류 파이프라인의 전체 계산 비용을 측정하도록 설계된 포괄적인 종단간 에너지 회계 프레임워크를 제안합니다.

실험 설정:

하드웨어/환경: 일관된 조건을 보장하기 위해 실험은 단일 NVIDIA H100 SXM 80 GB GPU 와 16 개의 Intel Xeon Gold CPU 코어에서 수행되었습니다. 소프트웨어 스택 (Linux, 드라이버, CUDA) 은 모든 실행에서 고정되었습니다.
모델: 이 연구는 32B 파라미터 교사 모델과 1B, 7B, 13B 파라미터 학생 모델로 구성된 OLMo-2 계열을 활용합니다.
작업: 지시 따르기 (TULU-3), 수학 추론 (OpenR1-Math-220k), 코드 생성 (Open-R1 Codeforces) 의 세 가지 감독 작업 부하가 사용되었습니다.
증류 체제: 고정된 훈련 예산과 하이퍼파라미터 하에서 세 가지 파이프라인을 비교했습니다:
1. 베이스라인 SFT: 원본 데이터셋 레이블을 통한 직접 훈련.
2. 로짓 기반 지식 증류 (KD): 교사가 로짓을 생성 (오프라인 캐싱) 하고, 학생이 교사의 부드럽게 된 분포에 맞추도록 훈련됩니다.
3. 합성 감독 미세 조정 (Synthetic SFT): 교사가 합성 출력을 생성하며, 이는 학생 훈련을 위한 하드 레이블로 사용됩니다.

측정 프로토콜:

단계별 추적: 파이프라인은 환경 안정화 ( $E_{prerun}$ ), 교사 측 계산 ( $E_{teacher}$ : 로짓 캐싱 또는 데이터 생성), 학생 훈련 ( $E_{student}$ ), 평가 ( $E_{eval}$ ) 로 구성된 명확한 단계로 분해됩니다.
지표: GPU 에너지는 NVML 원격 측정 (ground truth 로 간주) 을 통해 직접 측정됩니다. CPU 에너지와 CO2e 는 표준 도구 (예: CodeCarbon 스타일 추정기) 를 사용하여 추정됩니다. 결과는 토큰당 줄 (J/token) 과 총 kWh 로 정규화됩니다.
품질 지표: 교사의 성능에 상대적인 다섯 가지 벤치마크 (AlpacaEval 2, IFEval, MT-Bench-101, GSM8K, MMLU) 의 정규화된 점수를 평균화하여 스칼라 품질 점수 ( $Q$ ) 를 도출합니다.

주요 기여

증류 에너지 프로토콜 및 하네스: 저자들은 단계별 로깅 프로토콜을 공식화하고 오픈 소스 측정 하네스를 공개했습니다. 이를 통해 교사 측 비용을 학생 훈련 비용과 명시적으로 분리한 비교 가능한 에너지 차트를 생성할 수 있습니다.
파레토 프론티어가 포함된 통제된 벤치마크: 이 연구는 세 가지 파이프라인 전반에 걸쳐 1B/7B/13B 학생 모델을 32B 교사 모델과 비교하여 벤치마크했습니다. 이는 증류가 효율적이거나 그렇지 않은 체제를 드러내는 에너지–품질 파레토 프론티어를 구축합니다.
설계 규칙 및 손익분기점 조건: 이 논문은 교사 재사용, 시퀀스 길이, 하이퍼파라미터 (예: KD 온도, 손실 가중치) 와 같은 요인이 에너지–품질 프론티어를 어떻게 이동시키는지 정량화합니다. 또한 증류가 에너지 경쟁력을 갖게 되는 구체적인 조건을 도출합니다.

주요 결과

교사 오버헤드의 지배: 전체 파이프라인을 고려할 때, 동등한 품질 향상을 위해 KD 와 Synthetic SFT 모두 베이스라인 SFT 보다 종단간 에너지를 훨씬 더 많이 소비합니다. 교사 측 작업 (로짓 캐싱 또는 데이터 생성) 은 에너지–품질 프론티어에서 증류 곡선을 오른쪽으로 이동시키는 거의 고정된 오버헤드로 작용합니다.
규모와 효율성: 더 큰 학생 모델 (예: 13B) 은 더 높은 품질을 달성하지만 에너지 측면에서는 체감 수익을 보입니다. 더 작은 모델 (예: 1B) 은 에너지를 최소화하지만 종종 더 큰 베이스라인 SFT 모델의 품질을 따라가지 못합니다.
재사용의 역할: 증류는 '일회성' 시나리오에서는 본질적으로 저렴하지 않습니다. 그러나 고정된 교사 비용은 분산될 수 있습니다. 저자들은 증류가 베이스라인 SFT 보다 에너지 효율적이 되기 전에 교사 아티팩트 (캐시된 로짓 또는 합성 데이터) 를 재사용하기 위해 필요한 학생 실행 횟수에 대한 손익분기점 임계값 ( $N^*$ ) 을 도출합니다. 예를 들어, 7B 학생은 KD 와 손익분기점에 도달하기 위해 약 5~~6 번의 재사용实例가 필요한 반면, 13B 학생은 2~~3 번만 필요합니다.
하이퍼파라미터 민감도:
- KD 에서 온도를 ( $T$ ) 높이면 에너지가 약간 증가하는 데 비해 품질 향상이 modest 합니다. 혼합 가중치 ( $\alpha$ ) 가 트레이드오프를 위한 더 중요한 제어 요소입니다.
- Synthetic SFT 에서 생성 예산 (최대 새 토큰 수) 이 주요 에너지 동인입니다. 토큰 길이를 늘리면 품질이 향상되지만 체감 수익을 보이는 비선형적인 에너지 성장을 보입니다.

중요성과 주장

이 논문은 종단간 렌즈를 통해 볼 때 증류가 본질적으로 지속 가능하지 않다고 주장합니다. 증류를 '더 저렴한' 방법으로 인식하는 일반적인 관점은 상류 교사 비용을 무시하는 데서 비롯되는 경우가 많습니다.

저자들은 다음과 같이 주장합니다:

워크플로우 의존성: 증류가 비용 효율적인지는 알고리즘의 고유한 속성이라기보다 주로 워크플로우 문제 (특히 교사 아티팩트 재사용 능력) 입니다.
투명성: 현재의 보고 관행은 AI 개발의 진정한 환경 비용을 가립니다. 단계별 회계를 채택함으로써 실무자는 증류와 베이스라인 SFT 중 언제 사용할지 정보에 입각한 결정을 내릴 수 있습니다.
실무 지침: 이 논문은 구체적인 설계 규칙을 제공합니다:
- 명시적인 재사용 가정을 포함하여 학생 전용 및 전체 파이프라인 에너지를 모두 보고합니다.
- 비용을 분산시키기 위해 교사 아티팩트를 공유 인프라 (캐시되고 버전 관리됨) 로 간주합니다.
- 재사용이 낮을 때는 베이스라인 SFT 를 사용하세요. 교사 아티팩트를 여러 학생이나 하이퍼파라미터 탐색 전반에 걸쳐 재사용할 수 있을 때만 증류를 선호하세요.

저자들은 정량적 임계값이 하드웨어에 특정적이며, 분석이 하드웨어 제조에서 발생하는 내재적 배출을 제외하고 운영 에너지를 중심으로 이루어졌음을 명시적으로 언급합니다. 그들은 이 작업을 학술 및 산업 환경 모두에서 컴퓨팅 및 에너지에 대한 더 정직한 보고를 위한 기초로 위치시킵니다.