기술적 요약: 사고의 숨겨진 비용

문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 환경 보고는 단일 최종 모델의 사전 학습 (pretraining) 에 소요되는 에너지 및 탄소 비용에 지나치게 초점을 맞추고 있습니다. 이러한 접근 방식은 현대 개발 수명주기의 대부분을 보이지 않게 만듭니다. 모델 파이프라인이 중간 학습 (mid-training), 장문맥 확장, 합성 데이터 생성, 지도 미세 조정 (SFT), 선호도 최적화 (DPO), 그리고 강화 학습 (RL) 을 포함하도록 진화함에 따라 환경 발자국은 크게 확대되었습니다. furthermore, 검증 가능한 보상 강화 학습 (RLVR) 에 크게 의존하는 '사고 (reasoning)' 모델의 등장으로, 표준적인 사전 학습 중심 보고서에는 포착되지 않는 컴퓨팅 집약적 워크로드 (특히 롤아웃 생성) 가 도입되었습니다. 또한, 이전 연구들은 개발 비용 (실험, 실패한 실행, 제거 실험) 이 상당하다고 시사해 왔으나, 복잡하고 다단계인 파이프라인에서 이러한 비용의 규모는 여전히 정량화되지 않았습니다.

방법론

저자들은 명령 수행 ("Instruct") 과 사고 ("Think") 변형 버전으로 모두 출시된 Olmo 3 모델 계열 (7B 및 32B 파라미터) 에 대한 상세한 환경 회계를 제공합니다.

• 범위: 이 연구는 데이터 생성, 사전 학습, 중간 학습, 장문맥 확장, 그리고 모든 사후 학습 단계 (SFT, DPO, RLVR) 를 포함한 전체 개발 파이프라인을 다룹니다. 여기에는 최종 학습 실행과 이를 선행하는 개발 반복 작업 (하이퍼파라미터 탐색, 제거 실험, 실패한 실행) 이 모두 포함됩니다.
• 하드웨어 및 인프라: 학습은 텍사스 주 Cirrascale 의 Jupiter 클러스터에서 NVIDIA H100-80GB GPU 를 사용하여 수행되었습니다. 데이터 생성은 AMD MI250X GPU 가 탑재된 Frontier 슈퍼컴퓨터를 활용했습니다.
• 에너지 및 배출량 계산:
  • 전력: 총 데이터센터 전력 ($P_{DC}$) 은 $P_{GPU} \times 1.74 \times PUE$로 계산됩니다. 1.74 계수는 GPU 가 아닌 서버 및 IT 인프라 오버헤드를 반영하며 (Epoch AI, 2025 기반), GPU 전력에 PUE 를 단순히 곱하기만 했던 기존 방법보다 개선된 것입니다.
  • 탄소: 배출량은 $CO_2e = P_{DC} \times CI$로 계산되며, 여기서 탄소 강도 (CI) 는 0.332 kg CO2/kWh 입니다.
  • 수자원: 소비량은 $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$로 계산됩니다. 해당 데이터센터는 폐쇄 순환 냉각을 사용하므로 ($WUE_{onsite} = 0$), 모든 수자원 소비는 전력 생산 ($WUE_{offsite} = 1.29$ L/kWh) 에 기인합니다.
  • 내재된 배출량: 하드웨어 제조 영향은 4 년 수명 동안 상각됩니다.
• 비교: 이 연구는 공통 베이스 모델을 공유하지만 사후 학습 전략에서 분기하는 "Think"(사고) 및 "Instruct"(명령 수행) 변형 버전을 비교합니다.

주요 기여

1. 최초의 상세한 사후 학습 분해: 이 연구는 특정 사후 학습 단계 (SFT, DPO, RL) 와 합성 데이터 생성의 환경 비용을 측정하고 보고하는 첫 번째 작업으로, 단계 간 및 모델 변형 간 직접 비교를 가능하게 합니다.
2. "사고" 비용의 정량화: 저자들은 사고 모델이 RLVR 롤아웃 생성에 의해 주도되어 명령 수행 튜닝 모델보다 사후 학습 비용이 훨씬 더 많이 든다는 것을 입증합니다.
3. 수정된 개발 비용 추정: 이 연구는 개발 비용 (실험 및 실패한 실행) 의 추정치를 기존에 보고된 총 컴퓨팅의 약 50% 에서 **82.2%**로 수정하여, 최종 실행만 보고하는 것이 실제 영향을 약 5 배 과소평가하고 있음을 강조합니다.
4. 수자원 귀속 분석: 이 논문은 특정 설정에서 수자원 소비가 데이터센터 냉각이 아닌 전력 생산 인프라에 의해 전적으로 주도된다는 것을 명확히 하여, AI 워크로드 냉각에 주로 수자원 사용이 귀속된다는 일반적인 서사를 도전합니다.

결과

총 환경 영향

Olmo 3 시리즈의 개발 (최종 실행, 개발 반복 작업, 데이터 생성 포함) 은 다음과 같은 결과를 낳았습니다:

• 에너지: 약 12.3 GWh 의 데이터센터 에너지.
• 탄소: 약 4,251 tCO2eq (약 847 개의 미국 가정의 1 년치 전력 사용량에 해당).
• 수자원: 약 15,887 kL (평균 미국인의 140 년치 수자원 사용량에 해당).
• 컴퓨팅: 총 약 1,320 만 GPU 시간.

사고의 비용 (Think vs. Instruct)

• 에너지 격차: 32B "Think" 모델의 사후 학습 단계는 32B "Instruct" 모델보다 17 배 더 많은 데이터센터 에너지를 소비합니다.
• 주도 요인: 이 격차는 RLVR 롤아웃 생성에 의해 주도됩니다. 32B Think 모델에서 RLVR 롤아웃 생성은 사후 학습 에너지의 **87%**를 차지합니다.
• 메커니즘: RLVR 생성기 (자기회귀 추론) 는 GPU 당 약 600W 로 작동하는 반면, 학습기는 130–220W 로 작동합니다. 생성기는 대규모 추론과 기능적으로 동일하지만, 많은 반복을 거쳐 매우 긴 트레이스 (평균 10,000 토큰 이상, 최대 32,768) 를 생성해야 합니다.
• 토큰 양: 32B Think 모델용 RLVR 학습기는 약 187 억 토큰을 처리하는 반면, Instruct 변형 버전은 약 5.64 억 토큰을 처리합니다 (33 배 차이).

개발 비용

• 비율: 개발 활동 (하이퍼파라미터 탐색, 제거 실험, 실패한 실행) 은 데이터 생성을 제외한 총 GPU 시간의 **82.2%**와 총 GPU 에너지의 **80.9%**를 차지했습니다.
• 단계별 변동: 사후 학습 단계는 특히 반복 작업이 많습니다. 사후 학습 단계의 개발 비율은 91% 를 초과했습니다 (예: 중간 학습/데이터 혼합 97.5%, DPO 97.1%).
• 비교: 이는 사전 학습 중심 파이프라인에 대해 이전 연구 (Morrison et al., 2025) 에서 보고된 약 50% 의 개발 비율보다 상당한 증가입니다.

수자원 소비

• 원천: 수자원 소비의 100% 는 데이터센터가 폐쇄 순환 냉각을 사용했기 ($WUE_{onsite} = 0$) 에 전력 생산 ($WUE_{offsite}$) 에 기인했습니다.
• 함의: 이 설정에서 수자원 비용은 에너지 소비와 엄격하게 비례하므로, 냉각 인프라를 변경하는 것보다 에너지 사용량을 줄이는 것이 수자원 영향을 줄이는 주요 수단임을 시사합니다.

중요성 및 주장

이 논문은 사전 학습 비용만 보고하는 현재의 표준이 정확한 환경 회계를 위해서는 부족하다고 주장합니다. 파이프라인이 더 복잡해지고 사고 모델이 기본 패러다임이 됨에 따라, 사후 학습 및 개발의 "숨겨진 비용"은 급격히 증가하고 있습니다.

• 투명성: 저자들은 전체 개발 수명주기에 대한 정확하고 측정 기반의 회계가 정보에 입각한 규제 지침 수립과 연구 커뮤니티가 AI 의 환경 발자국을 줄이기 위한 효과적인 전략을 개발하는 데 필수적이라고 주장합니다.
• 실행 가능성: 이러한 상세한 보고가 비현실적이라는 주장과 달리, 저자들은 여러 단계와 변형에 걸쳐 비용을 분해하는 것이 실행 가능함을 입증합니다.
• 정책 권고: 논문은 네 가지 권고로 결론을 맺습니다:
  1. 사전 학습뿐만 아니라 사후 학습 및 데이터 생성을 포함한 전체 파이프라인 비용을 보고할 것.
  2. 개발 비용을 포함할 것 (최소한 승수로서).
  3. 데이터센터 효율성 지표 (PUE, WUE, 냉각 유형, 전력 믹스) 를 공개할 것.
  4. GPU 제조사는 제조 영향 (내재된 배출량) 을 공개할 것.

이 연구는 현대 AI 의 실제 환경 발자국을 이해하기 위한 기초적인 단계로 자신을 위치시키며, "사고의 비용"이 지속 가능성 표준에서 다루어져야 하는 급격히 증가하는 요인임을 강조합니다.