기술 요약: 소형 언어 모델(SLM)과 대규모 언어 모델(LLM) 간의 배출량 및 성능 트레이드오프

문제 정의

학계와 산업계에서 대규모 언어 모델(LLM)의 확산은 심각한 환경 위기를 초래했습니다. LLM은 고도의 능력을 제공하지만, 에너지 집약적인 학습부터 수십억 건의 일일 추론에 이르는 전체 생애 주기는 상당한 양의 이산화탄소(CO2) 배출을 발생시킵니다. 예를 들어, GPT-3의 학습만으로도 하드웨어 제조 및 추론 비용을 제외하고 약 550 메트릭 톤의 CO2가 배출되었습니다. 결정적으로, 최근의 추정치에 따르면 추론이 모델 전체 생애 주기 에너지 사용량의 최대 90%를 차지합니다. 그럼에도 불구하고, 규제 프레임워크와 산업 관행은 종종 학습 시 발생하는 배출량만을 우선시하거나 추론에 대한 표준화된 지표가 부족하여, 이러한 모델을 규모 있게 배포할 때 발생하는 진정한 환경적 비용에 대한 이해의 격차를 만들고 있습니다. 본 연구가 다루는 핵심 문제는 특정 작업에 대해 미세 조정된 소형 언어 모델(SLM)이 LLM의 지속 가능한 대안으로서, 획기적으로 줄어든 탄소 발자국과 함께 대등한 성능을 제공할 수 있는지 여부입니다.

방법론

본 연구는 자연어 처리(NLP), 추론, 프로그래밍의 세 가지 범주로 분류된 6가지 작업에 대해 미세 조정된 SLM을 오픈 소스 LLM과 비교 분석하였습니다.

• 모델 선택:
  • SLM: 각 작업에 대해 최대 250백만 개의 파라미터(예: ELECTRA, DistilBERT, FLAN-T5, CodeT5)로 제한된 세 가지 모델을 미세 조정하였습니다.
  • LLM: Qwen 3 (235B), Mistral Instruct (7B), DeepSeek R1 (671B)을 포함하여 10억 개 이상의 파라미터를 가진 오픈 소스 모델들을 벤치마킹 대상으로 삼았습니다.
• 작업:
  • NLP: 감성 분석(이진 분류) 및 콘텐츠 생성(단편 소설 쓰기).
  • 추론: 자연어 추론(NLI) 및 사고 사슬(CoT) 추론.
  • 프로그래밍: 코드 요약 및 코드 생성.
• 배출량 계산:
  • 본 연구는 CPU, GPU, RAM의 에너지 소비를 기반으로 탄소 배출량을 추적하기 위해 오픈 소스 eco2ai 라이브러리를 활용하였습니다.
  • 특정 벤치마크 LLM에 대한 공개적인 추론 데이터가 없었기 때문에, 저자들은 GPT-3의 알려진 배출률(쿼리당 4.32g CO2)로부터 스케일링하여 추정치를 도출하였습니다. 활성 파라미터($P_{active}$)와 작업당 토큰 수를 기반으로 선형 조정을 적용하였습니다.
  • 사용된 공식은 다음과 같습니다: $Carbon_{token} = K \times P_{active}$, 여기서 $K$는 GPT-3 데이터로부터 유도되었으며, $Carbon_{inference} = Carbon_{token} \times Tokens_{task}$입니다.

주요 결과

실증적 조사는 성능의 동등성에 대해서는 엇갈린 결과를 보여주었으나, 배출량 감소에 대해서는 일관된 결과를 나타냈습니다.

성능 동등성

미세 조정된 SLM은 6개 중 4개의 작업에서 LLM과 대등한 성능을 달了:

1. 감성 분석: SLM(예: DistilRoBERTa)은 96%의 정확도를 달성하여 Mistral-7B(68%)를 능가하였고, DeepSeek R1(84%)과 대등한 수준을 보였으며, SLM 간의 성능 차이는 미미했습니다.
2. 콘텐츠 생성: 미세 조정된 SLM(예: DistilGPT2)은 LLM과 유사한 BERT Score F1 및 Perplexity 지표를 유지했습니다.
3. 자연어 추론(NLI): SLM(FLAN-T5 Base, deBERTa v3)은 약 88%의 정확도를 달성하여, 테스트된 모든 LLM(최대 80%)을 유의미하게 앞질렀습니다.
4. 코드 요약: SLM(CodeParrot-Small, TinyCodeLM)은 BLEU 및 ROUGE-L 점수에서 Qwen3와 DeepSeek R1을 크게 능가했습니다.

성능 격차:
SLM은 두 가지 작업에서 LLM을 따라잡는 데 실패했습니다:

1. 사고 사슬(CoT) 추론: SLM은 복잡한 추론에 어려움을 겪었습니다(수정된 G-Eval 점수 19–47 vs LLM 54–64). 이는 고급 추론이 수십억 개의 파라미터를 가진 모델에서 발현된다는 기존 문헌을 뒷받침합니다.
2. 코드 생성: SLM은 LLM(DeepSeek R1 65.9%)에 비해 낮은 pass@1 점수(최대 12.8%)를 기록하였으며, 이는 복잡한 생성 작업에는 더 큰 모델 규모가 필요함을 나타냅니다.

배출량 감소

모든 작업에 걸쳐, 미세 조정된 SLM은 추론 배출량에서 수십 배에서 수만 배에 달하는 감소를 보여주었습니다:

• 감성 분석: LLM이 0.27 g – 1.37 g인 것에 비해, SLM은 쿼리당 0.0001 g ~ 0.0696 g의 CO2를 배출했습니다.
• 콘텐츠 생성: SLM은 쿼리당 0.0063 g – 0.0105 g의 CO2를 배출한 반면, LLM은 1.44 g – 7.31 g을 배출했습니다.
• NLI: SLM은 쿼리당 약 0.0015 g의 CO2를 배출한 반면, LLM은 0.36 g – 1.83 g을 배출했습니다.
• 코드 요약: SLM은 0.0055 g – 0.0973 g의 CO2를 배출한 반데, LLM은 0.72 g – 3.66 g을 배출했습니다.

본 연구는 성공적인 4가지 작업에 대해, 쿼리당 배출량이 660배에서 13,000배까지 감소했다고 언급합니다.

의의 및 주장

본 논문은 이러한 발견을 "LLM 에너지 딜레마"의 해결책으로 제시하며, 모델 크기와 환경적 영향 사이의 트레이드오프가 항상 선형적인 것은 아니라고 주장합니다.

• SLM의 생존 가능성: 본 연구는 특정 목적이 명확한 작업(NLP 분류, 요약 및 기초 콘텐츠 생성)의 경우, 미세 조정된 SLM(≤250M 파라미터)이 거대한 LLM의 지속 가능한 대안이 될 수 있다고 주장합니다.
• 경제적 및 환경적 시너지: 환경적 이점 외에도, 저자들은 적절한 작업에 SLM을 전환함으로써 총 소유 비용(TCO)을 줄일 수 있다고 주장합니다. 더 저렴한 하드웨어를 요구하고(자본 지출 감소), 지속적인 추론 동안 전력 소비를 줄임으로써(운영 비용 감소), 조직은 탄소 감축과 함께 재정적 절감을 달성할 수 있습니다.
• 정책 권고: 본 논문은 규제 변화를 옹호하며, 특히 AI 제공업체가 개발 단계뿐만 아니라 모든 AI 시스템에 대해 추론 에너지 비용을 공개하고 지속 가능성 영향 평가를 실시하도록 의무화할 것을 권고합니다.
• 제한적 범위: 저자들은 SLM이 아직 복잡한 추론이나 코드 생성을 대체할 수 없음을 인정하며 자신의 주장에 대해 겸허한 태도를 유지합니다. 그들은 모델 크기의 "스위트 스팟(최적 지점)"을 찾기 위한 추가 연구가 필요함을 강조하며, 본 연구가 오픈 소스 모델과 특정 파라미터 범위에 국한되어 있음을 밝힙니다.

결론적으로, 본 논문은 "그린 AI(Green AI)"의 미래가 LLM을 완전히 포기하는 것이 아니라, 성능의 동등성을 제공하는 곳에 정교하게 큐레이션된 작업별 미세 조정 SLM을 전략적으로 배치함으로써 달성 가능하다고 단언합니다.