Evaluating the Environmental Impact of using SLMs and Prompt Engineering for Code Generation

1. 연구 배경 및 문제 정의 (Problem)

• 분산화된 환경 부담: 클라우드 기반 대형 언어 모델 (LLM) 에서 로컬에 배포된 오픈소스 소형 언어 모델 (SLM) 로의 전환은 AI 지원 코딩을 민주화했으나, 환경적 발자국을 중앙 집중형 데이터센터에서 개발자의 로컬 하드웨어와 지역 전력망으로 분산시켰습니다.
• 보이지 않는 탄소 배출: 개발자들은 모델 파라미터를 수정하지 않고 성능을 최적화하는 '프롬프트 엔지니어링' (Chain-of-Thought, ReAct 등) 을 널리 사용하지만, 이러한 전략이 에너지 소비와 탄소 배출에 미치는 영향은 거의 가시화되지 않고 있습니다.
• 연구 공백: 기존 연구는 주로 클라우드 인프라이나 정확도 (Accuracy) 에 집중했으며, SLM 기반 코드 생성에서 프롬프트 전략이 정확도와 지속 가능성 (에너지, 탄소) 간의 트레이드오프를 어떻게 형성하는지에 대한 체계적인 실증 연구가 부재했습니다.

2. 연구 방법론 (Methodology)

이 연구는 11 개의 오픈소스 SLM 과 6 가지 프롬프트 전략을 대상으로 한 대규모 실증 실험을 수행했습니다.

• 모델 (11 개): 파라미터 수 (1B~34B), 훈련 목적 (범용 vs 코드 특화), 추론 능력 (Reasoning 유무) 을 고려하여 선정.
  • 예: Llama3.2, Qwen3, CodeGemma, DeepSeek-Coder, GPT-OSS 등.
• 데이터셋: HumanEval+ (164 문제) 와 MBPP+ (150 문제) 벤치마크 사용.
• 프롬프트 전략 (6 가지):
  1. Direct: 기본 문제 설명만 제공.
  2. Chain-of-Thought (CoT): 단계별 추론 유도.
  3. Program-of-Thought (PoT): 생성된 코드를 실행하여 중간 결과 검증.
  4. Self-Consistency: 여러 샘플 생성 후 투표로 정답 선정.
  5. Least-to-Most (LtoM): 문제를 하위 문제로 분해 후 순차적 해결.
  6. ReAct: 추론 - 행동 - 관찰의 반복 루프.
• 실험 환경:
  • 하드웨어: 두 가지 다른 구성 (Machine 1: Xeon Silver + A100, Machine 2: Xeon Gold + L40S).
  • 지역: 캐나다 앨버타주 (화석 연료 비중 높음) 와 온타리오주 (원자력/수력 비중 높음) 로 나누어 그리드 탄소 강도 (GCI) 영향 평가.
  • 프레임워크: DSPy 를 사용하여 프롬프트 구조를 표준화하고 기계가 파싱 가능한 코드 출력을 강제.
• 측정 지표: Pass@1 정확도, 에너지 소비 (kWh), 탄소 배출량 (kgCO2eq), 추론 지연 시간 (Latency), 토큰 사용량.

3. 주요 기여 및 발견 (Key Contributions & Results)

RQ1: 모델 크기와 정확도/배출량의 관계

• 비선형적 관계: 모델 파라미터 크기가 커질수록 정확도가 단순히 증가하지는 않음. (예: 1.7B 모델인 Qwen3 이 34B 모델인 CodeLlama 보다 성능이 우수하거나, 20B 모델이 30B 모델보다 성능이 더 좋음).
• 배출량: 파라미터 수와 탄소 배출량은 약한 상관관계만 보임. 오히려 모델의 추론 효율성과 런타임 구성이 배출량에 더 큰 영향을 미침.
• 소형 모델의 한계: 매우 작은 모델 (1B~3B) 은 DSPy 프레임워크의 구조화된 출력 요구사항을 따르지 못해 파싱 오류가 빈번하게 발생함.

RQ2: 프롬프트 전략의 영향 (정확도 vs 환경 비용)

• 정확도 - 비용 트레이드오프:
  • Self-Consistency: 가장 높은 정확도 (평균 Pass@1 65.75%) 를 보였으나, 에너지 소비와 탄소 배출이 CoT 대비 약 5 배 높음.
  • Chain-of-Thought (CoT): Self-Consistency 보다 정확도는 2.7% 낮지만, 에너지와 탄소 배출은 약 80% 절감. 가장 이상적인 균형 (Pareto Frontier) 을 제공.
  • 복잡한 전략 (ReAct, LtoM, PoT): 추가적인 계산 비용 (높은 토큰 사용량) 에 비해 정확도 향상은 미미하여 비효율적임.
• 결론: SLM 기반 코드 생성에서는 복잡한 다중 샘플링 전략보다 단순한 CoT 가 환경적 효율성과 성능을 동시에 만족시키는 최적의 전략임.

RQ3: 하드웨어 및 지역적 영향 (그리드 탄소 강도)

• 그리드 탄소 강도 (GCI) 의 지배적 영향: 하드웨어의 에너지 효율성보다 전력망의 탄소 강도가 탄소 배출량의 결정적 요인임.
  • 온타리오 (저탄소) 의 Machine 2 는 앨버타 (고탄소) 의 Machine 1 보다 에너지 소비는 113% 더 높았음에도, 탄소 배출량은 78% 적었음.
  • 지역별 GCI 차이는 하드웨어 차이를 상쇄하고도 남을 만큼 배출량에 큰 영향을 미침.

RQ4: 토큰 사용량과 지속 가능성의 상관관계

• 추론 시간이 핵심 지표: 토큰 수보다는 추론 시간 (Inference Time) 이 에너지 소비와 탄소 배출을 예측하는 더 강력한 지표임 (상관계수 $R^2 \approx 0.9$).
• 정확도와 무관성: 코드 생성 정확도 (Pass@1) 와 환경 비용 (에너지/탄소) 간에는 유의미한 상관관계가 없음. 즉, 더 정확한 코드를 생성한다고 해서 반드시 더 많은 에너지를 소비하는 것은 아님.

추가 발견: 출력 형식 정확도

• DSPy 와 같은 구조화된 프레임워크에서 매우 작은 모델 (StarCoder2:3B 등) 은 90% 이상의 파싱 오류를 보임. 이는 재시도 및 수정을 유발하여 숨겨진 환경 비용을 증가시킴.

4. 연구의 의의 및 시사점 (Significance)

1. 그린 프롬프트 엔지니어링의 정량적 기반 제공: 개발자가 성능만 추구할 때 발생하는 불필요한 환경 비용을 줄일 수 있는 데이터 기반 가이드라인을 제시함.
2. 전략적 선택의 중요성: 복잡한 추론 프레임워크 대신 CoT와 같은 단순한 전략을 선택함으로써 성능 저하 없이 탄소 배출을 획기적으로 줄일 수 있음을 입증.
3. 지역적 고려의 필요성: 오픈소스 모델의 로컬 배포 시, 하드웨어 업그레이드보다 지역별 전력망의 탄소 강도를 고려한 배치 (예: 재생 에너지가 풍부한 지역에서의 실행) 가 환경적 영향 감소에 더 효과적임.
4. 지속 가능한 개발 문화: 개발자와 연구자들이 '정확도 per 와트 (Accuracy-per-watt)'를 새로운 최적화 목표로 삼아야 함을 강조하며, 지속 가능한 코드 생성 시스템 구축을 위한 방향성을 제시함.

요약

이 논문은 SLM 기반 코드 생성에서 단순한 프롬프트 전략 (CoT) 이 복잡한 전략보다 환경적으로 훨씬 효율적이며, 지역별 전력망의 탄소 강도가 하드웨어 효율성보다 탄소 배출에 더 큰 영향을 미친다는 사실을 실증적으로 규명했습니다. 이는 개발자가 환경적 책임을 다하면서도 고품질 코드를 생성할 수 있는 구체적인 실용적 통찰을 제공합니다.