An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자동화된 소프트웨어 테스트 분야에서 대규모 언어 모델 (LLM) 의 활용이 증가하고 있지만, 이로 인한 높은 에너지 소비와 탄소 배출에 대한 우려가 제기되고 있습니다.
• 문제점: 기존 지속 가능성 연구는 주로 거대 모델 (Large Language Models, LLMs) 에 집중되어 있습니다. 반면, 로컬 실행이 선호되는 리소스 제약 환경이나 개인정보 보호가 중요한 영역에서 사용되는 **소형 언어 모델 (SLMs, 2B~8B 파라미터 범위)**의 환경적 특성 (에너지 효율성 및 탄소 배출) 은 충분히 연구되지 않았습니다.
• 연구 목적: 프롬프트 기반 단위 테스트 스크립트 생성 과정에서 SLM 의 지속 가능성 (환경 비용) 과 성능 (테스트 커버리지) 간의 트레이드오프를 실증적으로 평가하고, 이를 최적화하는 방법을 제시하는 것입니다.

2. 연구 방법론 (Methodology)

연구는 HumanEval 벤치마크와 적응형 프롬프트 변형을 사용하여 체계적인 실험 파이프라인을 구축했습니다.

• 데이터 및 모델:
  • 데이터: 164 개의 Python 프로그래밍 태스크로 구성된 HumanEval 벤치마크 사용.
  • 모델: 2B~8B 파라미터 범위의 5 가지 최신 SLM (Phi-3.5-mini, Qwen2.5-1.5B, deepseek-coder-7b, Mistral-7B, Llama-3-8B) 선정.
  • 양자화 (Quantization): 모델 압축의 영향을 분석하기 위해 4-bit, 8-bit, 비양자화 (Unquantized) 수준을 비교 실험.
• 프롬프트 설계:
  • Anthropic 템플릿을 기반으로 한 4 단계의 프롬프트 변형 (APV0~APV3) 을 설계.
  • APV0: 기본 시그니처 및 문서화.
  • APV1~APV3: '전문 테스터' 페르소나 부여, DO/DON'T 규칙 명시, 역할 분리, 예시 블록 포함 등 점진적으로 복잡한 지시사항 추가.
• 실험 환경 및 측정:
  • 플랫폼: Google Colab (동적으로 전 세계 데이터센터로 워크로드가 이동하므로 지역별 전력망 탄소 강도 고려).
  • 측정 도구: CodeCarbon(에너지, 탄소 배출, 시간 측정), Coverage.py(테스트 커버리지 측정).
  • 측정 지표: 테스트 커버리지 ($Q$), 에너지 소비 ($E$), 탄소 배출 ($C$), 실행 시간 ($T$).
• 새로운 지표 제안:
  • 소프트웨어 탄소 강도 (SCI): 기능 실행당 배출되는 $gCO_2e$ 양.
  • 지속 가능성 속도 지수 (SVI): 커버리지, 탄소 강도, 실행 시간, 안정성을 종합한 단일 정규화 지표.
  • Green $F_\beta$ Score ($GF_\beta$): 환경 영향과 코드 커버리지를 가중치 $\beta$로 조절하여 균형점을 찾는 복합 지표 ($\beta < 1$: 환경 효율성 우선, $\beta > 1$: 커버리지 우선).

3. 주요 연구 질문 (Research Questions)

1. RQ1: 프롬프트 구조와 지역별 전력망의 탄소 강도 변화가 SLM 의 에너지 소비 및 탄소 발자국에 어떻게 영향을 미치는가?
2. RQ2: 테스트 커버리지와 환경 과부하를 모두 고려하여 SLM 을 종합적으로 순위 매길 수 있는 메커니즘은 존재하는가?
3. RQ3: 다양한 양자화 수준 (4-bit vs 8-bit vs Unquantized) 을 적용할 때 테스트 커버리지와 환경 지속 가능성 간의 트레이드오프는 무엇인가?
4. RQ4: 아키텍트들이 테스트 커버리지와 환경 지속 가능성 사이에서 우선순위를 정하여 SLM 을 선택할 수 있는 메커니즘은 무엇인가?

4. 주요 결과 (Results)

• 지속 가능성 프로필의 다양성: 모든 SLM 이 동일한 환경적 특성을 보이지 않음. 일부 모델은 낮은 에너지와 빠른 실행을 선호하고, 다른 모델은 동등한 조건에서 더 높은 안정성이나 커버리지를 유지함.
• 지역 및 프롬프트의 영향 (RQ1):
  • SCI 는 프롬프트에 따른 추론 오버헤드와 실행 지역의 탄소 강도 (Grid Carbon Intensity) 에 의해 공동으로 결정됨.
  • 같은 지역 내에서는 프롬프트/모델 구성의 차이가 SCI 에 영향을 주지만, 지역이 변경되면 전력망의 탄소 강도가 지배적인 요인이 됨 (예: 네덜란드/미국 오리건 vs 미국 네바다/싱가포르).
• 양자화의 영향 (RQ3):
  • 고정된 지역에서는 정밀도가 높을수록 (Unquantized) SVI 가 향상되는 경향이 있음 (커버리지 향상 효과가 계산 절감 효과를 상쇄).
  • 그러나 실행 지역이 변경되면 전력망 강도가 양자화 효과를 압도할 수 있음.
• 모델 순위 및 선택 (RQ2, RQ4):
  • SVI는 커버리지, 안정성, 시간, 배출량을 통합하여 모델을 종합적으로 순위 매기는 데 효과적임.
  • $GF_\beta$ 지표를 통해 $\beta$ 값을 조정하면 환경 효율성 우선 또는 커버리지 우선 순위로 모델 순위가 바뀜. 즉, 단일 모델이 모든 상황에서 최선은 아니며, 배포 목적과 지역에 따라 최적의 모델이 달라짐.

5. 주요 기여 (Key Contributions)

1. SLM 특화 실증 연구: 대규모 모델 중심이었던 기존 연구와 달리, SLM 기반 테스트 스크립트 생성의 환경적 특성을 처음 체계적으로 분석.
2. 다차원 지속 가능성 지표 개발:
   • SVI (Sustainable Velocity Index): 성능과 환경 비용을 균형 있게 평가하는 새로운 지표.
   • Green $F_\beta$ Score: 이해관계자의 우선순위 (환경 vs 성능) 에 따라 유연하게 조정 가능한 가중치 기반 지표.
3. 지역별 탄소 강도 분석: Google Colab 의 동적 지역 이동 특성을 활용하여 전력망 탄소 강도가 모델 평가에 미치는 영향을 정량화.
4. 실행 가능한 가이드라인: 소프트웨어 아키텍트가 테스트 커버리지와 환경 책임을 동시에 고려하여 모델 - 프롬프트 구성을 선택할 수 있는 실증적 근거 제공.

6. 의의 및 결론 (Significance)

• Green AI 실천: 소프트웨어 테스트 수명 주기 내에서 환경 책임을 고려한 'Green AI' 실천을 위한 구체적인 방법론을 제시.
• 균형 잡힌 의사결정: 모델 크기뿐만 아니라 프롬프트 복잡성, 양자화 수준, 실행 지역의 상호작용이 지속 가능성에 결정적임을 입증.
• 향후 방향: 단일 지표가 아닌 다차원적 접근의 중요성을 강조하며, 향후 더 다양한 모델 패밀리와 하드웨어 아키텍처 (TPU, 엣지 디바이스 등) 로 연구 범위를 확장할 것을 제안.

이 연구는 SLM 을 활용한 자동화된 테스트 생성이 단순히 성능만 고려하는 것이 아니라, 에너지 효율성과 탄소 배출을 고려한 **지속 가능한 소프트웨어 공학 (Sustainable SE)**의 중요한 단계임을 보여줍니다.