기술 요약: 그린 AI를 향하여: 소프트웨어 개발에서의 LLM 추론 에너지 해독

문제 정의

소프트웨어 개발 워크플로우에 AI 보조 도구를 통합하는 것은 대규모 언어 모델(LLM)에 크게 의존합니다. 이러한 도구들은 생산성을 높여주지만, 그 추론 과정은 상당한 계산 및 에너지 비용을 발생시킵니다. 기존 연구는 종로는 LLM 추론을 단일한 프로세스로 취급하여, 두 가지 구성 단계인 프리필(prefill)(내부 키-값 캐시를 구축하기 위해 입력 프롬프트를 처리하는 단계)과 디코딩(decoding)(출력 토큰을 자기회귀적으로 생성하는 단계)의 뚜렷한 자원 요구 사항을 간과하는 경향이 있습니다. 또한, 과도하거나 불필요한 콘텐츠를 생성하는 "배블링(babbling, 횡설수설)"과 같은 특정 모델 동작의 에너지 영향에 대한 연구는 미비한 실정입니다. 추론은 일반적으로 시간 민감적이며 학습과 달리 저탄소 에너지 시간대로 쉽게 스케줄링할 수 없으므로, 지속 가능한 소프트웨어 개발을 위해 에너지 발자국을 최적화하는 것이 매우 중요합니다.

방법론

본 연구는 토큰 단위의 세밀한 측정 방식을 사용하여 LLM 추론 에너지 소비에 대한 단계별 경험적 분석을 수행합니다.

• 모델: 10개의 디코더 전용 트랜스포머 모델을 평가하였으며, 두 가지 파라미터 그룹으로 분류했습니다: 6B–7B(예: CodeLlama-7B, Qwen2.5-Coder-7B, Deepseek-Coder-6.7B) 및 3B–4B(예: Phi3.5-4B, Qwen3-4B).
• 워크로드 및 벤치마크: 실험에는 두 가지 주요 벤치마크를 활용했습니다:
  • HumanEval: 코드 생성을 위한 것으로, 제로샷(최소 입력), 퓨샷(2-shot, 증가된 입력), 제로샷 생각의 사슬(Chain-of-Thought, 증가된 출력 길이)의 세 가지 설정으로 테스트되었습니다.
  • LongBench: 코드 이해를 위한 것으로, 코드 이해(긴 입력, 짧은 출력)와 설명이 포함된 코드 이해(긴 입력, 더 긴 출력)로 테스트되었습니다.
• 측정 설정: 실험은 격리된 환경의 단일 NVIDIA A10 GPU(24GB)에서 수행되었습니다. 에너지 소비는 pyNVML을 사용하여 10Hz 주기로 샘플링되었습니다.
• 단계 분리: Babakol 등의 방법론을 따라, 연구는 에너지 타임스탬프를 토큰 생성 이벤트와 정렬했습니다. 프리필 단계는 첫 번째 토큰이 생성될 때까지 소비된 에너지로 정의되었고, 디코딩 단계는 이후 모든 토큰에 대한 에너지 소비를 포함했습니다.
• 지표: 주요 종속 변수에는 총 GPU 에너지(J), 프리필 에너지(J), 토큰당 에너지(J), 그리고 디코딩 중의 토큰당 에너지(J)가 포함되었습니다. 정확도는 코드 생성의 경우 pass@1, 코드 이해의 경우 정답 비율을 통해 측정되었습니다.

주요 기여

1. 단계별 에너지 분석: 본 연구는 프리필과 디코딩 단계가 서로 다른 에너지 소비 특성을 보임을 밝혀내어, 추론을 단일한 프로세스로 보는 관점에 도전합니다.
2. 경험적 정량화: 다양한 소프트웨어 개발 워크로드 하에서 10개의 다양한 트랜스포머 모델(Llama, Phi, Gemma, Qwen 제품군)에 대한 포괄적인 에너지 패턴 데이터셋을 제공합니다.
3. 프리필-디코딩 상호작 작용: 연구는 프리필 단계의 비용(입력 크기에 의해 결정됨)이 디코딩 단계의 초기 토큰당 에너지 비용에 직접적인 영향을 미친다는 것을 입증합니다.
4. 배블링 식별 및 완화: 특정 모델에서 나타나는 "배블링 동작"(작업 완료 후에도 불필요한 텍스트를 생성하는 현상)을 식별하고, 테스트 케이스가 통과되면 생성을 중단하는 배블링 억제(babbling suppression) 알고리즘을 구현하여 에너지 낭비를 크게 줄였습니다.

주요 결과

1. 단계적 지배력 및 입출력 민감도

• 디코딩 지배력: 대부분의 시나리오에서 디코딩 단계가 총 에너지 소비를 지배합니다. 그러나 롱 컨텍스트 작업(예: 4,000~8,000개의 입력 토큰이 있는 코드 이해 작업)에서는 프리필 단계의 기여도가 유의미하게 상승합니다(최대 84.4%).
• 입력 크기의 영향: 입력 크기가 증가하면 프리필 에너지가 선형적으로 증가합니다. 결정적으로, 큰 입력은 디코딩 단계의 초기 토큰당 에너지 비용도 높입니다. 예를 들어, CodeLlama-7B의 입력 크기를 늘렸을 때 초기 디코딩 토큰 비용이 48.8% 상승했습니다.
• 모델 가변성: 입력 크기에 대한 민감도는 모델마다 다릅니다. 일부 모델(예: CodeLlama-7B, Deepseek-6.7B)은 큰 입력에 따라 디코딩 에너지가 급격히 증가하는 반면, 다른 모델(예: Phi4-4B)은 상대적으로 안정적입니다(1.3% 증가).

2. 토큰 생성 비용 역학

• 점진적 비용 증가: 연구 결과, 디코딩 단계에서 새로 생성되는 각 토큰은 이전 토큰보다 더 많은 에너지를 소비하는 경향이 있음을 관찰했습니다. 이는 키-값(KV) 캐시의 크기 증가와 메모리 관리 오버헤드 때문입니다.
• 규모: 긴 출력(예: 2,000 토큰)의 경우, 마지막 토근은 첫 번째 토큰보다 최대 20% 더 많은 에너지를 소비할 수 있습니다.

3. 배블링 동작 및 억제

• 관찰: 10개 모델 중 3개(CodeLlama-7B, Deepseek-6.7B, Qwen3-4B)가 솔루션이 완료된 후에도 과도한 토큰(공백, 테스트 케이스, 예시 등)을 생성하는 "배블링" 현상을 보였습니다.
• 개입: 각 라인의 끝에서 구문론적 정확성과 테스트 케이스 통과 여부를 확인하는 배블링 억제 알고리즘을 구현했습니다. 모든 테스트를 통과하면 즉시 생성이 중단됩니다.
• 효율성 이득:
  • 출력 감소: 억제 알고리즘은 토큰 제한 및 모델에 따라 출력 길이를 44%에서 93%까지 줄였습니다.
  • 에너지 절감: 총 추론 에너지는 **44%에서 89%**까지 감소했습니다. Deepseek-6.7B의 경우 1,000-토큰 제한 하에서 에너지 소비가 89% 감소했습니다.
  • 정확도: 이러한 절감은 생성 정확도에 부정적인 영향을 미치지 않고 달성되었습니다(변동 폭은 ±2% ~ ±4% 이내).
  • 오버헤드: 중간 테스트 체크로 인해 일부 사례에서 "토큰당 에너지" 지표가 증가했습니다(생성되는 토큰 수는 적지만 체크 비용은 유지되기 때문). 그러나 총 추론당 에너지는 크게 감소했습니다.

의의 및 주장

본 논문은 소프트웨어 개발에서 LLM 추론의 에너지 발자국을 줄이기 위해서는 다음과 같은 이중 접근 방식이 필요하다고 주장합니다:

1. 구조 및 구현 인지: 개발자는 프리필 비용이 디코딩 효율성에 영향을 미친다는 점을 인식해야 합니다. 큰 입력으로 인해 발생하는 토큰당 비용의 증폭을 완화하기 위해 효율적인 키-값(KV) 캐시 저장 및 검색과 같은 최적화가 필수적입니다.
2. 사용자 및 워크플로우 최적화: 사용자는 프롬프트 길이가 프리필과 디코딩 비용 모두에 직접적인 영향을 미치므로 프롬프트 길이에 주의를 기울여야 합니다.
3. 행동 완화: 식별된 가장 즉각적이고 영향력 있는 전략은 배블링의 억제입니다. 사후 처리 과정에서 일반적으로 폐기되는 불필요한 토큰 생성을 방지함으로써, 산업계는 생성된 코드의 기능적 정확성을 해치지 않으면서도 상당한 에너지 절감(최대 89%)을 달할 수 있습니다.

본 연구는 구조적 효율성도 중요하지만, 단계별 상호 작용과 모델 동작(예: 배블링)을 이해하는 것이 소프트웨어 공학 분야에서 "그린 AI"로 나아가는 실질적인 경로를 제공한다고 결론짓습니다.