Transparent Screening for LLM Inference and Training Impacts

논문 요약: 투명성 있는 LLM 추론 및 훈련 영향 스크리닝 프레임워크

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 널리 사용됨에 따라 그 환경적 영향 (에너지 소비 및 탄소 배출) 에 대한 논의가 활발해지고 있으나, 다음과 같은 근본적인 한계가 존재합니다.

• 데이터 불투명성: 주요 호스팅 LLM 서비스 제공업체들은 직접적인 환경 측정 데이터 (Telemetry) 를 공개하지 않습니다.
• 비교의 어려움: 측정 데이터가 부재한 상황에서 모델 간 환경 영향을 비교하거나 평가하는 것은 불확실한 주장이나 지지되지 않는 수치 비교로 이어지기 쉽습니다.
• 정확한 측정의 불가능성: 폐쇄형 (Proprietary) 서비스의 경우 물리적 측정이 불가능하므로, 완전한 정밀도를 요구하는 접근법은 오히려 논의를 공허하게 만듭니다.

이 논문은 이러한 상황에서 불완전한 관측 가능성 (Limited Observability) 하에서도 투명하고 검증 가능한 비교를 가능하게 하는 스크리닝 (Screening) 프레임워크를 제안합니다.

2. 방법론 (Methodology)

이 프레임워크는 자연어 기반의 애플리케이션 설명을 입력받아, 경계된 (Bounded) 환경 추정치를 산출하고 이를 공개적인 관측소 (Observatory) 를 통해 비교 가능한 형태로 제공합니다. 핵심 방법론은 다음과 같습니다.

A. 추론 (Inference) 스크리닝 방법

• 입력 처리: 사용자가 "GPT-4o-mini 를 고객 지원에 월 4,000 회 사용"과 같은 자연어 설명을 입력하면, 파서가 이를 모델, 요청 유형, 토큰 수, 사용량, 국가 가정 등이 포함된 구조화된 시나리오로 변환합니다.
• 앵커 (Anchor) 기반 추정: 제공업체의 주장이 아닌, 관찰된 문헌 (Elsworth et al. 의 Gemini Apps 데이터: 프롬프트당 0.24 Wh) 을 기준 (Anchor) 으로 설정합니다.
• 가중치 적용: 입력 토큰보다 출력 생성 토큰의 계산 부하가 더 크다는 점을 반영하여 출력 토큰에 가중치 ($\omega = 1.8$) 를 부여합니다.
• 유효 파라미터 조정: 단순 파라미터 수 ($P_t$) 가 아닌, 컨텍스트 윈도우, 서비스 모드, 모달리티 지원, 아키텍처 등을 고려하여 '유효 활성 파라미터 (Effective Active Parameters)'를 계산합니다.
• 불확실성 범위 제시: 단일 정밀한 값 대신 저 - 중앙 - 고 (Low-Central-High) 구간을 산출하여 불확실성을 명시합니다.
• 탄소 배출량 변환: 추정된 에너지 ($\hat{E}$) 에 해당 국가의 전력 혼합 비율 (Carbon Intensity, $CI_c$) 을 곱하여 탄소 배출량을 산정합니다.

B. 훈련 (Training) 스크리닝 방법

• 높은 불확실성: 훈련 데이터는 공개된 값이 희소하고 이질적이므로, 추론보다 불확실성이 더 큽니다.
• 다중 요소 프록시 (Multi-factor Proxy): 파라미터 수 ($P_t$) 와 훈련 토큰 수 ($Tok_t$) 를 기반으로 한 스케일링 법칙을 사용합니다.
  • 기본 가정: 파라미터 1 개당 20 개의 훈련 토큰 (Chinchilla 법칙 기반).
  • 보정 계수: 훈련 regimes, 아키텍처, 하드웨어 클래스 등을 반영하는 보정 인자 ($F_{reg}, F_{arch-tr}, F_{hw}$) 를 적용합니다.
• 주의: 이 훈련 추정치는 사용자 인터페이스의 실시간 계산기에는 포함되지 않으며, 관측소의 비교 표 (Comparative Tables) 에서만 모델 간 순서 (Order of Magnitude) 를 파악하는 용도로 사용됩니다.

3. 주요 기여 (Key Contributions)

1. 투명한 스크리닝 프레임워크 도입: 직접 측정이 불가능한 환경에서도 LLM 의 추론 및 훈련 영향을 추정할 수 있는 방법론을 제시했습니다.
2. 경계된 다중 요소 프록시 방법론: 추론과 훈련을 분리하여 추정하되, 주요 가정 (Anchor 값, 토큰 가중치, 전력 믹스 등) 을 명시적으로 드러내는 방식을 채택했습니다.
3. 운영 가능한 비교 관측소 (ImpactLLM Observatory): 현재 시장의 41 개 모델을 대상으로 한 비교 데이터를 공개하며, 자연어 입력을 통해 빠른 비교 분석이 가능한 인터페이스를 구현했습니다.

4. 결과 및 비교 출력 (Results)

• 모델 간 차이: 모델의 규모와 아키텍처에 따라 추론 및 훈련 에너지 소비량이 수백 배에서 수천 배까지 차이가 납니다.
  • 예시: Ministral 3B(소형 모델) 는 프롬프트당 약 0.0056 Wh 인 반면, Claude Opus 4.1(대형 모델) 은 약 2.99 Wh 로 약 500 배 이상 차이가 납니다.
• 연간화 (Annualization) 의 중요성: 단위당 에너지는 작아 보일지라도, 실제 사용 빈도가 높을 경우 연간 탄소 배출량이 상당해집니다. (예: 월 20,000 회 사용 시 연간 96gCO2e)
• 전력 믹스의 영향: 동일한 모델이라도 전력망의 탄소 집약도 (Carbon Intensity) 가 높은 국가 (예: 미국) 에서 호스팅될 경우 탄소 배출량이 크게 증가합니다.
• 데이터 공개: Table 1 과 Table 2 에서 보듯, 추론 (Inference) 과 훈련 (Training) 에 대한 중앙값 및 구간 추정치를 공개하여 모델별 환경 영향을 직관적으로 비교할 수 있게 했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:

• 정책 및 거버넌스 도구: 직접적인 산업계 데이터가 없더라도, 모델 규모 성장과 환경 보고의 불일치를 드러내어 더 나은 공개 (Disclosure) 와 정교한 보고를 요구하는 정책적 논의의 기반을 마련합니다.
• 투명성 강화: "검증되지 않은 주장" 대신 "검증 가능한 가정과 소스"에 기반한 비교를 가능하게 하여, LLM 환경 영향에 대한 논의를 과학적이고 객관적인 수준으로 끌어올립니다.
• 신속한 의사결정 지원: 개발자와 기업이 모델 선택 시 환경적 비용을 빠르게 스크리닝할 수 있도록 돕습니다.

한계:

• 문헌 앵커의 부족: 추정치의 불확실성 구간은 제한된 문헌 데이터에 의존하기 때문에 넓게 설정될 수밖에 없습니다.
• 폐쇄형 서비스의 불투명성: 실제 서비스 구성 (하드웨어, 아키텍처 등) 이 불투명하여 맥락적 프록시에 의존해야 합니다.
• 훈련 데이터의 희소성: 훈련 단계의 배출량은 희소한 공개 보고서와 가정된 토큰 수에 기반하므로 불확실성이 큽니다.
• 자연어 파싱의 모호성: 사용자 입력의 자연어를 해석하는 과정에서 발생할 수 있는 오해를 방지하기 위해 모든 가정과 추출된 시나리오를 사용자에게 명시적으로 보여줍니다.

결론적으로, 이 논문은 불확실성을 제거하려는 시도가 아니라, 불확실성이 존재하는 상황에서 투명하고 검증 가능한 근사 (Approximation) 를 체계화함으로써 LLM 환경 영향에 대한 비교와 논의를 개선하는 방법론적 기여를 했습니다.