기술 요약: AIED 내 LLM의 환경적 비용: 보고 및 관행

문제 정의

인공지능 교육(AIED) 분야에서 대규모 언어 모델(LLM)의 통합이 가속화되고 있으나, 이들의 사용과 관련된 계산 및 환경적 비용은 여전히 보고되지 않거나 표준화되지 않은 채 남아 있다. AIED의 윤리적 논의는 흔히 편향성, 개인정보 보호, 학생의 과도한 의존성을 다루지만, LLM의 학습 및 배포에 따른 에너지 소비와 탄소 발족(carbon footprint)은 종종 무시된다. 이러한 투명성의 결여는 환경적 영향을 측정하고 보고하기 위한 표준화된 절차의 부재로 인해 더욱 악화된다. 결과적으로, 커뮤니티는 교육용 AI의 환경적 부담에 대한 통일된 이해가 부족하며, 이는 서로 다른 시스템의 효율성을 비교하거나 지속 가능한 연구를 위한 규범을 수립하는 것을 어렵게 만든다.

방법론

저자들은 체계적 문헌 검토와 측정 및 추정을 위한 오픈 소스 기술 프레임워크 개발을 결합한 혼합 방법론을 채택하였다.

1. 문헌 검토

저자들은 AIED 2025 컨퍼런스 프로시딩에 발표된 모든 396편의 논문을 대상으로 포괄적인 검토를 수행하였다. 모든 트랙(전체 논문, 워크숍, 박사 과정 컨소시엄 등)에 걸친 제출물을 분석하기 위해 다음과 같은 코딩 프레임워크를 사용하여 추출하였다:

• LLM 사용 여부: LLM 사용 여부(이진 분류) 및 구체적인 역할(실험 대상, 데이터 분석, 제품 설계 또는 사용자 상호작용).
• 보고 관행: 계산 비용(실행 시간, 에너지, 하드웨어) 및 환경 지속 가능성이 명시적으로 보고되었는지 여부.
• 모델 세부 사항: 특정 모델 버전 및 파라미터 정보.

2. 측정 프레임워크 개발

식별된 격차를 해결하기 위해 저자들은 세 가지 기술적 솔루션을 제안하고 구현하였다:

• 로컬 하드웨어 측정 (CodeCarbon): 저자들은 로컬 하드웨어의 전력 소모량을 측정하고 이를 지역 전력 그리드 혼합 비율에 따라 CO2로 변환하여 탄소 배출량을 추정하기 위해 오픈 소스 Python 패키지인 CodeCarbon을 활용하였다. 저자들은 CodeCarbon이 기준점을 제공하지만, 전원 공급 장치의 비효율성이나 주변 기기 냉각을 고려하지 않기 때문에 전체 소비량을 약 20% 정도 과소평가할 수 있다고 언급하였다.
• TerraFlops 프레임워크: 로컬 개발 환경에 대한 정확도를 높이기 위해, 저자들은 추적 도구를 위한 오픈 소스 래퍼(wrapper)인 TerraFlops를 도입하였다. 이 프레임워크는 로컬 머신에 대한 PUE(전력 사용 효율) 상당치 지표를 도입한다. 활용도가 높은 데이터 센터와 달리, 로컬 장치는 ML 워크로드와 상관없이 상당한 기본 오버헤드(OS, 디스플레이, 냉각 등)를 가진다. TerraFlops는 낮은 부하 시 1.60에서 높은 부하 시 1.08까지 동적으로 PUE 상당치를 조정하여 낭비되는 에너지를 반영한다.
  • 또한, 이 프레임워크는 주요 클라우드 제공업체(AWS, GCP)의 고정 PUE 값을 적용하여 배포 비용 투영을 표준화하는 **클라우드 모드(Cloud Mode)**를 포함한다.
  • 이 프레임워크는 합성 지표를 생성한다: 보정된 탄소 집약도(Corrected Carbon Intensity), 정확도당 탄소(Carbon per Accuracy), 그리고 로그 변환을 사용한 **지속 가능성 점수(Sustainability Score, 1~10 척도)**이다.
• LLM을 위한 이론적 FLOP 추정: 직접적인 측정이 불가능한 시나리오(예: API를 통한 독점 모델)를 위해, 저자들은 **부동 소수점 연산(FLOPs)**을 사용하여 계산 비용을 추정하는 방법을 제안하였다.
  • 저자들은 첫 번째 토큰과 후속 토큰에 대한 FLOPs를 계산하기 위해 디코더 전용 트랜스포머(Pre-Layer Normalization, RoPE, KV 캐싱 포함)를 위한 공식을 도출하였다.
  • 저자들은 단순화된 근사치인 $FLOPs = 2Nn$($N$은 활성 파라미터,$n$은 총 토큰 수)을 제안하였다.
  • $N$을 알 수 없는 독점 모델의 경우, 차수 규모의 추정치(예: 프런티어 모델의 경우 약 100B 파라미터, 빠른 모델의 경우 약 30B 파라미터)와 CO2 변환 계수(H100 GPU 및 미국 그리드 혼합 가정 시 약 $6 \times 10^{-5}$ g CO2 per T-FLOP)를 제안하였다.

주요 결과

396편의 AIED 2025 논문에 대한 문헌 검토 결과는 다음과 같다:

• 높은 채택률: **257편의 논문(65%)**이 LLM을 활용하였다.
• 사용 패턴: 가장 흔한 사용 사례는 사용자 상호작용(176편)이었으며, 주로 튜터나 어시스턴트 역할을 수행하였다. 그 외의 용도로는 데이터 분석(79편), 콘텐츠 설계(108편), 실험 대상(100편)이 포함되었다.
• 보고의 결핍: 85편의 논문만이 계산 비용에 대한 세부 정보를 제공하였으며, 단 57편의 논문만이 지속 가능성 또는 환경 문제를 언급하였다.
• 불일치성: 보고를 수행한 논문들 사이에서도 지표, 단위 또는 분석의 깊이에 있어 표준화가 이루어지지 않았다.
• 모델 유행: OpenAI 모델(GPT-4/4o)이 가장 빈번하게 인용되었으며, Anthropic Claude, Google Gemini 및 다양한 오픈 소스 모델(Llama, Mistral 등)이 그 뒤를 이었다.

주요 기여

1. 격차에 대한 실증적 증거: 본 논문은 AIED 커뮤니티 내 환경 보고의 부재를 체계적으로 정량화한 최초의 연구로서, LLM의 사용은 보편적이지만 그 비용은 대다수의 연구에서 보이지 않는다는 점을 입증하였다.
2. TerraFlops 도구: 로컬 하드웨어에 대한 PUE 상당치 조정을 포함하여 탄소 추적 범위를 확장함으로써, 소비자급 머신에서 수행되는 연구의 환경적 발자국에 대해 더 현실적인 추정치를 제공하는 오픈 소스 도구를 도입하였다.
3. 표준화된 보고 제안: 저자들은 전통적인 정확도 지표와 함께 보고되어야 할 일련의 합성 지표(보정된 탄소 집합도, 정확도당 탄소, 지속 가능성 점수)를 제안한다.
4. 독점 모델을 위한 추정 방법론: 하드웨어 데이터에 접근할 수 없는 API 기반 LLM을 사용하는 연구자들이 토큰 수와 파라미터 근사치를 활용하여 계산 비용과 탄소 발자국을 추정할 수 있는 실질적인 3단계 절차를 제안한다.

의의 및 주장

저자들은 LLM의 환경적 비용이 AIED에서 중요하지만 간과되고 있는 윤리적 차원이라고 주장한다. 저자들은 표준화된 보고를 통해 이러한 비용을 가시화함으로써 커뮤니티가 다음과 같은 성과를 거둘 수 있다고 주장한다:

• 숨겨진 비용에 대한 투명한 보고를 위한 규범 확립.
• 정확도뿐만 아니라 효율성(단위 CO2당 성능)을 기준으로 모델을 비교 가능하게 함.
• 연구자들이 지속 가능성을 위해 최적화하도록 동기를 부여하여, 잠재적으로 교육용 AI의 환경적 영향을 줄임.

본 논문은 AIED 커뮤니티가 이러한 보고 관행을 채택할 것을 촉구하며 마무리된다. 저자들은 향후 컨퍼런스에서 익명성 요구 사항과 유사하게 지속 가능성 지표를 제출 조건으로 의무화할 것을 제안한다. 저자들은 자신의 연구를 결정적인 해결책이 아닌, 보다 지속 가능하고 책임 있는 AIED 연구 생태계를 향한 기초적인 단계로 위치시킨다.