기술 요약: 딥러닝 파이프라인의 엔드투엔드 데이터프레임 라이브러리 에너지 소비

문제 제기

효율적인 데이터 처리는 딥러닝 모델의 개발 및 배포에서, 특히 에너지 소비와 관련하여 중요한 병목 현상입니다. 기존 문헌은 Pandas, Polars, Dask 와 같은 데이터프레임 라이브러리를 고립된 상태나 단순 분석 작업 부하에 대해 벤치마크해 왔으나, 완전한 엔드투엔드 딥러닝 파이프라인에 내장되었을 때의 성능 및 에너지 효율성에 대한 이해에는 상당한 공백이 존재합니다. 구체적으로, 이전 연구들은 학습 및 추론 과정에서 데이터 로딩, 전처리, 배치 공급, GPU 작업 부하 간의 긴밀한 상호작용을 포착하지 못했습니다. 본 논문은 데이터 처리가 CPU/GPU 활용도 및 전반적인 지속 가능성에 직접적인 영향을 미치는 현실적인 딥러닝 컨텍스트에서 이러한 라이브러리에 대한 포괄적인 에너지 프로파일링이 부재한 문제를 해결합니다.

방법론

저자들은 Pandas, Polars, Dask 를 대표적인 딥러닝 및 머신러닝 파이프라인에 통합하여 비교 분석을 수행했습니다.

• 실험 환경: 실험은 16 코어/32 스레드 CPU(2.10 GHz), 128GB RAM, NVIDIA Tesla V100 GPU(32GB HBM2) 가 탑재된 워크스테이션에서 수행되었습니다. 소프트웨어 스택에는 Python 3.8.12, TensorFlow 2.8.0, PyTorch 1.12.1 및 특정 버전의 Pandas(1.4.2), Polars(0.10.18), Dask(2022.2.0) 가 포함되었습니다.
• 데이터셋: 세 가지 대표적인 데이터셋이 사용되었습니다:
  • Insurance: 회귀/분류를 위한 소규모 테이블형 데이터셋 (1,000 개 레코드).
  • ML-1M (MovieLens): 협업 필터링 및 신경 협업 필터링 (NCF) 을 위한 중규모 데이터셋 (약 100 만 행).
  • COCO: ResNet-50(분류) 및 Mask R-CNN(객체 감지) 을 위한 대규모 이미지 데이터셋 (약 118,000 개 이미지).
• 모델: 연구는 전통적인 모델 (Random Forest, SVR, XGBoost) 과 딥러닝 아키텍처 (TabNet, ResNet, Mask R-CNN, NCF) 를 평가했습니다.
• 측정 프로토콜:
  • 각 구성은 5 회 실행되어 이상치를 억제하고 절단 평균과 95% 신뢰 구간을 계산했습니다.
  • CPU 지표: Linux perf를 통해 캡처 (실행 시간, CPU 에너지, 메모리).
  • GPU 지표: pynvml을 통해 캡처 (GPU 에너지, VRAM 사용량).
  • 에너지 프로파일링: 데이터 로딩, 전처리, 학습, 추론의 모든 단계에서 에너지 소비를 추적했습니다.
• 구현: 각 라이브러리에 대해 데이터 로딩, 전처리 (결측치 대체, 인코딩, 정규화), 배칭을 처리하는 통합 데이터 처리 파이프라인을 구현했습니다. Polars 는 지연 평가 (lazy evaluation) 와 제로-복사 슬라이싱을 활용했고, Dask 는 파티션 기반 병렬 처리를 사용했으며, Pandas 는 표준 인덱싱을 사용했습니다.

주요 기여

본 논문은 지속 가능한 머신러닝 분야에 다음과 같은 세 가지 주요 기여를 합니다:

1. 엔드투엔드 파이프라인 통합: 데이터 로딩과 같은 고립된 단계에 초점을 맞춘 기존 작업과 달리, 본 연구는 데이터 수집부터 모델 예측까지 전체 학습 및 추론 수명 주기 전반에 걸친 데이터프레임 백엔드의 영향을 평가합니다.
2. 학습 대 추론 분석의 차별화: 기존 문헌이 종종 이러한 단계를 동질적인 것으로 취급하는 공백을 해결하기 위해, 연구는 학습 중과 추론 중 라이브러리의 성능을 명시적으로 비교합니다.
3. 세분화된 에너지 프로파일링: 본 연구는 실행 시간 분석을 넘어 CPU 와 GPU 의 에너지 소비에 대한 상세한 내역을 제공하며, RAM 및 VRAM 사용에 대한 구체적인 측정을 포함합니다. 이를 통해 각 데이터 로더 설정에 대한 완전한 에너지 프로파일이 가능합니다.

결과

실험 결과는 데이터셋 크기와 모델 복잡도에 따라 뚜렷한 성능 및 에너지 트레이드오프를 보여줍니다:

• 소규모 데이터셋 (Insurance):
  • 실행 시간: Pandas 와 Polars 는 간단한 모델 (Random Forest, SVR) 에서 거의 동일한 실행 시간을 보였습니다. Dask 는 작업 스케줄링 오버헤드로 인해 더 높은 실행 시간을 기록했습니다.
  • 에너지: Polars 는 병렬 실행으로 인해 Pandas 와 Dask 에 비해 신경 아키텍처 (TabNet) 에서 더 낮은 CPU 에너지 소비를 보였습니다. 그러나 Polars 는 Arrow 버퍼로 인해 더 높은 CPU 메모리 풋프린트를 가졌습니다.
• 중규모 데이터셋 (ML-1M):
  • 실행 시간: Polars 는 협업 필터링 및 NCF 워크플로우에서 Pandas 와 Dask 를 크게 앞섰습니다 (예: NCF 에서 Pandas 대비 17.9 초 대비 2.5 초). 이는 효율적인 열 기반 연산과 PyTorch 텐서로의 제로-복사 전송에 기인했습니다.
  • 에너지: Dask 의 파티션 스케줄링 오버헤드로 인해 Polars 와 Pandas 에 비해 CPU 에너지 소비가 현저히 높았습니다.
• 대규모 데이터셋 (COCO):
  • 실행 시간: 무거운 GPU 작업 부하 (ResNet, Mask R-CNN) 의 경우, GPU 연산이 파이프라인을 지배하여 세 라이브러리 모두 유사한 실행 시간을 달성했습니다.
  • 메모리 및 에너지: Dask 는 파티션화된 데이터 구조로 인해 더 높은 CPU 메모리 풋프린트를 유지했습니다. Polars 와 Pandas 는 더 낮은 CPU 메모리 풋프린트를 유지했습니다. Polars 는 전처리 중 marginal 한 CPU 에너지 절약을 보였으며, 모델 연산이 지배적이어서 백엔드 간 GPU 에너지 소비는 거의 동일했습니다.
• 연산자 수준 분석: 표 2 는 데이터셋 크기가 수십만 행을 초과할 때 모든 모델에 대해 대량 작업에서 Polars 가 일관되게 더 낮은 CPU 에너지 소비를 보임을 나타냅니다.

중요성 및 주장

본 논문은 딥러닝 파이프라인의 데이터프레임 라이브러리에 대한 최초의 포괄적인 엔드투엔드 에너지 분석을 제공함으로써 성능 벤치마킹과 지속 가능한 머신러닝 간의 간극을 해소한다고 주장합니다.

• 실무적 권장사항:
  • Polars: 병렬 실행 및 제로-복사 기능으로 인해 복잡한 데이터 변환이나 신경망이 포함된 워크플로우에서 중규모부터 대규모 데이터셋의 에너지 효율적인 처리를 위해 권장됩니다.
  • Pandas: 생태계의 성숙도가 우선순위인 소규모부터 중규모 작업 부하에서는 여전히 경쟁력 있고 실행 가능합니다.
  • Dask: 데이터가 사용 가능한 RAM 을 실제로 초과하거나 분산 컴퓨팅이 필요한 경우에 적합하지만, 오버헤드로 인해 소규모 데이터셋에서는 더 높은 에너지 사용으로 이어질 수 있습니다.
• 지속 가능성 영향: 본 연구는 GPU 에너지가 종종 모델 자체에 의해 지배되지만, 데이터 로더의 선택이 CPU 에너지 소비 및 메모리 효율성에 상당한 영향을 미친다고 정량화하여, 머신러닝 연동의 탄소 발자국을 줄이기 위한 실행 가능한 통찰력을 제공합니다.

저자들은 Polars 가 에너지 효율성 측면에서 가능성을 보이지만, 라이브러리 선택은 데이터셋 크기, 모델 유형, 하드웨어 제약 조건과 균형을 이루어야 한다고 결론지었습니다. 향후 연구는 이러한 라이브러리를 멀티노드 클러스터와 새로운 하드웨어 가속기에서 탐구할 것을 제안합니다.