Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 추론에서 발생하는 '모달리티 인플레이션' 현상을 분석하여 에너지 소비 패턴을 규명하고, 단계별 동적 전압 및 주파수 스케일링 (DVFS) 을 통해 에너지 효율을 크게 개선할 수 있음을 제시합니다.

핵심

이 논문은 **"멀티모달 대형 언어 모델 (MLLM)"**이라는 최신 AI 기술이 얼마나 많은 전기를 먹는지, 그리고 어떻게 그 전기를 아낄 수 있는지 연구한 내용입니다.

쉽게 말해, **"눈과 귀를 가진 AI(이미지 + 텍스트)"**가 **"눈만 가진 AI(텍스트만)"**보다 전기를 훨씬 더 많이 먹는데, 그 이유와 해결책을 찾아낸 이야기입니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "눈"이 생기면서 생기는 '전력 폭탄' (모달리티 인플레이션)

예전 AI 는 글자만 읽는 독서 클럽이었습니다. 하지만 최신 AI 는 그림도 보고 영상도 보는 다재다능한 예술가가 되었습니다.

• 비유: 독서 클럽은 책 한 권만 읽으면 되지만, 예술가는 그림을 보고, 그 그림을 설명하는 글을 쓰고, 다시 그림을 그리는 작업을 합니다.
• 현상: 이 '그림을 보는 과정 (비전 인코딩)'과 '그림을 글자로 바꾸는 과정'이 추가되면서, AI 가 처리해야 할 작업량이 불어납니다. 논문에서는 이를 **'모달리티 인플레이션 (Multimodal Inflation)'**이라고 부릅니다.
• 결과: 같은 질문을 해도, 그림이 포함되면 AI 는 17% 에서 최대 94% 까지 더 많은 전기를 먹습니다. 마치 같은 거리를 가는데, 걸어서 가는 대신 무거운 배낭을 메고 자전거를 타는 것과 비슷합니다.

2. 분석: 전기는 어디서 가장 많이 쓰일까? (단계별 에너지 분석)

연구진은 AI 가 그림을 처리하는 과정을 세 단계로 나누어 전기 사용량을 측정했습니다.

1. 그림 분석 단계 (Vision Encoding): 그림을 보고 특징을 뽑아내는 작업.
2. 준비 단계 (Prefill): 그림과 글을 합쳐서 AI 가 대답할 준비를 하는 작업.
3. 대답 단계 (Decoding): 실제로 글을 하나씩 써내는 작업.

재미있는 발견:

• 모델 A (예: Qwen2.5-VL): 그림을 분석하는 데 너무 많은 에너지를 씁니다. (마치 그림을 분석하는 데만 1 시간 걸리는 화가)
• 모델 B (예: LLaVA-OneVision): 그림 분석은 빠르지만, 그림을 너무 많은 '조각 (토큰)'으로 잘라서 준비 단계가 엄청나게 길어집니다. (마치 그림을 10,000 조각으로 잘라서 퍼즐을 맞추느라 시간이 걸리는 경우)
• 결론: 모델마다 전기를 먹는 '주범'이 다릅니다. 그래서 "모든 AI 에게 똑같은 전기 절약법을 적용하면 안 된다"는 것을 발견했습니다.

3. 실체 확인: GPU 는 실제로 어떻게 일하고 있을까?

연구진은 AI 가 작동할 때 그래픽 카드 (GPU) 의 전력 소모를 실시간으로 지켜봤습니다.

• 텍스트만 처리할 때: GPU 는 "일단 최고 속도로 달려라!" (고주파수) 상태로 빠르게 일을 끝내고 쉬는 패턴을 보입니다.
• 그림이 들어올 때: GPU 는 중간중간 **"조금만 천천히 해도 될 것 같은 구간"**이 생깁니다. 그림을 분석하는 동안은 전력 소모가 낮게 유지되는데, AI 가 항상 최고 속도로 돌아가고 있어서 전기가 낭비되는 것입니다.
• 비유: 택시 기사가 손님이 없는 빈 차를 타고도 항상 최고 속도로 달리는 것과 같습니다. 손님이 적은 구간에서는 속도를 줄여도 되는데, 그렇게 하지 않아서 연비가 나빠지는 것입니다.

4. 해결책: 상황에 맞는 '스마트한 속도 조절' (DVFS)

이 논문이 제안하는 가장 중요한 해결책은 **'단계별 전압 및 주파수 조절 (DVFS)'**입니다.

• 기존 방식: AI 가 일을 시작하면 처음부터 끝까지 최고 속도로 돌립니다.
• 새로운 제안:
  • 그림을 분석할 때는 속도를 조금 줄여서 전기를 아낍니다. (전기가 덜 들지만, 그림 분석은 시간이 좀 더 걸려도 괜찮음)
  • 정답을 쓸 때는 속도를 높여서 빠르게 응답합니다.
• 효과: 이 방법을 쓰면 성능은 거의 떨어지지 않으면서 전기는 크게 아낄 수 있습니다. 마치 등산을 할 때, 가파른 길에서는 숨을 고르며 천천히 가고, 평지에서는 빠르게 걷는 것과 같습니다.

5. 요약 및 시사점

이 연구는 우리에게 다음과 같은 교훈을 줍니다.

1. AI 는 모델마다 '식성'이 다릅니다. 어떤 모델은 그림을 보는 데 전기를 많이 먹고, 어떤 모델은 그림을 정리하는 데 많이 먹습니다.
2. 무조건 빠른 게 답은 아닙니다. 그림을 분석할 때는 속도를 조금 늦추는 게 오히려 전기세와 환경에 좋습니다.
3. 미래의 AI 서비스: 앞으로 AI 를 운영할 때는 "이 요청에는 어떤 그림이 들어왔나?", "어떤 모델을 쓰는가?"를 보고 실시간으로 전기 사용 전략을 바꿔야 합니다.

한 줄 요약:

"AI 가 그림을 볼 때 전기가 너무 많이 나갑니다. 이제부터는 그림을 분석할 때는 속도를 줄이고, 글을 쓸 때만 속도를 높이는 '스마트한 운전'을 해야 전기를 아낄 수 있습니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 텍스트 기반 대형 언어 모델 (LLM) 에 이미지나 비디오와 같은 추가 모달리티를 통합한 멀티모달 대형 언어 모델 (MLLM) 이 빠르게 발전하고 있습니다.
• 핵심 문제 (Modality Inflation): MLLM 은 텍스트-only 모델에 비해 모달리티 인플레이션 (Modality Inflation) 이라는 새로운 비효율성을 도입합니다. 이는 시각 인코더 (Vision Encoder) 를 통한 추가적인 인코딩 단계와, 생성된 수백에서 수천 개의 시각 토큰 (Visual Tokens) 이 입력 시퀀스를 팽창시켜 프리필 (Prefill) 단계의 부하를 급격히 증가시키는 현상입니다.
• 연구 격차: 기존 연구는 주로 텍스트-only 모델의 에너지 효율성에 집중하거나, 처리량 (Throughput) 과 지연 시간 (Latency) 최적화에 초점을 맞추었습니다. MLLM 의 멀티모달 입력이 에너지 소비에 어떤 영향을 미치고, 파이프라인의 각 단계 (인코딩, 프리필, 디코딩) 에 어떻게 분포되는지에 대한 체계적인 분석은 부재했습니다.

2. 방법론 (Methodology)

• 실험 환경: NVIDIA A100 80GB GPU 를 사용하며, PyTorch 와 Hugging Face Transformers 를 통해 모델을 실행했습니다. GPU 전력 소비는 NVML 을 통해 5ms 간격으로 정밀하게 추적했습니다.
• 평가 대상 모델: 다양한 비전 인코더 아키텍처와 토큰화 전략을 가진 4 개의 대표적인 MLLM 을 선정하여 비교 분석했습니다.
  • LLaVA-1.5: 고정 패치 토큰화 (CLIP ViT)
  • LLaVA-OneVision: 임의 해상도 타일링 (SigLIP ViT)
  • Qwen2.5-VL: 압축된 ViT 기반 인코딩
  • InternVL3: 쿼리 기반 토큰 축소 (QwenViT)
  • 참고: 모든 모델은 7B~8B 파라미터 규모의 동일한 LLM 백본을 공유하도록 설정하여 인코더의 영향만 격리했습니다.
• 실험 설계:
  1. 동일 토큰 수 비교 (Iso-token): 텍스트-only 모델과 MLLM 의 총 입력 토큰 수를 동일하게 맞춘 후 에너지 오버헤드를 측정.
  2. 단계별 분석 (Stage-wise): 인코딩 (Vision Encoding), 프리필 (Prefill), 디코딩 (Decoding) 단계로 파이프라인을 분해하여 에너지와 지연 시간을 측정.
  3. 입력 복잡성 분석: 이미지 해상도 (Resolution) 와 이미지 개수 (Image Count) 를 변화시켜 에너지 스케일링 동작을 분석.
  4. DVFS 최적화 평가: GPU 의 동적 전압 및 주파수 조정 (DVFS) 을 단계별로 적용하여 에너지 절감 효과를 검증.

3. 주요 기여 (Key Contributions)

1. MLLM 추론의 단계별 에너지 특성화: MLLM 추론 파이프라인을 인코더, 프리필, 디코딩 단계로 세분화하여 텍스트-only 모델 대비 에너지 분포를 정량화했습니다.
2. 입력 복잡성에 따른 에너지 스케일링 분석: 이미지 해상도와 개수가 아키텍처별로 어떻게 다른 에너지 소비 패턴을 유발하는지 실증적으로 규명했습니다.
3. 단계별 DVFS 전략 제안: MLLM 추론의 각 단계에 따라 최적의 GPU 주파수가 다르다는 것을 입증하고, 이를 통한 에너지 효율성 개선 방안을 제시했습니다.

4. 주요 결과 (Key Results)

• 에너지 오버헤드 (Energy Overhead):
  • 동일한 입력 조건에서도 모델 아키텍처에 따라 멀티모달 추론의 에너지 오버헤드가 17% 에서 94% 까지 크게 편차를 보였습니다.
  • Qwen2.5-VL은 계산 집약적인 인코더로 인해 94% 의 에너지 증가를 보인 반면, LLaVA-OneVision은 토큰 수는 많았으나 상대적으로 효율적인 인코더로 17% 증가에 그쳤습니다. 이는 토큰 수만으로는 에너지 비용을 예측할 수 없음을 의미합니다.
• 에너지 병목의 이질성 (Heterogeneous Bottlenecks):
  • Qwen2.5-VL: 비전 인코더 단계가 전체 에너지의 대부분을 차지 (약 20.81J, LLaVA-1.5 대비 6 배).
  • LLaVA-OneVision: 인코더는 효율적이지만, 타일링 전략으로 인한 긴 시각 토큰 시퀀스로 인해 프리필 (Prefill) 단계에서 에너지가 급증 (95.78J, InternVL3 대비 12 배).
  • 결론: 모델 아키텍처에 따라 에너지 병목이 인코딩 단계에 있을 수도 있고, 프리필 단계에 있을 수도 있어 일률적인 최적화 전략은 비효율적입니다.
• 전력 프로파일 (Power Profiling):
  • 텍스트-only 모델은 GPU 를 빠르게 최대 전력 (약 400W) 으로 끌어올리는 반면, MLLM 은 인코딩 단계에서 중간 전력 구간 (100W~250W) 에서 상당 시간을 보내는 것을 확인했습니다. 이는 기존 'Race-to-idle' 정책이 MLLM 에 적합하지 않을 수 있음을 시사합니다.
• 입력 복잡성 영향:
  • 이미지 해상도가 높아질 때 Qwen2.5-VL은 토큰 수가 급증하여 에너지와 지연 시간이 비선형적으로 증가하는 반면, LLaVA-1.5는 고정 해상도 리사이징으로 인해 상대적으로 평탄한 스케일링을 보였습니다.
• DVFS 최적화 효과:
  • InternVL3의 경우, 인코딩 단계에서 주파수를 낮추면 (1410MHz → 1050MHz) 지연 시간은 소폭 증가하지만 (11.8% 감소), 에너지는 24.9% 절감되었습니다.
  • 반면, Qwen2.5-VL의 경우 인코딩 단계가 병목이므로 응답 속도가 중요할 때는 높은 주파수가 필요하지만, 여유 시간이 있을 때는 주파수 조정을 통해 에너지를 크게 절감할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• MLLM 서비스의 에너지 효율성 설계 가이드라인 제공: MLLM 은 단일 모델이 아닌 아키텍처별, 입력 복잡도별, 그리고 추론 단계별로 다른 에너지 특성을 가짐을 밝혔습니다. 따라서 "일률적인 (One-size-fits-all)" 서비스 정책은 비효율적이며, 모델 아키텍처와 입력 특성을 인지한 (Input-aware, Architecture-aware) 동적 최적화가 필수적입니다.
• 단계별 동적 전압/주파수 조정 (Stage-wise DVFS) 의 유효성 입증: 추론 파이프라인의 각 단계 (인코딩 vs 프리필) 에 따라 최적의 GPU 주파수가 다르다는 것을 증명하여, SLO(서비스 수준 목표) 를 고려한 지능형 전력 관리 정책의 필요성을 강조했습니다.
• 지속 가능한 AI (Sustainable AI) 기여: 대규모 MLLM 배포 시 발생하는 막대한 에너지 소비 문제를 해결하기 위한 구체적인 기술적 통찰을 제공하며, 데이터센터 차원의 운영 비용 절감 및 탄소 배출 감소에 기여할 수 있는 방향을 제시합니다.

이 논문은 MLLM 의 에너지 소비 메커니즘을 체계적으로 규명함으로써, 향후 더 효율적이고 지속 가능한 멀티모달 AI 시스템 설계의 기초를 마련했다는 점에서 중요한 의의를 가집니다.