EROICA: Online Performance Troubleshooting for Large-scale Model Training

EROICA 는 대규모 GPU 클러스터에서 발생하는 하드웨어 및 소프트웨어 성능 문제를 실시간으로 진단하고 근본 원인을 규명하기 위해 프로파일링 기반의 미세 관찰과 차등 관측성을 활용한 최초의 온라인 문제 해결 시스템입니다.

핵심

🎵 제목의 의미: '에로이카'는 왜 이 이름인가요?

논문 제목인 EROICA는 베토벤의 3 번 교향곡 '에로이카'에서 따왔습니다. 이 곡이 고전주의를 넘어 낭만주의의 시작이 된 것처럼, 이 시스템도 기존에 쓰이던 단순한 모니터링 방식을 넘어 차세대 AI 운영 (AIOps) 의 시작이 되기를 바라는 마음을 담고 있습니다.

🏭 배경: 거대한 AI 공장에서의 혼란

현대 AI 모델 (예: 챗봇, 이미지 생성기) 을 훈련시키려면 **수만 개의 그래픽카드 (GPU)**가 한꺼번에 작동해야 합니다. 이는 마치 10 만 명의 요리사들이 동시에 거대한 식당에서 요리를 하는 상황과 같습니다.

• 문제: 요리사 중 한 명이 칼을 잘못 쓰거나, 식재료가 늦게 오거나, 배관 (네트워크) 이 막히면 전체 식당의 요리 속도가 느려집니다.
• 기존 방식의 한계:
  1. 대략적인 감시 (모니터링): "요리 속도가 느려졌네?" 정도는 알 수 있지만, 누가 왜 느린지는 모릅니다. (예: "3 번 테이블이 느려요"까지는 알려주지만, "3 번 테이블의 소스 통이 막혔어요"까지는 모릅니다.)
  2. 정밀한 조사 (오프라인 프로파일링): 모든 요리사의 손동작을 1 초 1 초 기록하면 원인을 찾을 수 있지만, 데이터가 너무 방대해서 실시간으로 처리할 수 없습니다. 게다가 기록하는 동안 요리 속도가 느려져서 실제 식당에서는 쓸 수 없습니다.

💡 EROICA 의 핵심 아이디어: "비교를 통한 추리"

EROICA 는 이 두 가지 단점을 모두 해결합니다. **"모든 요리사의 행동을 기록하되, 기록된 데이터는 아주 간결하게 요약해서 비교한다"**는 아이디어입니다.

1. "이상한 냄새"를 맡는 감지기 (자동 감지)

EROICA 는 평소에는 조용히 있다가, 훈련 속도가 갑자기 느려지면 순간적으로 모든 요리사 (GPU) 의 행동을 기록하기 시작합니다. (이때는 20 초만 기록하므로 식당 운영에 큰 지장을 주지 않습니다.)

2. "요리 패턴" 요약 (데이터 압축)

기록된 방대한 데이터 (수 GB) 를 그대로 분석하면 시간이 너무 걸립니다. 대신 EROICA 는 각 요리사의 행동을 3 가지 숫자로 요약합니다.

• 얼마나 중요한 일을 했나? (전체 시간 중 몇 % 를 썼나?)
• 자원을 얼마나 썼나? (전기나 물 사용량 평균)
• 얼마나 들쑥날쑥했나? (사용량의 변동 폭)

이 요약된 데이터는 원본보다 10 만 배나 작아져서 (3GB → 30KB), 모든 요리사의 데이터를 한눈에 비교할 수 있습니다.

3. "남들과 다른 사람" 찾기 (차이점 분석)

이제 EROICA 는 10 만 명의 요리사 데이터를 비교합니다.

• "대부분의 요리사는 소스 준비에 1 초 걸렸는데, A 요리사만 10 초 걸렸네?"
• "B 요리사는 네트워크 사용량이 유난히 낮아."

이렇게 **남들과 다른 패턴 (이상치)**을 가진 요리사를 찾아내면, 그 사람이 왜 느린지 (네트워크 끊김, 코드 버그, 하드웨어 고장 등) 쉽게 파악할 수 있습니다.

🛠️ 실제 사례: EROICA 가 해결한 문제들

1. 데이터 로딩 병목:

   • 상황: 모든 요리사가 재료를 가져오는 데 시간이 걸림.
   • EROICA 발견: "재료를 가져오는 함수 (recv_into) 가 비정상적으로 오래 걸리고 있어."
   • 해결: 저장소 (데이터 소스) 를 더 빠른 곳으로 변경.

2. 하드웨어 고장 + 코드 문제:

   • 상황: 3,400 개의 GPU 중 일부가 유난히 느림.
   • EROICA 발견: "네트워크 카드 (NIC) 가 고장 난 1 대의 컴퓨터가 있고, 그걸로 인해 다른 컴퓨터들도 대기하고 있어. 또 어떤 컴퓨터는 메모리 정리 (Garbage Collection) 를 하느라 멈춰 있어."
   • 해결: 고장 난 컴퓨터 제거, 메모리 정리 타이밍 조정.

3. AI 가 직접 버그 수정:

   • 상황: 훈련이 멈춤.
   • EROICA 발견: "어떤 요리사가 데이터를 가져오는 도중 '로그'를 찍느라 멈춰 있어."
   • 해결: EROICA 가 찾은 문제 코드를 AI 코딩 도구에 보여주니, AI 가 **"아, 이 부분에서 모든 요리사가 기다려야 하는 '잠금' 상태가 발생했네요. 고쳐드릴게요"**라고 바로 수정 코드를 만들어냈습니다.

🚀 왜 이것이 혁신적인가요?

• 실시간성: 훈련을 멈추지 않고 (또는 아주 짧은 시간만 멈추고) 문제를 찾습니다.
• 정밀성: 하드웨어 문제 (네트워크 끊김) 와 소프트웨어 문제 (나쁜 코드) 를 동시에 찾아냅니다.
• 확장성: 10 만 개 GPU 가 있어도 3 분 만에, 100 만 개 GPU 가 있어도 7 분 만에 진단이 끝납니다.

📝 한 줄 요약

"거대한 AI 공장 (GPU 클러스터) 에서 속도가 느려지면, EROICA 는 모든 기계의 행동을 '간단한 요약본'으로 만들어 서로 비교하고, '남들과 다른 이상한 기계'를 찾아내어 고장 원인 (하드웨어 고장이나 나쁜 코드) 을 정확히 짚어주는 똑똑한 감시관입니다."

이 시스템은 현재 알리바바 클라우드의 10 만 개 GPU 클러스터에서 1 년 반 동안 운영되며, 97.5% 의 성공률로 어려운 성능 문제를 해결해 왔습니다.

기술 요약

EROICA: 대규모 모델 학습 (LMT) 을 위한 온라인 성능 문제 해결 시스템

1. 문제 정의 (Problem)

대규모 모델 학습 (Large Model Training, LMT) 은 현대 GPU 클러스터의 규모가 급증함에 따라 성능 문제 해결이 매우 어려워졌습니다.

• 복잡성: 하드웨어 (GPU, NVLink, NIC 등) 와 소프트웨어 (PyTorch, 데이터 로더, 통신 라이브러리 등) 간의 복잡한 상호작용으로 인해 성능 저하가 발생합니다.
• 기존 방법의 한계:
  • 온라인 모니터링: 전체 클러스터를 커버할 수 있지만, 샘플링 주기가 느리고 (초 단위), 세부적인 원인을 파악하기엔 관찰粒度 (Granularity) 이 너무 큽니다.
  • 오프라인 프로파일링: 미세한 관찰이 가능하지만, 데이터 양이 방대하여 실시간 분석이 불가능하고, 프로파일링 자체의 오버헤드로 인해 실제 학습 환경에서 실행하기 어렵습니다.
• 현실적 어려움: 기존 도구로는 성능 문제의 70% 이상을 진단하지 못하거나, 재현이 불가능한 경우가 많습니다.

2. 방법론 (Methodology)

EROICA 는 온라인 프로파일링과 **차별적 관측성 (Differential Observability)**을 결합하여, 전체 GPU 클러스터에 걸쳐 미세한 관찰을 제공하면서도 오버헤드를 최소화하는 시스템을 제안합니다.

핵심 아이디어:

• 동질적 아키텍처 활용: 대규모 LMT 는 여러 워커 (Worker) 간에 실행 패턴이 유사합니다. 따라서 모든 원시 데이터를 분석하는 대신, 각 워커의 실행 패턴을 요약하여 비교함으로써 이상 징후를 탐지합니다.
• 런타임 행동 패턴 요약 (Runtime Behavior Patterns Summarization):
  • 원시 프로파일링 데이터 (약 3GB/워커) 를 30KB 크기의 행동 패턴 벡터로 압축합니다.
  • 벡터 구성 요소:
    1. $\beta$ (크리티컬 패스 점유율): 함수가 학습의 병목 (크리티컬 패스) 에 머무는 시간 비율.
    2. $\mu$ (평균 하드웨어 자원 활용도): 함수 실행 중 GPU, CPU, 네트워크 대역폭 등의 평균 사용률.
    3. $\sigma$ (자원 활용도 표준편차): 실행 중 자원 사용의 변동성 (예: 네트워크 지연으로 인한 변동).
  • 이 패턴은 절대적인 타임스탬프에 의존하지 않으므로, 클럭 동기화 없이도 호스트 간 비교가 가능합니다.

시스템 아키텍처:

1. 성능 저하 감지: 학습 반복 (Iteration) 시간을 모니터링하여 이상 (지연) 을 감지하면, 모든 워커에서 동시에 프로파일링을 트리거합니다.
2. 프로파일링 및 요약:
   • Torch Profiler 와 nsys 를 사용하여 Python/CUDA 이벤트 및 하드웨어 지표를 수집합니다.
   • 각 워커에서 수집된 데이터를 기반으로 위 3 차원 패턴 벡터를 생성합니다.
3. 근본 원인 국소화 (Localization):
   • 기대치와의 거리 ($D_{f,w}$): 함수의 행동 패턴이 정상 범위와 얼마나 다른지 측정 (전체적 문제 탐지).
   • 차별적 거리 ($\Delta_{f,w}$): 특정 워커의 패턴이 다른 워커들과 얼마나 다른지 측정 (하드웨어 고장 등 국소적 문제 탐지).
   • 이상 함수와 해당 워커를 식별하여 루트 캐스를 특정합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 온라인 프로파일링 기반 LMT 문제 해결 시스템: 오프라인 프로파일링 수준의 미세 관찰과 온라인 모니터링 수준의 전체 커버리지를 동시에 제공합니다.
2. 고효율 차등 관측성 기술: 원시 데이터 대신 '행동 패턴'을 요약하여 데이터 양을 $10^5$배 줄이고, 클럭 동기화 없이 대규모 클러스터에서 실시간 분석을 가능하게 합니다.
3. 실제 생산 환경 검증: 10 만 개 이상의 GPU 를 가진 대규모 클러스터에서 1.5 년간 운영되었으며, 다양한 하드웨어 및 소프트웨어 문제를 성공적으로 진단했습니다.

4. 실험 결과 (Results)

• 성공률: 80 건의 심각한 성능 문제 중 **78 건 (97.5%)**을 성공적으로 진단하고 해결했습니다.
• 성능 개선: 진단된 학습 작업들의 처리량 (Throughput) 을 20% 에서 최대 100% 까지 개선했습니다.
• 확장성:
  • 3,400 개의 GPU 클러스터에서 진단까지 3 분 소요.
  • 시뮬레이션을 통해 100 만 개 GPU 클러스터에서도 7 분 이내에 진단이 가능함을 입증했습니다.
• 오버헤드:
  • 프로파일링 중 학습 지연은 약 20 초 (데이터 생성 시간) 로 제한되며, 패턴 요약 및 국소화는 학습 프로세스 외부에서 수행되어 실제 학습에는 0 의 오버헤드를 줍니다.
• 케이스 스터디:
  • 코드 문제: 데이터 로딩 병목, 비효율적인 Python 함수, 비동기 가비지 컬렉션으로 인한 대기 문제 등을 정확히 식별.
  • 하드웨어/혼합 문제: NIC 다운, 네트워크 대역폭 저하, 로드 불균형 등을 식별.
  • AI 자동 수정: EROICA 의 출력 (문제 함수 및 패턴) 을 AI 코딩 어시스턴트 (Cursor) 에 입력하여, 분산 데드락 (Deadlock) 을 일으키는 버그를 자동으로 수정하고 학습을 복구하는 데 성공했습니다.

5. 의의 및 중요성 (Significance)

• AIOps 의 선구자: EROICA 는 단순한 모니터링을 넘어, 생성된 데이터 패턴을 AI 모델의 프롬프트로 활용하여 자동화된 문제 해결 (Auto-fix) 로 이어지는 **AIOps(인공지능 기반 IT 운영)**의 새로운 패러다임을 제시합니다.
• 실용성: 사용자 코드 수정 없이 import EROICA 한 줄만으로 배포 가능하며, 하드웨어 제공자와 사용자 간의 코드 기밀 유지 문제를 해결합니다.
• 산업적 영향: 대규모 GPU 클러스터 운영 시 발생하는 막대한 컴퓨팅 자원 낭비와 생산 중단을 방지하여, 대규모 AI 모델 학습의 효율성을 획기적으로 높입니다.

---

결론적으로, EROICA 는 대규모 모델 학습 환경에서 발생하는 복잡한 성능 문제를 해결하기 위해, **미세한 관찰 (Fine-grained observation)**과 **대규모 확장성 (Scalability)**이라는 상충되는 요구사항을 성공적으로 조화시킨 혁신적인 시스템입니다.