기술 요약: 샘플링된 피크(Sampled-Peak) 시스템 및 HPC 클러스터의 GPU 메모리 활용도 예측을 위한 히스토리 우선 신뢰성 게이트 기반 퓨전(History-First Reliability-Gated Fusion)

1. 문제 정의

고성능 컴퓨팅(HPC) 클러스터는 사용자가 제출하는 보수적인 자원 요청(CPU, 메모리, GPU, 실행 시간)으로 인해 빈번하게 용량 파편화 문제를 겪습니다. 이러한 요청은 자원 고갈을 방로하지만, 지속적인 과대 추정은 스케줄링 및 배치 결정을 약화시킵니다. 기존 예측 모델은 스케줄러 메타데이터, 사용자 식별자 또는 최근 활용 이력에 크게 의존합니다. 이러한 방식은 효율적이지만, 특정 스케줄러 필드에 명시적으로 반영되지 않는 한 실행 가능한 로직, 명령행 인자(command-line arguments) 또는 임베디드 코드의 변화를 포착하지 못합니다. 반대로, 코드 모델(예: 대규모 언어 모델, LLM)에만 의존하는 것은 동일한 스크립트에 대한 신뢰할 수 있는 이력이 존재함에도 불구하고 추론 비용을 발생시킵니다. 또한, 고정된 이력 가중치는 워크로드가 변경되거나 정확한 동일 스크립트의 이전 사례가 없는 경우 해로울 수 있습니다.

핵심 과제는 제출 시점에 실행 가능한 잡 스크립트(job scripts), 제출 시점의 요청 사항, 사용자 식별자, 그리고 엄격한 이벤트 시간 기준 적격 이력(현재 제출 전 완료된 잡들)을 효과적으로 융합하여 샘플링된 피크 자원 활용도(특히 시스템 메모리 및 GPU VRAM)를 예측하면서, 추론 비용을 최소화하고 콜드 스타트(cold-start) 시나리오를 처리하는 것입니다.

2. 방법론: 히스토리 우선 신뢰성 게이트 기반 캐스케이드(History-First Reliability-Gated Cascade)

저자들은 코드 인코더를 건너뛰고 이력을 사용할지, 아니면 두 소스를 모두 융합할지를 동적으로 결정하는 히스토리 우선 신뢰성 게이트 기반 캐스케이드를 제안합니다. 이 시스템은 레이블이 잡 완료 후에만 가용해지는 연대기적 이벤트 시간 프로토콜 상에서 작동합니다.

A. 핵심 구성 요소

1. 멀티모달 코드 예측기 (Qwen2.5-Coder-1.5B):

   • LoRA가 적용된 Qwen2.5-Coder-1.5B-Instruct 백본이 4096-토큰 컨텍스트(헤드 60%, 테일 40% 유지)를 사용하여 실행 가능한 스크립트를 인코딩합니다.
   • 스크립트 임베딩을 사용자 임베딩(64차원) 및 표준화된 메타데이터(요청된 CPU, 메모리, GPU, 실행 시간, 메모리/코어)와 256차원 공간으로 융합합니다.
   • 두 개의 예측 헤드가 메모리 및 VRAM 활용도 비율에 대한 독립적인 추정치를 출력합니다.

2. 강건한 이벤트 시간 이력 전문가(Robust Event-Time History Experts):

   • 현재 제출 이전에 완료된 잡들을 기반으로 이력을 구축합니다.
   • Last-1, Median-3, Median-5, 그리고 지수 시간 감쇠 평균(168시간 반감기)의 네 가지 후보 추정치를 유지합니다.
   • 동일 사용자 이력보다 정확한 스크립트 이력(동일한 SHA-256 레드액티드 스크립트)을 우선시합니다.

3. 사전 추론 신뢰성 게이트 (우회 메커니즘):

   • 경량 그래디언트 부스팅 분류기($C_{r,e}$)가 특정 이력 후보가 Qwen 인코더를 우회할 만큼 신뢰할 수 있는지 평가합니다.
   • 조건: 우회는 정확한 스크립트 이력이 존재하고, 분류기가 이력 추정치가 Qwen 예측과 0.10 허용 오차 범위 내에 있다고 예측할 때만 허용됩니다.
   • 우회되는 경우, 시스템은 이력 추정치를 직접 사용하여 추론 비용을 절감합니다.

4. 사후 추론 동적 융합:

   • 인코더가 호출되는 경우, 두 번째 그래디언트 부스팅 회귀 모델($G_{r,e}$)이 Qwen 출력($Q_{jr}$)과 이력 추정치($H_{jr}$)를 혼합하기 위한 잡별 가중치($\gamma_{jr}$)를 학습합니다.
   • 신뢰 영역(Trust Region): 정확한 스크립트 이력의 경우, 분산 인식 신뢰 영역이 이력 값으로부터의 편차를 제한하며, 최종 예측을 $[H_{jr} - d_{jr}, H_{jr} + d_{jr}]$로 클리핑합니다. 여기서 $d_{jr}$은 이력의 중앙 절대 편차(MAD)에 따라 결정됩니다.
   • 최종 출력은 $[0, 1]$로 클리핑됩니다.

B. 훈련 및 선택 프로토콜

• 데이터: 이종 Slurm 클러스터의 11.5개월 생산 트레이스(2025년 8월~2026년 7월)에서 추출한 19,321개의 유효한 잡.
• 분할: 데이터 누수를 방지하기 위해 "완료 경계 제거(completion-boundary purge)"를 포함한 연대기적 분할(Train/Val/Test)을 수행합니다.
• 정책 선택: 검증 블록을 사용하여 각 자원에 대해 최적의 이력 전문가와 우회 임계값을 공동 선택합니다. 이러한 정책은 테스트 재현 전 고정됩니다.
• 손실 함수: 자원별 가중치가 부여된(VRAM이 메모리보다 2배 더 높은 가중치) Masked Smooth L1 손실을 사용합니다.

3. 주요 기여

1. 정식화: 실행 가능한 스크립트, 메타데이터 및 엄격한 이벤트 시간 적격 이력을 명시적인 자원 유효 마스크와 함께 통합하는 새로운 샘플링된 피크 예측 정식화.
2. 아키텍처: 다음을 결합한 히스토리 우선 신뢰성 게이트 기반 캐스케이드:
   • 보수적인 정확한 스크립트 우회 (신뢰할 수 있는 경우 인코더 비용 회피).
   • 사후 추론 융합 (코드-이력 혼합 적응).
   • 반복적인 체제에서의 큰 편차를 방지하기 위한 분산 인식 신뢰 영역.
3. 경험적 검증: 5개의 훈련 시드에 걸친 19,321개 잡에 대한 평가를 통해 강력한 베이스라인 대비 평균 절대 오차(MAE)의 유의미한 감소를 입증.
4. 효율성 분석: 라우팅 비율, 캐시 히트율, 측정된 추론 지연 시간(RTX 4090 D에서 31.31 ms)을 포함한 구현 트레이드오프 특성화.

4. 결과

제안된 캐스케이드는 XGBoost, TextCNN, BiLSTM 및 "계층적 동일 스크립트 Last-1"(이력을 우선시하지만 동적 융합이 결여됨)을 포함한 베이스라인들과 비교 평가되었습니다.

• 성능 지표 (5개 시드에 대한 평균 ± 표준 편차):
  • 메모리: MAE 0.0818, RMSE 0.1777, Acc@10% 79.46%.
  • VRAM: MAE 0.0823, RMSE 0.1634, Acc@10% 77.11%.
• 개선 사항:
  • Hierarchical Same-Script Last-1 대비, 캐스케이드는 평균 MAE를 4.83%(메모리) 및 13.70%(VRAM) 감소시켰습니다.
  • VRAM MSE 및 RMSE는 각각 36.61% 및 20.38% 감소했습니다.
• 통계적 유의성:
  • 쌍체 일(day-block) 부트스트랩 구간(67일 기준)은 모든 시드에서 제안된 방법의 낮은 VRAM MAE, MSE, RMSE를 일관되게 지원합니다.
  • 메모리 개선 및 Acc@10% 차이는 통계적으로 불충분했습니다(구간이 0을 포함).
• 서브그룹 분석:
  • 캐스케이드는 정확한 스크립트 이력이 부재할 때 탁월한 성능을 보입니다(동적 융합이 가치를 제공함).
  • 정확한 스크립트 이력이 존재할 때는 "Hierarchical Same-Script Last-1"이 특히 VRAM에 대해 매우 경쟁적인 성능을 유지하며, 이는 "히스토리 우선" 철학을 검증합니다.
• 효율성:
  • 라우팅: 라우팅 및 정확한 캐시 재사용을 통해 인코더 포워드가 필요한 테스트 잡의 비율은 49.71%였습니다(우회 미적용 시 51.60%에서 감소).
  • 지연 시간: 캐시되지 않은 배치-1 추론은 NVIDIA GeForce RTX 4090 D에서 평균 31.31 ms를 기록했습니다.

5. 의의 및 주장

본 논문은 신뢰성 인식 융합과 선택적 인코더 실행이 샘플링된 피크 자원 예측을 위한 실용적인 방향임을 주장합니다.

• 상보성: 결과는 코드 모델과 이력 데이터가 상보적이라는 견해를 뒷받px니다. 코드 모델은 이력이 없거나 행동이 변할 때 가치를 제공하며, 이력은 반복적이고 정확한 스크립트 워크로드에 있어 우월합니다.
• 운영 가능성: 시스템은 대규모 코드 모델(Qwen2.5-Coder-1.5B)을 생산 파이프라인에 통합하는 것이 가능함을 보여줍니다(게이팅 메커니즘을 통해 인코더 호출을 최소화함으로써 약 35%의 잡을 우회하고, 라우팅된 잡의 약 24%를 정확한 캐시 재사용을 통해 처리).
• 겸손함: 저자들은 포인트 에러(point-error) 개선이 안전한 오버서브스크립션(oversubscription)이나 즉각적인 스케줄러 수준의 절감을 보장하지 않는다는 점을 명시합니다. 이들은 예측기를 완전한 오버서브스크립션 정책이라기보다 계획 보조 도구로 규정하며, 과소 예측과 과대 예측이 서로 다른 운영상의 결과를 초래한다는 점을 언급합니다. 본 연구는 관찰된 환경을 특성화하는 것이며, 모든 HPC 클러스터나 워크로드에 대한 보편적 우월성을 주장하지 않습니다.

요약하자면, 본 논문은 코드 언어 모델의 예측 능력과 이력 데이터의 효율성 및 신뢰성 사이의 균형을 효과적으로 맞추는, 이벤트 시간 제약 조건이 준수된 견고한 프레임워크를 제시하며, 운영 효율성을 유지하면서도 생산 HPC 트레이스에서 최첨단 정확도를 달성했습니다.