기술 요약: LASER – 반구조적 워크플로우 리소스 및 런타임 추정을 위한 언어 모델 회귀

문제 정의

클라우드 워크플로우 작업의 런타임 및 리소스 소비 (CPU, 메모리, 디스크) 를 정확하게 예측하는 것은 효율적인 스케줄링, 비용 통제, 인프라 계획에 필수적입니다. 잘못된 예측은 과잉 프로비저닝 (컴퓨팅 리소스 낭비) 이나 과소 프로비저닝 (작업 실패 및 비용이 많이 드는 재실행 유발) 으로 이어집니다.

현재 접근 방식은 이를 표 형식 회귀 문제로 취급하여, 복잡한 반구조적 작업 구성을 고정 크기 벡터로 평탄화하기 위해 취약한 특징 공학이 필요합니다. 이러한 구성에는 셸 명령어, 도구별 매개변수, 의존성 그래프, 계층적 메타데이터가 포함됩니다. 전통적인 방법은 다음과 같은 문제점에 직면합니다:

• 의미 손실: 수동으로 특징을 코딩하는 것은 aarch64 와 x86_64 타겟과 같은 중요한 의미적 맥락을 포착하지 못하는 경우가 많습니다.
• 취약성: 진화하는 클라우드 서비스에서 흔히 발생하는 새로운 도구나 명령어가 나타날 때 파이프라인이 조용히 중단됩니다.
• 가정 위반: 많은 방법들은 칩 설계나 CI/CD 와 같은 이질적인 워크로드에 적용되지 않는 선형 입력 크기 - 런타임 가정에 의존합니다.
• 데이터 한계: 기존 공개 데이터셋은 실제 세계의 이질적 워크플로우로 모델을 훈련시키는 데 필요한 의미적 다양성이 부족한 경우가 많습니다.

방법론: LASER 프레임워크

LASER (Language model-bAsed regreSsion for sEmi-structured workflow job Resource and runtime estimation, 반구조적 워크플로우 작업 리소스 및 런타임 추정을 위한 언어 모델 기반 회귀) 는 리소스 예측을 시퀀스 - 시퀀스 생성 작업으로 재정의합니다. 특징 공학 대신, 이 프레임워크는 직렬화된 원시 작업 구성에 대해 대규모 언어 모델 (LLM) 을 직접 미세 조정하여 리소스 예측이 포함된 구조화된 JSON 출력을 생성합니다.

이 프레임워크는 세 가지 핵심 기술 혁신에 의존합니다:

1. 과학적 표기법 출력 인코딩

리소스 지표 (메모리의 MB 에서 TB, 런타임의 초에서 시간까지) 는 여러 차수에 걸쳐 있어 표준 선형 회귀 헤드에서 불안정성을 초래합니다.

• 접근 방식: 목표값은 $m \times 10^e$ 형태의 과학적 표기법으로 고정 길이 8 토큰 시퀀스로 인코딩되며, 여기서 만수 $m \in [1.00, 9.99]$이고 지수 $e \in \mathbb{Z}$입니다.
• 이점: 이는 목표별 정규화의 필요성을 없애고 모델이 다양한 스케일에서 일관된 수치 표현을 학습할 수 있게 합니다.
• 토크나이저 제약: 저자는 0–9 숫자를 단일 토큰으로 인코딩하는 토크나이저 (Qwen-3, Gemma-3) 로 실험을 제한하여 고정 길이 인코딩 가정이 유효하도록 합니다.

2. 결정적 접미사 채우기를 통한 제약 디코딩

표준 자기회귀 디코딩은 잘못된 JSON 이나 무효한 수치 형식을 생성할 수 있습니다.

• 접근 방식: 출력 구조 (JSON 키, 구분자, 과학적 표기법 뼈대) 는 알려진 상수입니다. 시스템은 출력을 결정적 토큰(전방 전달 없이 직접 채워짐) 과 생성 토큰(모델이 생성하는 수치 숫자) 으로 분할합니다.
• 이점: 이는 구조적 유효성을 보장하여 (할루시네이션 방지) 고정된 구조 토큰에 대한 전방 전달을 건너뛰어 추론 지연 시간을 30% 이상 줄입니다.

3. 전체 어텐션 미세 조정

최신 장문맥 LLM 은 종종 컴퓨팅을 절약하기 위해 슬라이딩 윈도우 어텐션을 기본값으로 사용합니다.

• 접근 방식: LASER 는 미세 조정 중에 전체 어텐션 메커니즘을 사용합니다.
• 근거: 워크플로우 구성은 종종 멀리 떨어진 필드 간의 예측 신호를 포함합니다 (예: 초기에 지정된 컴파일 타겟이 나중에 호출되는 도구에 영향을 줌). 전체 어텐션은 슬라이딩 윈도우가 놓치는 전역 문맥 가시성을 보장합니다.

실험 설정 및 데이터셋

이 프레임워크는 두 가지 서로 다른 데이터셋에서 검증되었습니다:

1. ChipDV (독점): 산업용 칩 설계 검증 워크플로우에서 온 16 만 개 이상의 클라우드 작업. 구성은 매우 민감하며, 작은 스크립트 변경으로도 런타임이 10 배 증가할 수 있습니다.
2. GHARuntime (공개 벤치마크): GHALogs 에서 파생된 새로운 벤치마크로, 27,000 개 이상의 GitHub 저장소와 20 개 프로그래밍 언어에 걸친 130 만 개의 CI/CD 워크플로우 실행 기록을 포함합니다.

기준선에는 인간 전문가, 과거 최대값, 그리고 최첨단 표 형식 ML 모델 (XGBoost, LightGBM, TabPFN) 이 포함되었습니다.

주요 결과

분포 내 성능

• 우수한 정확도: LASER 는 ChipDV 데이터셋에서 인간 전문가 및 과거 기준선을 크게 능가했습니다. 예를 들어, "ChipDV-Unseen" 세트에서 Gemma-3-12B 모델은 런타임에 대해 평균 절대 오차 (MAE) 23.76 분을 기록한 반면, 인간 전문가는 53.60 분을 기록했습니다.
• 모델 확장: 성능은 모델 크기 (270M 에서 12B 파라미터까지) 에 따라 일관되게 향상되었으며, 가장 큰 모델들이 모든 목표 (런타임, CPU, RAM, 디스크) 에서 최상의 결과를 달성했습니다.

분포 외 (OOD) 일반화

• 시간적 드리프트: 미래 작업 (최대 26 일 ahead) 에서 테스트했을 때, LASER 는 리소스 지표 (CPU, RAM, 디스크) 에 대해 안정적인 정확도를 유지하여 훈련 기간에 과적합된 것이 아니라 일반화 가능한 소비 패턴을 학습했음을 입증했습니다.
• 크로스-저장소 일반화: GHARuntime 벤치마크에서 LASER 는 강력한 데이터 확장 행동을 보여주었습니다. 작은 모델들은 제한된 데이터 (1k 샘플) 로 표 형식 기준선보다 성능이 떨어졌지만, LASER 는 10k–100k 훈련 샘플로 TabPFN-v2.6 과 맞먹거나 능가한 반면, 표 형식 방법은 일찍 정체되었습니다.

효율성 및 제거 실험

• 지연 시간: 제약 디코딩은 다양한 모델 크기에 걸쳐 추론 시간을 30–36% 단축했습니다.
• 어텐션 메커니즘: 전체 어텐션 미세 조정은 슬라이딩 윈도우 어텐션보다 일관되게 우수했으며, 특히 작은 모델 (1B 파라미터) 에서 전역 문맥의 중요성을 확인했습니다.
• 시퀀스 길이: 정확도는 2048 토큰까지 더 긴 시퀀스 길이와 함께 향상되었으며, 그 이후에는 체감 효과가 있었습니다.

중요성 및 주장

이 논문은 반구조적 워크플로우 데이터에 대한 LLM 기반 회귀를 위한 새로운 패러다임을 확립했다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 취약한 특징 공학의 제거: 원시 구성을 텍스트로 취급함으로써 LASER 는 수동 특징 추출의 노동 집약적이고 취약한 과정을 피하여 새로운 도구와 명령어에 대한 일반화를 가능하게 합니다.
2. 회귀에서의 기술적 신규성: 과학적 표기법 인코딩과 제약 디코딩의 결합은 생성을 통한 수치 회귀의 특정 문제 (스케일 및 유효성 처리) 를 해결합니다.
3. 새로운 벤치마크: GHARuntime 의 공개는 워크플로우 런타임 예측을 위한 첫 번째 대규모, 의미적으로 풍부한 공개 벤치마크를 제공하여 해당 분야의 다양한 데이터셋 부족 문제를 해결합니다.

저자들은 LASER 가 미세 조정된 LLM 이 복잡한 반구조적 산업 워크로드에 대한 회귀기로 효과적으로 기능할 수 있으며, 인간 휴리스틱과 전통적인 표 형식 머신러닝 접근 방식을 모두 능가한다고 결론지었습니다.