기술 요약: Dooly

문제 정의

대규모 언어 모델 (LLM) 추론 시스템 배포는 하드웨어, 서빙 엔진, 어텐션 백엔드, 모델 아키텍처, 워크로드 특성으로 구성된 방대한 구성 공간을 탐색해야 합니다. 단일 구성이 모든 워크로드에서 최적일 수 없으며, 성능 순위는 시퀀스 길이 또는 모델 유형에 따라 종종 역전되므로 배포 전 평가가 필수적입니다.

현재 이러한 평가를 위한 표준 도구인 프로파일 기반 시뮬레이터는 효율적인 탐색을 방해하는 두 가지 치명적인 한계에 직면해 있습니다:

1. 정적 구성 의존성: 기존 시뮬레이터는 특정 구성에 대한 연산 집합과 입력 인수를 하드코딩합니다. 소프트웨어 스택 (예: 새로운 서빙 엔진 또는 어텐션 백엔드) 이나 모델 아키텍처의 변경이 발생하면 커버리지를 복원하기 위해 수동으로 재작업해야 합니다.
2. 높은 프로파일링 오버헤드: 시뮬레이터는 서로 다른 구성이 의미상 동일한 계산을 호출하는지 인식하지 못합니다. 결과적으로 새로운 모델이나 백엔드마다 모든 연산을 처음부터 다시 프로파일링합니다. 예를 들어, 단일 백엔드로 네 개의 유사한 크기의 모델을 프로파일링하는 경우 단일 A100 GPU 에서 거의 28 시간의 실제 시간이 소요되며, 이는 모델 수에 따라 선형적으로 증가합니다.

이러한 한계는 LLM 추론의 구조적 이해 부족에서 비롯됩니다. 구체적으로, 입력 차원은 고정된 모델 구성 또는 가변적인 요청 특성에서 파생되며, 많은 모델 구성 값 (예: 헤드 크기, 레이어 수) 이 서로 다른 모델에서 반복되어 프로파일링에서 상당한 중복이 발생한다는 점입니다.

방법론

저자들은 구성에 구애받지 않고 중복을 인식하는 프로파일링 프레임워크인 Dooly를 제안합니다. Dooly 는 구성 간 연산의 구조적 반복성을 활용하여 중복된 프로파일링 실행을 제거합니다. 이 시스템은 세 가지 핵심 구성 요소를 통해 작동합니다:

1. Tainted Runner (의미 주석)

고정된 모델 매개변수와 가변적인 요청 입력을 구분하기 위해 Dooly 는 taint 전파를 사용합니다.

• Source Tainting: 시스템은 서빙 엔진의 진입점 (예: ModelConfig 및 요청 처리 로직) 을 가로채 값을 라벨링합니다. 모델 구성 매개변수는 MODEL_CONFIG로 태그하고, 요청 의존 값 (토큰 수, 배치 크기) 은 NUM_TOKS 및 NUM_REQS로 태그합니다.
• Propagation: 추론 패스가 실행됨에 따라 이러한 taint 는 산술 및 텐서 연산을 통해 전파됩니다. taint 가 어떻게 결합되는지에 대한 규칙이 정의됩니다 (예: 배치 크기에 헤드 차원을 곱하면 복합 MIX taint 가 생성됨).
• Trace Annotation: 결과적으로 생성된 트레이스는 모든 텐서 차원에 그 기원을 주석하여, 어떤 차원이 워크로드 간에 불변이고 어떤 차원이 가변적인지 시스템이 식별할 수 있게 합니다.

2. Operation Set Finder (세분성 해결)

이 구성 요소는 오염된 트레이스를 계층적 호출 그래프로 파싱하여 연산을 고립적으로 프로파일링할 수 있는 가장 미세한 세분성을 결정합니다.

• Hierarchy Construction: 트레이스는 구조적으로 동일한 서브트리 (예: 반복되는 트랜스포머 레이어) 를 정규 대표자로 축소하기 위해 가지치기됩니다.
• Runnability Testing: 시스템은 리프 연산 (개별 커널) 을 고립적으로 실행해 봅니다. 실행 시 런타임 상태 (예: KV 캐시 메모리 또는 어텐션 메타데이터) 가 부족하여 연산이 실패하면 시스템은 상위 모듈로 되돌아갑니다.
• Context Resolution: 독립적으로 실행할 수 없는 상태가 있는 연산의 경우, Dooly 는 서빙 엔진의 자체 초기화 코드를 재사용하여 필요한 런타임 컨텍스트를 재구성하므로 수동 인스트루멘테이션이 불필요합니다.

3. Duplication-Aware Profiler (시그니처 매칭)

이 구성 요소는 서로 다른 구성 간 의미상 동일한 연산을 식별하여 중복된 프로파일링을 제거합니다.

• Signature Generation: 연산은 다음으로 구성된 시그니처 해시로 고유하게 식별됩니다:
  1. 연산 이름과 MODEL_CONFIG로 오염된 차원 (아키텍처에 의해 고정됨).
  2. 배정된 GPU 커널 심볼 집합 (백엔드별 커널 선택 포착).
  3. 런타임 분기를 위한 모듈 수준 속성의 요약 (예: 슬라이딩 윈도우 크기).
     참고: 워크로드 의존 차원 (NUM_TOKS, NUM_REQS) 은 연산의 정체성이 아닌 스윕을 매개변수화하므로 시그니처에서 제외됩니다.
• Selective Profiling: 측정을 배정하기 전에 프로파일러는 지연 시간 데이터베이스를 확인합니다. 시그니처가 이미 존재하면 연산은 건너뜁니다. 사용자 정의된 시퀀스 길이 및 배치 크기 범위 내에서 고유한 시그니처만 프로파일링됩니다.
• Latency Database: 결과는 시그니처 해시를 키로 하는 SQLite 데이터베이스에 저장됩니다. 이 데이터베이스는 기존 시뮬레이터가 지연 시간을 예측하기 위해 학습하는 회귀 모델을 위한 플러그인 백엔드로 사용됩니다.

주요 기여

• 구성 무관 프로파일링: Dooly 는 템플릿을 하드코딩하지 않고 동적으로 연산을 추출하여 프로파일링하므로, 수동 재작업 없이 새로운 모델, 백엔드, 서빙 엔진을 지원할 수 있습니다.
• 중복 제거: taint 전파를 사용하여 모델 파생 차원과 요청 파생 차원을 구분함으로써 Dooly 는 서로 다른 모델 및 구성 간에 동등한 연산을 감지하여 프로파일링 노력을 줄입니다.
• 상태가 있는 연산 고립: 계층적 컨텍스트 해결을 통해 Dooly 는 서빙 엔진의 내부 초기화 로직을 재사용하여 어텐션 커널과 같은 복잡하고 상태에 의존하는 연산을 고립시켜 수동 컨텍스트 재구성의 필요성을 피합니다.
• 플러그인 통합: 생성된 지연 시간 데이터베이스는 기존 시뮬레이터가 종단 간 시뮬레이션을 수행하기 위해 백엔드로 채택할 수 있는 회귀 모델을 학습시킵니다.

결과

저자들은 Dooly 를 두 가지 GPU 플랫폼 (NVIDIA A100 및 H100), 세 가지 어텐션 백엔드 (FlashInfer, FlashAttention, TritonAttention), 그리고 12 가지 다양한 모델 아키텍처 (밀집, MoE, 이종 계열 포함) 에서 평가했습니다.

• 시뮬레이션 정확도: 시뮬레이터 (DoolySim) 에 통합되었을 때, 시스템은 실제 측정값 대비 첫 번째 토큰 도달 시간 (TTFT) 을 평균 절대 백분율 오차 (MAPE) 5% 이내로, 출력 토큰당 시간 (TPOT) 을 8% 이내로 예측합니다. 또한 배치 스케줄링 결정도 0.5% 미만의 MAPE 로 재현합니다.
• 프로파일링 오버헤드 감소: 세 가지 어텐션 백엔드로 프로파일링된 12 개 모델 (총 36 개 구성) 에서 Dooly 는 단순한 중복 제거가 없는 접근 방식 대비 총 프로파일링 GPU 시간을 56.4% 감소시켰습니다.
  • 구체적으로, Llama-3.1-8B 와 Command-R7B 프로파일링은 Dooly 로는 5.2 GPU 시간이 소요된 반면, 단순 방식으로는 8.1 시간이 소요되었습니다.
  • 시스템은 총 612 개의 연산 발생 중 100 개의 고유 시그니처만 식별했으며, 어텐션 시그니처가 절약된 시간의 95% 를 차지했습니다.
• 확장성: 코퍼스에서 몇 개의 모델이 고유한 어텐션 구성을 실행하면, 이후 모델들은 기존 시그니처를 상속하므로 추가 오버헤드가 미미합니다 (0.2 GPU 시간 미만).

중요성 및 주장

이 논문은 Dooly 가 "모든 것을 프로파일링"하는 접근 방식에서 "고유한 것만 프로파일링"하는 접근 방식으로 전환함으로써 LLM 추론 시뮬레이션의 경제성을 근본적으로 변화시킨다고 주장합니다. 모델 구성의 구조적 반복성을 활용함으로써 Dooly 는 연구자와 실무자가 비용이 크게 절감된 상태에서 광범위한 구성에 걸쳐 서빙 전략을 평가할 수 있게 합니다.

저자들은 그들의 접근 방식이 더 넓은 영향에 있어 겸손하다고 강조하며, 이 작업이 기술적 유용성 beyond 는 중요한 윤리적 또는 사회적 영향을 미치지 않는다고 명시합니다. 그들은 PyTorch 디스패처를 우회하는 연산을 추적할 수 없다는 점 (포함된 모듈은 여전히 커버됨) 과 MoE 모델에 대한 무작위 전문가 라우팅을 가정한다는 점과 같은 한계를 인정하며, 데이터 의존 라우팅 모델링은 논문의 범위를 벗어난다고 지적합니다. 주요 기여는 모든 새로운 스택 업데이트마다 수동 엔지니어링이 필요하지 않고 교차 구성 탐색을 실현 가능하고 효율적으로 만드는 실용적인 프레임워크입니다.