stratum: A System Infrastructure for Massive Agent-Centric ML Workloads

이 논문은 대규모 LLM 기반 에이전트 중심의 ML 파이프라인 탐색 작업을 지원하기 위해 기존 Python 생태계와 호환되면서도 Rust 기반 런타임 등을 활용한 최적화된 실행을 가능하게 하는 새로운 시스템 인프라 'stratum'을 제안하고, 이를 통해 탐색 속도를 최대 16.6 배까지 향상시킬 수 있음을 보여줍니다.

핵심

🚧 문제: AI 가 너무 많은 일을 하다가 지쳐버리는 상황

최근 AI(대형 언어 모델) 는 스스로 데이터를 분석하고, 모델을 만들고, 성능을 개선하는 '데이터 과학자' 역할을 하고 있습니다. 이를 **'에이전트 (Agent)'**라고 부릅니다.

하지만 현재 이 AI 에이전트들이 일하는 방식에는 큰 문제가 있습니다.

• 비유: 혼잡한 공사 현장
  Imagine you have a brilliant architect (the AI) who designs 1,000 different house plans in an hour. However, the construction crew (the current Python system) is tiny, disorganized, and uses old-fashioned tools.
  • 중복 작업: 같은 벽돌을 10 번이나 나르는 경우가 많습니다. (같은 데이터를 여러 번 읽음)
  • 혼란: 100 개의 팀이 동시에 자재를 가져가려다 문이 막힙니다. (컴퓨터 메모리 부족, 병목 현상)
  • 비효율: 건축가가 "이 벽은 빨간색으로 칠해"라고 하면, 일꾼은 "네, 빨간 페인트 통을 열고, 붓을 들고, 칠합니다"라고 매번 새로 시작합니다. (매번 새로운 프로그램을 실행)

결과적으로 AI 는 엄청난 아이디어를 내지만, 실제 실행 속도가 너무 느려서 수천 번의 실험을 하려면 며칠이 걸립니다.

---

🏗️ 해결책: Stratum(스트라텀) - 똑똑한 공사 지휘본부

이 문제를 해결하기 위해 제안된 Stratum은 단순한 도구가 아니라, **모든 작업을 통합하고 최적화하는 '지하철 공사 지휘본부'**와 같습니다.

1. 통합된 설계도 (DAG - 방향성 비순환 그래프)

기존 시스템은 AI 가 매번 새로운 명령을 내릴 때마다 일꾼들이 따로따로 움직였습니다. 하지만 Stratum 은 AI 가 내린 1,000 개의 명령을 한 장의 거대한 설계도로 합칩니다.

• 비유: "A 벽을 쌓고, B 창문을 달고, C 천장을 칠하라"는 명령을 따로따로 주는 대신, **"A, B, C 순서대로 진행하되, A 와 B 가 같은 자재를 쓰니까 한 번만 가져오라"**고 지시합니다.
• 효과: 불필요한 이동과 중복 작업을 없애줍니다.

2. 최고의 장비로 교체 (Rust 백엔드)

기존의 Python(파이썬) 은 유연하지만 느립니다. 마치 장난감 차를 타고 고속도로를 달리는 것과 비슷합니다. Stratum 은 이 장난감 차를 **고속 레이싱 카 (Rust 언어 기반)**로 교체합니다.

• 비유: 일꾼들이 느린 손으로 페인트를 바르는 대신, 자동 분사 장비를 사용하여 순식간에 벽을 칠합니다.
• 효과: 같은 작업을 10 배, 20 배 더 빠르게 처리합니다.

3. 지능형 자원 관리 (병렬 처리 및 캐싱)

Stratum 은 컴퓨터의 CPU 와 메모리를 똑똑하게 분배합니다.

• 비유: 100 명의 일꾼이 있는데, 90 명이 빈손으로 서 있는 경우가 많습니다. Stratum 은 **"너는 A 작업을 하고, 너는 B 작업을 하고, C 작업은 이미 다 해뒀으니 그걸 가져다 써라"**라고 실시간으로 지시합니다.
• 효과: 컴퓨터의 모든 자원을 100% 활용하여, 한 번 실행한 데이터는 다시 읽지 않고 저장해 둡니다 (캐싱).

---

🚀 실제 효과: 얼마나 빨라졌을까?

논문의 실험 결과, Stratum 을 사용하면 기존 방식보다 최대 16.6 배까지 빨라졌습니다.

• 기존: AI 가 100 개의 모델을 테스트하는 데 10 시간이 걸림.
• Stratum: 같은 작업을 약 40 분 만에 끝냄.

이는 마치 도보로 도시를 횡단하던 것을, 초고속 열차를 타고 횡단하는 것과 같은 차이입니다.

---

💡 요약: 왜 이것이 중요한가요?

미래의 AI 는 스스로 더 복잡한 문제를 해결하려 할 것입니다. 하지만 현재의 시스템은 그 속도를 따라가지 못해 AI 가 '지루해'하거나 '지쳐버릴' 수 있습니다.

Stratum은 AI 가 아이디어를 내는 속도와 실제 실행 속도를 맞춰주는 필수적인 다리입니다. 이 시스템이 도입되면, AI 는 더 적은 시간 안에 더 많은 실험을 통해 더 똑똑한 모델을 찾아낼 수 있게 됩니다.

한 줄 요약:

"AI 가 스스로 머신러닝 모델을 만들 때, 혼란스러운 공사 현장을 정교하게 계획된 고속도로로 바꿔주는 새로운 시스템입니다."

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 의 발전으로 **자율적 또는 반자율적 에이전트 (Agentic AI)**가 데이터 과학 파이프라인을 생성, 검증, 최적화하는 새로운 워크로드 유형이 등장했습니다. 그러나 기존 시스템은 이러한 에이전트 중심의 ML 워크로드를 효율적으로 지원하지 못합니다.

• 기존 Python ML 생태계의 한계: Pandas, scikit-learn 등 기존 라이브러리는 인간 중심의 대화형, 순차적 워크플로우에 최적화되어 있습니다. 에이전트는 수천 개의 파이프라인을 생성하고 반복적으로 실행하며, 이는 Python 의 해석 실행 모델, 라이브러리 수준의 격리, 그리고 대규모 파이프라인 실행을 위한 런타임 지원 부족으로 인해 메모리 부족 (OOM), 비효율적인 하드웨어 활용, 중복 계산을 초래합니다.
• 기존 고성능 ML 시스템의 부적합성: SystemML, DAPHNE 등 기존 시스템 연구는 주로 DSL(도메인 특화 언어) 에 의존하거나 특정 워크로드에 국한되어 있어, LLM 이 주로 사용하는 Python ML 라이브러리와 통합하기 어렵습니다. 또한, 에이전트가 생성하는 방대하고 이질적인 코드에 대한 최적화가 부족합니다.
• 핵심 문제: 에이전트가 생성하는 수천 개의 파이프라인을 실시간으로 처리하고, 중복을 제거하며, 하드웨어 자원을 효율적으로 활용할 수 있는 통합된 시스템 인프라의 부재입니다.

2. 제안 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 stratum이라는 새로운 시스템 인프라를 제안합니다. stratum 은 에이전트의 계획/추론 단계와 파이프라인 실행 단계를 분리하여, 에이전트가 생성한 파이프라인 배치 (Batch) 를 통합적으로 최적화하고 실행합니다.

주요 아키텍처 및 기술적 요소:

1. 선언적 추상화 및 DAG 변환 (Declarative Abstraction):

   • 에이전트나 인간이 작성한 다양한 Python ML 코드 (Pandas, scikit-learn, PyTorch 등) 를 skrub 라이브러리의 DataOps 추상화를 통해 **지연 평가 (Lazy Evaluation) 가능한 방향 비순환 그래프 (DAG)**로 변환합니다.
   • 이를 통해 제어 흐름이 제거되고 데이터 의존성만 남는 실행 그래프를 생성하여 최적화의 기반을 마련합니다.

2. 논리 최적화 (Logical Optimizer):

   • 메타데이터 수집: 연산자 (Operator) 의 유형, 소스 라이브러리, 구조적 속성 (선택, 투영 등), 데이터 특성 (행/열 수, 타입) 등을 수집합니다.
   • 재작성 (Rewrites): 수집된 메타데이터를 기반으로 공통 부분 식 제거 (CSE), 선택/투영 하강 (Pushdown), 상수 폴딩, API 인지 재작성 (예: Pandas 복사 최소화) 등을 수행하여 불필요한 계산을 제거합니다.
   • 연산자 하향 (Operator Lowering): 고수준 연산자 (예: Cross-validation, TableVectorizer) 를 세분화된 저수준 연산자로 분해하여 최적화 공간을 확장합니다.

3. 연산자 선택 및 Rust 백엔드 (Operator Selection & Rust Backend):

   • 계층적 연산자 선택: 논리 연산자에 대해 여러 물리 구현 (scikit-learn, Polars, Rust 커널 등) 을 제공합니다. 비용 기반 최적화 (Cost-based Optimization) 를 통해 메모리 제약 하에서 실행 시간을 최소화하는 구현체를 선택합니다.
   • Rust 기반 런타임: Python 의 GIL(Global Interpreter Lock) 병목 현상을 해결하기 위해 자주 사용되는 연산자를 Rust로 재구현했습니다. PyO3 를 통해 Python 과 연결하며, 제로-コピー (Zero-copy) 데이터 접근, 명시적 메모리 제어, GIL 해제 및 Rayon 을 통한 네이티브 데이터 병렬화를 지원합니다.

4. 런타임 최적화 (Runtime Optimizations):

   • 병렬화 계획: DAG 기반의 비용 최적화를 통해 연산자 간 (Inter-operator) 및 연산자 내 (Intra-operator) 병렬화를 계획하여 하드웨어 리소스 (CPU, GPU) 를 효율적으로 활용합니다.
   • 중간 결과 재사용 (Intermediate Reuse): 에이전트 워크로드의 반복적 특성을 활용하여, 해시 기반 캐싱을 통해 이전 파이프라인 실행의 중간 결과 (데이터프레임, 모델 상태 등) 를 재사용합니다. 캐시는 메모리 및 디스크 (Parquet) 에 저장되어 다음 반복에서 즉시 로드됩니다.

3. 주요 기여 (Key Contributions)

1. 에이전트 워크로드 분석: 대규모 에이전트 파이프라인 검색의 실행 특성 (높은 중복성, 상태 비저장 실행, 리소스 비효율성) 을 분석하고 이를 위한 새로운 시스템 요구사항을 도출했습니다.
2. 통합 시스템 아키텍처 (stratum): Python ML 라이브러리와 호환성을 유지하면서, 논리 최적화, 연산자 하향, Rust 백엔드, 비용 기반 병렬화 및 캐싱을 통합한 최초의 시스템 인프라를 설계했습니다.
3. 시스템 인식 에이전트 (System-aware Agent) 비전: 에이전트가 시스템의 최적화 능력 (예: 캐싱, 병렬화) 을 인지하고 협력할 수 있는 새로운 패러다임을 제시했습니다.
4. 초기 프로토타입 및 실험: 실제 에이전트 (AIDE) 가 생성한 워크로드를 기반으로 한 프로토타입 구현 및 성능 평가를 수행했습니다.

4. 실험 결과 (Results)

Kaggle 주택 가격 예측 데이터셋을 기반으로 AIDE 에이전트가 생성한 워크로드를 사용하여 성능을 평가했습니다.

• 종단 간 성능 (End-to-end Performance):
  • 기존 순차 실행 (Base) 대비 16.6 배의 속도 향상.
  • 기존 멀티프로세싱 기반 병렬 실행 (Base_par) 대비 7.8 배의 속도 향상. (Base_par 은 메모리 오버헤드와 직렬화 비용이 큼)
• 최적화 기여도 분석 (Ablation Study):
  • 논리 최적화 (CSE 등): 약 2.2 배 속도 향상.
  • 연산자 선택 (Python → Native/Rust): 추가 4.5 배 향상 (GIL 해제 및 네이티브 병렬화 효과).
  • 연산자 간 병렬화: 추가 10% 향상.
• 자원 효율성: 메모리 사용량을 크게 줄이고 CPU 코어 활용도를 균일하게 유지하여 OOM 오류를 방지했습니다.

5. 의의 및 결론 (Significance)

• 새로운 시스템 클래스의 필요성 제시: LLM 기반 에이전트 시대에 맞춰, 고수준 Python API 의 편의성과 저수준 시스템 최적화 간의 격차를 해소하는 새로운 데이터 시스템 클래스가 필요함을 강조했습니다.
• Python 생태계와의 호환성: 기존 ML 라이브러리를 대체하지 않고, 그 위에서 작동하며 최적화하는 '레이어' 역할을 하여 실제 산업계 도입 장벽을 낮췄습니다.
• 효율적인 에이전트 협업: 에이전트가 생성한 수천 개의 파이프라인을 단순히 병렬로 실행하는 것을 넘어, 시스템 수준에서 중복을 제거하고 자원을 최적화함으로써 대규모 ML 자동화의 실용성을 높였습니다.
• 미래 방향: 멀티테넌시 클라우드 서비스, 시스템 인식 에이전트, DNN 워크로드 지원 (CUDA/PyTorch 통합) 등을 통해 지속적인 연구 개발이 필요한 분야임을 제시했습니다.

요약하자면, stratum 은 에이전트 기반 ML 개발의 폭발적인 증가에 대응하여, Python 기반의 이질적인 파이프라인을 통합된 DAG 로 변환하고 Rust 기반의 고성능 런타임과 최적화 기법을 적용하여 실행 효율을 극대화하는 혁신적인 시스템 인프라입니다.