기술 요약: Arbor – 자율 에이전트를 위한 인지 계층으로서의 트리 탐색

문제 정의

최근 대규모 언어 모델(LLM) 기반 코드 최적화의 발전은 자율 에이전트가 고립된 계산 대상(예: 단일 커널 또는 특정 연산자)에 대해 고품질의 솔루션을 발견할 수 있음을 입증했습니다. 그러나 실제 프로덕션 소프트웨어의 성능은 여러 계층(애플리케이션, 프레임워크, 컴파일러, 커널, 하드웨어) 간의 복잡한 상호작용으로부터 발생합니다. 한 계층을 최적화하는 작업은 종종 다른 계층에서의 병목 현상이나 성능 저하를 유발하며, 이는 개입이 이전의 성과를 무효화할 수 있는 **상태 유지형의 거대한 액션 공간(stateful, large action space)**을 생성합니다.

기존 방식은 세 가지 주요 한계에 직면해 있습니다:

1. 고립된 범위: 컴파일러 오토튜너와 멀티 에이전트 프레임워크는 일반적으로 단일 계층 또는 단일 타겟 내에서 작동하며, 계층 간 의존성 문제를 해결하지 못합니다.
2. 상태 유지 메모리의 부재: 현재의 시스템은 측정값에 따라 진화하는 공유 작업 메모리를 유지하지 못하며, 실패를 단순한 중단 신호로 취급할 뿐 진단 데이터로 활용하지 못합니다.
3. 연쇄 실패 처리 능력 부족: 최적화가 시스템 크래시나 성능 저하를 일으킬 때, 기존 시스템은 근본 원인을 진단하고, 제약 조건을 탐색 과정으로 역전파하며, 후속 탐색의 형태를 재구성하는 메커니즘이 부족합니다.

핵째 과제는 후보 생성에서 후보 선택으로 전환됩니다. 즉, 각 개입이 병목 현상의 분포를 재편하는 동적인 지형을 탐색해야 하며, 이를 위해 변화를 감지하고, 계층 전반의 실패를 진단하며, 탐색의 경계를 자율적으로 확장할 수 있는 시스템이 필요합니다.

방법론: Arbor 프레임워크

Arbor는 풀스택 성능 최적화를 동적으로 확장되는 액션 공간에 대한 휴리스틱 점수 기반 트리 탐색으로 정식화합니다. 이는 에이전트 간의 공유 작업 메모리 역할을 하는 명시적인 탐색 트리를 유지하는 인지 계층을 도입합니다.

1. 탐색 절차 및 상태 관리

• 트리 구조: 최적화 상태는 프로파일링된 베이스라인을 루트로 하는 트리 $T = (V, E)$입니다. 각 노드는 하나의 액션과 그 결과(유지, 되돌리기 또는 크래시)를 나타냅니다. 루트에서 노드까지의 경로는 일련의 누적된 개입 과정을 정의합니다.
• 동적 확장: 트리는 정적이지 않습니다. 성공적인 액션 이후, 시스템은 이전에 보이지 않던 병목 현상을 드러내기 위해 재프로파일링을 수행하며, 초기화 시에는 존재하지 않았던 새로운 브랜치들을 생성합니다.
• 탐색 루프: 오케스트레이터(Orchestrator)는 다음과 같은 심층 우선 탐색 루프를 실행합니다:
  1. 현재 상태를 프로파일링하여 병목 현상과 GPU 시간 점유율을 식별합니다.
  2. 휴리스틱 함수를 사용하여 후보 액션의 점수를 매깁니다.
  3. 가장 높은 점수를 받은 액션을 도메인 전문가(Domain Specialist)에게 할당합니다.
  4. 정확도 검증 및 엔드 투 엔드 벤치마킹을 통해 결과를 게이팅(gate)합니다.
  5. 트리를 업데이트합니다: 유지된 액션은 새로운 베이스라인이 되고, 되돌려진 액션은 진단 주석을 기록하며, 크래시된 액션은 근본 원인 분석을 트리거합니다.
  6. 병목 분포가 변화함에 따라 남은 후보들의 점수를 재산정합니다.

2. 휴리스틱 점수 산정 (Heuristic Scoring)

후보들은 기대 이득과 비용 및 리스크 사이의 균형을 맞추며, 탐색 보너스를 포함하여 점수가 매겨집니다:
$$h(a) = \frac{g(a)}{c(a) \cdot (1 - r_{acc}) \cdot (1 - r_{crash}) \cdot m_{gap}} + C_s \frac{\ln N}{1 + n_{cat}}$$

• $g(a)$: 타겟 커널의 GPU 시간 점유율과 카테고리별 속도 향상 사전 확률(지속적인 지식 베이스로부터 유도됨)으로부터 추정된 기대 이득.
• $c(a)$: 추정된 실제 소요 시간(구현, 재시작, 벤치마킹).
• $r_{acc}, r_{crash}$: 캠페인이 진행됨에 따라 정교해지는 정확도 및 크래시 발생률의 경험적 실패율.
• $m_{gap}$: 처리량 목표까지 남은 격차에 따라 스케일링되는 긴급도 승수.
• UCB 항: 샘플링이 부족한 액션 카테고리의 탐색을 장려합니다.

3. 체크 앤 밸런스(Checks and Balances)를 갖춘 멀티 에이전트 아키텍처

Arbor는 에이전트의 역량을 하드 스킬(도메인 전문 지식)과 소프트 스킬(조정 프로토콜)로 분해하여 효과적인 엔지니어링 조직을 모사하도록 구조화합니다.

• 오케스트레이터 (The "Tech Lead"):

  • 프로파일링, 점수 산정, 위임을 통해 최적화 루프를 주도합니다.
  • 런타임에 특정 작업(커널, 프레임워크, 통신, 컴파일러, 디스패치)을 위한 도메인 전문가를 동적으로 구축합니다.
  • 하드웨어 컨텍스트, 지식 베이스 항목, 실패 이력을 조합하여 프롬프트를 구성합니다.
  • 직접 코드를 구현하지 않고, 무엇을 시도할지와 누가 구현할지를 결정합니다.

• 크리틱 (The "Quality Assurance"):

  • 안정성과 측정 무결성을 보호합니다.
  • 크래시에 대한 **근본 원인 분석(RCA)**을 수행하여, 구현 오류와 비생산적인 방향을 구분합니다.
  • 벤치마크 이상 징후를 감지하기 위한 가드레일을 집행합니다.
  • 되돌려진 아이디어가 다른 제약 조건 하에서 여전히 가치가 있는지 평가하는 **내성(Introspection)**을 수행합니다.
  • 장기적인 시스템 건전성을 모니터링하고, 생산적이지 않은 영역을 재방문하지 않도록 제약 조건을 공표합니다.

• 도메인 전문가 (Domain Specialists):

  • 작업별로 동적으로 구축됩니다.
  • 비동기적으로 각 계층에서 작동하며, 머지 가능한 패치를 반환하기 전 로컬 검증을 포함한 반복적 정제 과정을 수행합니다.
  • 크리틱이 공표한 제약 조건을 준수합니다.

• 지속적 지식 베이스 (Persistent Knowledge Base):

  • 세션 전반에 걸쳐 전략과 실패 모드를 축적합니다.
  • 새로운 모델과 하드웨어로의 **웜 스타트 전이(warm-start transfer)**를 가능하게 하여, 점수 사전 확률을 알리고 런투런(run-to-run) 변동성을 줄입니다.

주요 기여

1. 상태 유지 트리 탐색 정식화: 논문은 교차 계층 최적화를 트리가 공유 작업 메모리 역할을 하는 트리 탐색으로 정식화합니다. 실패는 자식 노드에 대한 제약으로 전파되며, 성공은 재프로파일링을 유발하여 탐색 경계를 확장합니다.
2. 체크 앤 밸런스 멀티 에이전트 아키텍처: 공격적인 최적화를 추진하는 오케스트레이터와 안정성을 수호하는 크리틱이라는 이중 에이전트 시스템을 도입합니다. 두 에이전트는 독단적으로 시스템을 주도할 수 없으며, 이를 통해 세션의 생존 가능성을 위해 단기적인 처리량 희생이 필요한 경우에만 이를 허용합니다.
3. 기술 분해: 에이전트의 능력을 하드 스킬(도메인 전문 지식)과 소프트 스킬(조정 프로토콜)로 분해하고, 세션 간 전이를 위한 지속적 메모리로 뒷받침합니다.
4. 동적 전문가 구축: 고정된 에이전트 방식에서 벗어나, 특정 최적화 타겟, 하드웨어 컨텍스트, 이력 데이터를 기반으로 런타임에 도메인 전문가를 동적으로 구축합니다.

결과

Arbor는 AMD Instinct GPU(MI355X 및 MI300X) 상에서 6개의 프로덕션 모델에 대한 LLM 추론 서빙을 대상으로 평가되었습니다.

• 처리량 개선:
  • MI355X에서, Arbor는 며칠간의 완전 자율 운영 후 벤더 최적화 베이스라인 대비 **+40%에서 +193%**의 처리량 향상을 달성했습니다.
  • MI300X(세대 간 검증)에서, 개선 폭은 +62%에서 +99% 사이였습니다.
• 재현성: 런투런(Run-to-run) 변동성은 2 퍼센트 포인트 이내였으며, 이는 하드웨어에 무관한 재현성을 입증합니다.
• Ablation/비교: Arbor 하네스(멀티 에이전트 트리 탐색 프레임워크)가 없는 단일 에이전트는 처리량 개선이 **+33%**에서 정체되었으며, 몇 시간 내에 복구 불가능한 크래시가 발생했습니다.
• 사례 연구 (gpt-oss-120b): 120B MoE 모델에 대한 특정 탐색 트리에서, 시스템은 30개의 액션을 탐색했습니다. 9개는 유지되었고, 16개는 진단적 통찰과 함께 되돌려졌으며, 3개는 크래시가 발생했으나 RCA를 통해 복구되었습니다. 시스템은 내성(introspection, 예: 데드 코드 경로 식별)과 RCA(크래시를 알고리즘 결함이 아닌 의존성 문제로 분류)를 활용하여 6,515 tok/s/GPU에 도달했습니다(기존 4,405 tok/s/GPU 베이스라인 대비 48% 향상).

의의 및 주장

본 논문은 Arbor가 고립된 후보 생성에서 상태 유지형의 거대한 액션 공간을 탐색하는 것으로 자율 최적화의 패러다임이 변화했음을 주장합니다. 실패를 탐색을 재편하는 진단 신호로 취급하고 공유 작업 메모리를 유지함으로써, Arbor는 시스템 불안정성으로 인해 불가능했을 완전 자율적인 다일(multi-day) 캠페인을 가능하게 합니다.

이 프레임워크는 다음을 입증합니다:

1. 시스템이 계층 전반의 병목 변화를 감지하고 실패를 진단할 수 있다면, 인간의 개입 없이도 교차 계층 최적화가 가능하다는 점입니다.
2. 체크 앤 밸런스 아키텍처는 공격적인 탐색이 시스템을 불안정하게 만드는 것을 방지하여 지속적인 자율성에 필수적이라는 점입니다.
3. 지속적 메모리를 통해 세션 및 하드웨어 세대 간의 지식 전이가 가능하며, 이를 통해 새로운 하드웨어나 모델의 도입 장벽을 낮출 수 있다는 점입니다.

궁극적으로 Arbor는 전통적으로 소프트웨어 및 하드웨어 스택 전반의 엔지니어링 팀에 요구되었던 조율된 노력을 자동화함으로써, LLM 배포의 운영 비용과 탄소 집약도를 줄이는 것을 목표로 합니다.