From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

기술 요약: 인간의 가이드에서 자율성으로: 공간적 NPU 상의 엔드 투 엔드 LLM 배포를 위한 에이전트 스킬 시스템

문제 정의
공간적 뉴럴 프로세싱 유닛(Spatial NPU)은 엣지 LLM 추론을 위한 에너지 효율적인 플랫폼을 제공한다. 그러나 이러한 자원 제한적인 하드웨어 가속기 상에 LLM을 엔드 투 엔드로 배포하는 과정은 상당한 전문 엔지니어링을 요구하는 노동 집약적인 프로세스로 남아 있다. AI 코딩 에이전트가 엔지니어링 비용을 줄이기 시작했으나, 기존 연구는 전체 엔드 투 엔드 배포보다는 단일 커널 최적화에 주로 집중되어 있다. 또한, 공간적 NPU에 필수적인 하드웨어 관리, 데이터 이동 스케줄링, 그리고 타일 레벨 커널 배치를 처리하기 위해 자율적으로 호출될 수 있는 구성 가능한 "에이전트 스킬(Agent Skills)"로서 전체 배포 워크플로우를 인코딩하는 프레임워크는 현재 존재하지 않는다.

방법론
저자들은 인간 주도 개발에서 에이전트 자율성으로의 전환을 설계한, AMD XDNA™2 NPU에 구현된 2단계 방법론을 제안한다.

• 1단계: 인간 가이드 기반 에이전트 보조 (참조 배포):
  팀은 Claude Opus 4.7을 탑재한 Claude Code를 코파일럿으로 사용하여 BF16 Llama-3.2-1B 모델을 엔드 투 엔드로 배포했다. 희소한 툴링 문서와 불투명한 에러 메시지의 복잡성을 관리하기 위해, 이들은 "문서 우선(documentation-first)" 원칙을 채택했다. 구조화된 마크다운 문서 세트(예: plan.md, issues.md, perf_opt_traj.md)를 통해 최적화 궤적, 디버깅 단계 및 설계 근거를 기록했다. 에이전트는 인간의 감독 하에 코드 수정, 프로파일링, 툴 실행을 수행했으며, 모든 결정 사항은 로그로 남겨졌다. 이 과정은 수동 최적화 베이스라인(IRON) 대비 프리필(prefill)에서 2.2배, 디코드(decode)에서 4.0배의 속도 향상을 달ยิ่ง했다. 주요 최적화로는 벡터화, 형상 특화 타일 튜닝, 퓨즈드 커널 설계(15개의 커널을 3개의 디스패치로 병합), 그리고 제로 카피 버퍼 매핑 및 불필요한 데이터 전송 생략과 같은 호스트 측 최적화가 포함되었다.

• 2단계: 에이전트 스킬 시스템 (자율 배포):
  1단계의 문서와 최적화 궤적은 재사용 가능한 "에이전트 스킬 시스템"으로 증류되었다. 이 시스템은 미처 접해보지 못한 새로운 LLM의 배포를 조율하기 위해 8단계 파이프라인을 수행한다:

  1. Phase 0–3 (정확성): 모델을 CPU FP32 오라클로 분해하고, 개별 NPU 커널을 검증하며, 이를 단일 트랜스포머 블록으로 연결한 뒤 N-레이어 전체 모델으로 확장함으로써 엔드 투 엔드 기능적 정확성을 확립한다.
  2. Phase 4–5 (최적화): 프리필 및 디코드 병목 현상을 해결하기 위해 특정 최적화 스킬(예: 멀티 커널 병합, 버퍼 재사용, 레이아웃 정렬)을 적용한다.
  3. Phase 6 (통합): 프리필과 디코드를 단일 러너로 통합하고 새로운 발견 사항을 수집한다.
  4. Phase 7 (독립적 평가): 사전 컨텍스트가 없는 독립적인 평가 에이전트를 생성하여 배포를 재감사하고, 수치 게이트를 재실행하며, 성능 보고서를 검증하여 보상 해킹(reward hacking)을 방지한다.

결정적으로, Phase 0–6는 CPU FP32 참조 모델에 대한 엄격한 수치적 정확성 게이트(절대 오차, 상대 오차, 피어슨 상관계수 측정)를 강제한다. 게이트 실패 시, 시스템은 알려진 실패 패턴에 기반하여 디버그 스킬을 자동 호출하거나 인간의 개입을 요청한다.

주요 기여

1. 고성능 참조 배포: 수동 최적화 베이스라인보다 프리필에서 2.2배, 디코드에서 4.0배 더 뛰어난 성능을 보이는 Llama-3.2-1B의 AMD XDNA 2 NPU 상 엔드 투 엔드 배포를 달성하였으며, 전체 최적화 궤적을 문서화하여 스킬 시스템의 토대를 마련했다.
2. NPU를 위한 에이전트 스킬 시스템: 엄격한 수치 게이트, 일반적인 패턴에 따라 자동 트리거되는 최적화 및 디버그 스킬, 그리고 독립적인 평가 에이전트를 포함하는 8단계 스킬 체인의 새로운 시스템이다. 이는 공간적 NPU 상의 엔드 투 엔드 LLM 배포를 대상으로 하는 최초의 스킬 세트이다.
3. 8개의 신규 모델에 대한 자율 배포: Llama-3.2-3B, SmolLM2-1.7B, 다양한 Qwen2.5/3 모델을 포함한 8개의 추가 디코더 전용 LLM을 AMD XDNA 2 NPU 상에 최초로 오픈 소스 엔드 투 엔드로 배포했다. 이 배포들은 인간의 가이드 거의 없이 0.5~4시간의 에이전트 실행 시간 내에 완료되었다.

결과
에이전트 스킬 시스템을 사용하여 팀은 8개의 추가 LLM을 성공적으로 배포했다. 모든 모델은 수치적 정확성 게이트를 통과했으며 수동 검증을 마쳤다.

• 효율성: 8개 중 3개 모델(Llama-3.2-3B, SmolLM2-1.7B, Qwen2.5-3B)은 Llama-3.2-1B 참조 모델과 일치하거나 이를 상회하는 지속적인 성능($\eta_{scale}$)을 달성했다(0.94 ~ 1.27 범위). 이 모델들은 참조 모델과 유사한 트랜스포머 블록 구조를 공유하므로 기존 커널이 효과적으로 처리할 수 있었다.
• 한계점: 나머지 5개 모델은 낮은 효율성($\eta_{scale}$ 0.24–0.94)을 보였다. 저자들은 이를 더 작은 퍼 커널 워크로드(디스패치 오버헤드를 상쇄하지 못함) 및 지원되지 않는 연산(예: QKV 바이어스, per-head Q/K 정규화) 때문으로 분석했으며, 이는 패딩을 요구하거나 커널 퓨전을 방해했다.
• 배포 시간: 자율 배포는 0.5~4시간 내에 완료되었으며, 이는 수동 배포에 비해 엔지니어링 노력을 크게 절감했다.

의의
본 논문은 인간 가이드 기반 최적화로부터 증류된 스킬 시스템이 이전에 접해보지 못한 LLM에 대해 "기능적 일반화"를 달성할 수 있음을 입증하며, 추가적인 모델별 인간 엔지니어링 없이도 공간적 NPU 상에 경쟁력 있는 LLM 구현을 자율적으로 배포할 수 있음을 보여준다. 이는 단일 커널 최적화를 넘어 전체 엔드 투 엔드 배포 워크플로우로 나아감으로써 기존 연구의 공백을 메운다. 본 연구는 에너지 효율적인 공간적 가속기 상의 엣지 LLM 배포를 위한 엔지니어링 장벽을 낮추는 경로를 제시하며, 이 영역에서 에이전트 자율성이 결국 광범위한 전문가 엔지니어링의 필요성을 대체할 수 있음을 시사한다.