KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

이 논문은 새로운 명령어 집합 구조 (ISA) 를 가진 차세대 AI 가속기용 저수준 커널을 자동으로 생성하고 최적화할 수 있는 에이전트형 LLM 의 능력을 평가하기 위해, 컴파일 및 시뮬레이션 피드백을 활용한 'KernelCraft'라는 첫 번째 벤치마크를 제안하고 이를 통해 커널 개발 비용 절감 가능성을 입증했습니다.

핵심

커널크래프트 (KernelCraft): 새로운 하드웨어를 위한 'AI 요리사'의 등장

이 논문은 **새로운 AI 칩 (하드웨어) 을 만들 때 발생하는 가장 큰 골치 아픈 문제를 해결하기 위해 개발된 'AI 에이전트 (자율적 로봇)'**에 대한 이야기입니다.

마치 새로운 종류의 오븐이 발명되었는데, 그 오븐을 어떻게 쓰는지 설명서 (ISA) 가 너무 어렵고, 그 오븐에 맞는 요리를 만드는 요리사 (개발자) 가 없어서 음식이 못 만들어지는 상황을 상상해 보세요. 이 논문은 그 문제를 해결해 줄 '초고속 AI 요리사'를 소개합니다.

---

1. 왜 이런 연구가 필요할까요? (문제 상황)

• 새로운 오븐의 등장: 요즘 AI 가속기 (하드웨어) 는 기존 CPU 나 GPU 와는 완전히 다른 '새로운 언어 (명령어 집합, ISA)'를 사용합니다. 마치 서양식 오븐이 아니라, 완전히 새로운 형태의 '스팀 오븐'이나 '마이크로파 오븐'이 나온 것과 같습니다.
• 요리사의 고충: 이 새로운 오븐을 제대로 활용하려면, 아주 낮은 수준에서 직접 코드를 짜야 합니다 (저수준 커널). 하지만 이 작업은 매우 어렵고, 시간이 오래 걸리며, 실수하기 쉽습니다.
• 컴파일러의 부재: 기존에는 "요리법 (고수준 프로그램) 을 입력하면 자동으로 오븐에 맞는 조리법으로 바꿔주는 자동화 기계 (컴파일러)"가 있었지만, 새로운 오븐에는 그런 기계가 아직 없습니다. 그래서 개발자들이 손으로 하나하나 코드를 짜야 하는데, 이 과정이 너무 느려서 새로운 하드웨어가 시장에 나오기 전에 이미 구식이 되어버리는 경우가 많습니다.

2. 커널크래프트 (KernelCraft) 란 무엇인가요? (해결책)

이 연구팀은 **"LLM(거대 언어 모델) 기반의 에이전트"**를 훈련시켜서, 새로운 오븐의 설명서를 읽고 바로 그 오븐에 맞는 요리법 (저수준 코드) 을 스스로 만들어내게 했습니다.

• 주인공: "커널크래프트"라는 이름의 AI 에이전트.
• 역할: 새로운 하드웨어의 설명서 (ISA) 를 읽고, "이 기능을 어떻게 구현할까?"라고 생각하며, 직접 코드를 작성하고, 실행해 보고, 틀리면 고치는 과정을 반복합니다.
• 비유: 이 AI 는 설명서를 읽는 '독서왕'이자, 직접 요리를 해보는 '요리사'이자, 맛을 보고 고쳐주는 '미식가'가 모두 합쳐진 존재입니다.

3. 어떻게 작동하나요? (작동 원리)

이 AI 는 단순히 코드를 한 번에 짜는 것이 아니라, 수정 - 검증 - 재시도의 루프를 반복합니다.

1. 초안 작성: AI 가 새로운 하드웨어 설명서를 보고 요리법 (코드) 을 먼저 작성합니다.
2. 자동 점검 (도구 사용): 작성된 코드를 자동으로 컴파일하고, 시뮬레이터 (가상 오븐) 에서 실행해 봅니다.
3. 오류 발견 및 수정:
   • "음, 이 명령어는 이 오븐에서 안 쓰이는 거야." (문법 오류)
   • "요리 결과가 이상해. 양념이 덜 들어갔네." (기능 오류)
   • AI 는 이 오류 메시지를 보고 **"아, 내가 이 부분을 잘못 썼구나!"**라고 스스로 깨닫고 코드를 수정합니다.
4. 최적화: 요리가 잘 만들어지면, 이제 "더 빨리, 더 맛있게" 만들 수 있는 방법을 찾습니다. (예: 불 조절을 더 잘하거나, 재료를 미리 준비하기)

이 과정은 AI 가 스스로 도구 (컴파일러, 시뮬레이터) 를 사용하며 스스로를 교정하는 '자율적 학습' 방식입니다.

4. 어떤 성과를 냈나요? (결과)

연구팀은 이 AI 를 3 가지 다른 종류의 새로운 AI 칩 (PLENA, AMD NPU, Coral NPU) 과 20 가지 이상의 다양한 AI 작업 (이미지 인식, 언어 모델 등) 에 적용해 보았습니다.

• 성공적인 요리: AI 는 인간 개발자가 몇 달 걸려야 할 일을 몇 번의 시도만으로 새로운 칩에 맞는 코드를 만들어냈습니다. 특히 간단한 작업에서는 55% 이상의 성공률을 보였습니다.
• 인간보다 빠른 요리: 때로는 AI 가 만든 요리법이 기존에 인간이 만든 템플릿 (기본 레시피) 보다도 더 빠르고 효율적이었습니다. AI 는 인간이 놓친 '비밀 레시피 (최적화 기법)'를 스스로 찾아내기도 했습니다.
• 한계: 아주 복잡한 요리 (완전한 시스템 전체) 를 만드는 것은 아직 어렵지만, 기본적인 요리 (단순 연산) 는 잘 해냅니다.

5. 왜 이것이 중요한가요? (의의)

• 하드웨어 개발 속도 향상: 새로운 AI 칩을 만들 때, 소프트웨어 개발 시간을 획기적으로 줄여줍니다.
• 인간의 부담 감소: 개발자들이 지루하고 어려운 저수준 코딩을 할 필요가 줄어들고, 대신 더 창의적인 설계에 집중할 수 있게 됩니다.
• 미래의 가능성: 이 AI 는 단순히 코드를 짜는 것을 넘어, **"이 하드웨어는 이런 기능이 부족해서 더 좋은 성능을 내기 위해 새로운 명령어가 필요해!"**라고 제안하며 하드웨어 설계자 (하드웨어 엔지니어) 와 함께 일하는 '공동 설계자'가 될 수도 있습니다.

요약

"커널크래프트"는 새로운 AI 하드웨어라는 '낯선 오븐'을 바로 사용할 수 있게 해주는 '스스로 요리법을 찾아내고 고치는 AI 요리사'입니다. 이 기술이 발전하면, 새로운 AI 칩이 나올 때마다 수개월의 개발 시간이 단축되어 더 빠르고 강력한 AI 서비스가 우리 곁에 찾아올 수 있을 것입니다.

기술 요약

KernelCraft: 새로운 하드웨어를 위한 에이전트 기반 근접-메탈 (Close-to-Metal) 커널 생성 벤치마크 기술 요약

이 논문은 새로운 명령어 세트 아키텍처 (ISA) 를 가진 차세대 AI 가속기 개발의 병목 현상인 수동 커널 작성 문제를 해결하기 위해 제안된 KernelCraft라는 벤치마크와 에이전트 시스템을 소개합니다.

1. 문제 정의 (Problem)

• 커널 작성의 어려움: 새로운 AI 가속기는 종종 기존 CPU/GPU 와는 다른 전용 명령어 세트 (ISA) 를 사용합니다. 이러한 하드웨어에 최적화된 저수준 커널 (Assembly 코드) 을 작성하는 것은 시간 소모적이고, 노동 집약적이며, 오류가 발생하기 쉬운 과정입니다.
• 컴파일러 생태계의 부재: 성숙한 GPU 생태계 (CUDA 등) 와 달리, 새로운 가속기는 자동화된 커널 생성 및 최적화를 위한 성숙한 컴파일러 툴체인이 부족합니다. 이로 인해 하드웨어가 출시되더라도 소프트웨어 지원이 뒤따르지 않아 '프로그래밍 가능성의 벽 (Programmability Wall)'에 직면하게 됩니다.
• 기존 LLM 의 한계: 기존 LLM 기반 코드 생성 연구는 주로 CUDA 나 Triton 과 같이 데이터가 풍부한 성숙한 생태계를 대상으로 합니다. 새로운 ISA 에 대한 'Zero-shot'(사전 예시 없음) 커널 생성 능력과 에이전트 (Agent) 시스템이 하드웨어 시뮬레이터 및 형식 명세를 통해 피드백을 받아 코드를 개선할 수 있는지에 대한 검증은 부족했습니다.

2. 방법론 (Methodology)

KernelCraft 는 LLM 에이전트가 새로운 ISA 와 하드웨어 제약을 고려하여 저수준 어셈블리 커널을 생성하고 최적화할 수 있는 능력을 평가하는 오픈소스 벤치마크입니다.

• 에이전트 워크플로우:
  • 입력: 작업 설명 (Workload), ISA 명세서, 하드웨어 구성 (메모리 크기, 행렬 배열 크기 등) 을 제공합니다.
  • 도구 사용 (Tool Use): 에이전트는 코드를 작성 (write_code), 문법 검사 (check_syntax), 기능성 평가 (run_evaluation), 출력 비교 (view_output), 문서 검색 (grep_docs) 등의 도구를 자율적으로 호출합니다.
  • 반복적 개선 (Iterative Refinement): 생성된 커널이 시뮬레이션 또는 실제 하드웨어에서 실행되어 정답 (Ground Truth) 과 비교됩니다. 오류가 감지되면 에이전트는 메모리 레벨의 차이 (Diff) 분석 등을 통해 원인을 파악하고 코드를 수정하는 루프를 반복합니다.
• 평가 범위:
  • 하드웨어: PLENA (커스텀 ISA), AMD NPU, Coral NPU (RISC-V 기반) 등 3 가지 차세대 가속기 플랫폼.
  • 작업 (Tasks): 3 가지 난이도 수준으로 분류된 33 개 이상의 ML 및 CPU 작업 (기본 연산, 복합 연산, 엔드 - 투 - 엔드 시스템).
  • 모델: GPT-5.2, Gemini-3-Flash, Sonnet 4, DeepSeek R1 등 4 가지 최첨단 추론 모델 평가.

3. 주요 기여 (Key Contributions)

1. 최초의 벤치마크: 새로운 ISA 를 가진 차세대 가속기를 위한 LLM 에이전트의 근접 - 메탈 (Close-to-Metal) 어셈블리 커널 생성 능력을 평가하는 최초의 벤치마크를 제시했습니다.
2. 자율적 커널 생성 및 최적화 증명: 제한된 반복 횟수 내에서 에이전트가 새로운 ISA 에 대해 기능적으로 정확한 베어 - 메탈 (Bare-metal) 커널을 생성할 수 있음을 입증했습니다. 특히 기본 연산 (Primitive Operations) 에서 최대 55% 의 성공률을 기록했습니다.
3. 하드웨어 인식 최적화 발견: 에이전트가 단순히 정답을 맞추는 것을 넘어, 컴파일러 베이스라인보다 성능이 우수한 하드웨어 특화 최적화 (예: BatchNorm 폴딩, 파이프라이닝) 를 자율적으로 발견하고 적용할 수 있음을 보였습니다.
4. ISA 공동 설계 (Co-design) 가능성: 에이전트가 기존 ISA 의 비효율성을 식별하고 새로운 명령어를 제안하여 하드웨어 - 소프트웨어 공동 설계 워크플로우에 기여할 수 있음을 사례 연구를 통해 보여주었습니다.

4. 실험 결과 (Results)

• 성공률:
  • 모델 성능: GPT-5.2 가 모든 플랫폼에서 가장 우수한 성능을 보였으며 (PLENA 기준 55% 성공), Gemini-3-Flash 가 그 뒤를 이었습니다. DeepSeek R1 은 도구 사용 (Tool-use) 능력 부족으로 인해 거의 성공하지 못했습니다.
  • 작업 난이도: 기본 연산 (Level 1) 에서는 높은 성공률을 보였으나, 복합 연산 (Level 2) 과 엔드 - 투 - 엔드 시스템 (Level 3) 으로 갈수록 성공률이 급격히 하락했습니다. 이는 작업 복잡도와 문서의 양/질에 크게 의존함을 시사합니다.
• 성능 (Speedup):
  • 생성된 커널은 플랫폼별 컴파일러 베이스라인과 비교하여 1.06 배 ~ 8 배의 속도 향상을 보였습니다.
  • 특히 Coral NPU 의 ConvBlock 작업에서 Gemini-3-Flash 에이전트가 7.93 배의 속도 향상을 달성했습니다. 이는 에이전트가 컴파일러가 지원하지 않는 크로스 - 연산 최적화 (예: 부동소수점 - 정수 변환 제거) 를 성공적으로 수행했기 때문입니다.
• 도구 사용 효율성: 에이전트가 도구를 올바르게 호출하고 피드백 루프를 유지하는 것이 성공의 핵심 요소였으며, 이를 지원하지 않는 모델은 실패했습니다.

5. 의의 및 결론 (Significance)

• 하드웨어 개발 가속화: KernelCraft 는 새로운 AI 가속기의 소프트웨어 생태계 구축 비용을 크게 절감할 수 있는 가능성을 제시합니다. 에이전트가 초기 커널 개발을 자동화함으로써 하드웨어 설계자와 개발자의 부담을 줄일 수 있습니다.
• 에이전트 시스템의 진화: 단순한 코드 생성을 넘어, 하드웨어 시뮬레이터, 컴파일러, 문서 검색 등을 통합하여 복잡한 시스템 문제를 해결하는 '에이전트'의 능력을 검증하는 중요한 기준이 되었습니다.
• 미래 방향: 형식 검증 (Formal Verification) 통합, ISA 지식의 모델 내장 (Fusing ISA knowledge), 멀티 에이전트 시스템 확장 등을 통해 더욱 견고하고 효율적인 자동화 커널 생성 파이프라인으로 발전할 수 있는 방향을 제시했습니다.

요약하자면, KernelCraft는 새로운 AI 하드웨어의 소프트웨어 병목 현상을 해결하기 위해 LLM 에이전트가 저수준 어셈블리 코드를 생성하고 최적화할 수 있는 능력을 체계적으로 평가한 획기적인 연구입니다. 이는 차세대 AI 가속기의 빠른 상용화와 소프트웨어 생태계 확장에 중요한 기여를 할 것으로 기대됩니다.