🤖 machine learning

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

KernelEvolve는 다양한 딥러닝 추천 모델을 위한 고성능 커널의 생성 및 최적화를 이기종 AI 가속기 상에서 자동화함으로써, 개발 시간을 대폭 단축하는 동시에 정확성을 보장하고 기존 베이스라인 대비 상당한 성능 향상을 제공하는 에이전트 기반 프레임워크입니다.

원저자: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi, Matt Steiner, Ruichao Xiao, Liyuan Li, Nathan Yan, Xiayu Yu, Zhou Fang, Roman Levenstein, Kunming Ho, Haishan Zhu, Alec Hammond, Richard Li, Ajit Mathews, Kaustubh Gondkar, Abdul Zainul-Abedin, Ketan Singh, Hongtao Yu, Wenyuan Chi, Barney Huang, Sean Zhang, Noah Weller, Zach Marine, Wyatt Cook, Carole-Jean Wu, Gaoxiang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 KernelEvolve 논문을 쉬운 언어와 창의적인 비유를 사용하여 번역한 내용입니다.

거대한 문제: "번역"의 악몽

Meta가 거대한 글로벌 광고 시스템을 운영한다고 상상해 보세요. 당신에게 완벽한 광고를 보여주기 위해, 이 시스템은 매일 수십억 번의 복잡한 수학 연산을 수행해야 합니다. 이 수학 연산은 NVIDIA GPU, AMD GPU, 그리고 Meta의 자체 커스텀 칩인 MTIA와 같은 특수 컴퓨터 칩인 AI 가속기에 의해 수행됩니다.

하지만 큰 문제가 있습니다. 이 칩들은 서로 다른 언어를 사용한다는 점입니다.

NVIDIA 칩은 "CUDA"라는 언어를 말합니다.
AMD 칩은 "ROCm"이라는 언어를 말합니다.
Meta의 커스텀 칩은 "Triton"의 독특한 방언을 사용합니다.

게다가, 광고에 필요한 "단어들"(수학 연산)은 매우 다양합니다. 어떤 것은 표준 수학(곱셈 등)이지만, 사용자 기록을 정렬하거나 데이터를 해싱하는 것과 같이 광고에 특화된 기묘하고 커스텀된 작업들도 많습니다.

과거의 방식:
광고를 빠르게 실행하기 위해, 인간 엔지니어들은 모든 종류의 칩에 대해 각각의 수학 작업마다 특정 "번역"(커널)을 수동으로 작성해야 했습니다.

비유: 당신이 1,000명의 손님에게 식사를 대접하려는 요리사라고 상상해 보세요. 그런데 각 손님은 서로 다른 언어를 사용하고 서로 다른 식단을 가지고 있습니다. 당신은 매 손님마다 고유한 레시피를 작성하고 이를 다른 언어로 번역해야 합니다. 만약 번역 하나라도 놓치면 그 손님은 밥을 먹지 못하게 됩니다. 만약 메뉴를 바꾸고 싶다면(AI 모델을 업데이트한다면), 1,000개의 레시피를 처음부터 다시 써야 합니다. 이는 몇 주가 걸리고, 오류가 발생하기 쉬우며, 비용이 엄청나게 많이 듭니다.

해결책: KernelEvolve ("슈퍼 번역가" 로봇)

이 논문은 이 전체 과정을 자동화하는 AI 에이전트 시스템인 KernelEvolve를 소개합니다. 인간이 코드를 쓰는 대신, KernelEvolve는 어떤 언어도 즉시 배우고 어떤 손님에게도 완벽한 레시피를 써줄 수 있는 지치지 않는 똑똑한 로봇 셰프 역할을 합니다.

작동 방식은 다음과 같습니다.

1. "트리 탐색" (많은 경로 시도하기)

KernelEvolve이 수학 문제를 해결해야 할 때, 단 한 번만 추측하는 것이 아닙니다. 이들은 **트리 탐색(Tree Search)**을 사용합니다.

비유: 거대한 미로에서 가장 빠른 경로를 찾으려고 한다고 상상해 보세요. 인간은 하나의 경로를 시도하다가 막히면 포기할 수도 있습니다. 하지만 KernelEvolve은 개미 떼와 같습니다. 동시에 수천 마리의 "탐험가"를 보냅니다. 어떤 개미는 왼쪽으로, 어떤 개미는 오른쪽으로 갑니다. 만약 탐험가가 벽에 부딪히면(코드 에러), 그 탐험가는 멈춥니다. 만약 탐험가가 지름길(더 빠른 수학 연산 방식)을 발견하면, 그 경로는 "좋음"으로 표시하고 더 많은 개미를 그 경로로 보냅니다.
이 과정은 모든 막다른 길과 성공으로부터 배우며, 절대적으로 최선의 경로를 찾을 때까지 반복됩니다.

2. "기억 도서관" (과거로부터 배우기)

KernelEvolve은 **지속적 지식 베이스(Persistent Knowledge Base)**라고 불리는 거대하고 체계적인 메모리 도서관을 가지고 있습니다.

비유: 수도꼭지가 새는 것을 고치려 할 때, 그냥 짐작하는 것이 아니라 설명서를 찾아봅니다. KernelEvolve도 이와 같지만, 그 설명서는 매우 방대합니다. 여기에는 모든 유형의 칩(NVIDIA, AMD, MTIA)에 대한 구체적인 지침이 들어 있습니다.
마법 같은 점: AI가 한 번도 본 적 없는 아주 새로운 칩인 Meta의 커스텀 칩(MTIA)에 대해서도, KernelEvolve은 자신의 라이브러리에 주입된 특별한 "사용 설명서"를 가지고 있습니다. 이 설명서를 읽고 칩의 고유한 특성을 학습하여, 해당 칩에 특화된 코드를 작성합니다. 덕분에 공개된 인터넷 데이터에는 존재하지 않는 하드웨어에서도 작동할 수 있습니다 있습니다.

3. "자가 수정 루프" (스스로 디버깅하기)

로봇이 코드를 작성한 후, 단순히 그것을 믿고 넘어가지 않습니다. **자가 수정 루프(Self-Correction Loop)**를 실행합니다.

비유: 로봇이 레시피를 쓰고, 요리를 한 다음, 맛을 봅니다.
- 맛 테스트 (정확성): 원래의 맛과 같은가? (수학적 결과가 예상치와 일치하는가?)
- 속도 테스트 (성능): 기존 방식보다 더 빠르게 요리했는가?
- 수정: 만약 음식이 너무 짜거나(너무 느리거나) 맛이 이상하다면(수학적 오류), 로봇은 왜 그런지 분석합니다. "주방 로그"(프로파일링 데이터)를 살펴보고 화력이 너무 강했는지 혹은 재료가 잘못 섞였는지 확인합니다. 그런 다음 레시피를 다시 쓰고 다시 시도합니다.
로봇은 단일 작업을 위해 이 사이클을 수백 번 반복하며, 코드가 완벽해질 때까지 정교하게 다듬습니다.

4. "원격 주방" (FaaS)

이 레시피들을 테스트하기 위해, 로봇은 실제 값비싼 칩들을 사용해야 합니다.

비유: 로봇(두뇌)은 일반 사무실 컴퓨터에 살고 있습니다. 칩(오븐)은 별도의 하이테크 주방에 있습니다. 로봇이 주방으로 걸어가서 오븐이 준비될 때까지 기다렸다가 다시 돌아오는 대신, 로봇은 **원격 주방 서비스(FaaS)**로 레시피를 보냅니다. 원격 주방이 요리를 완성하고 결과를 즉시 돌려줍니다. 이를 통해 로봇은 오븐을 기다리느라 멈춰 서지 않고도 동시에 수천 개의 레시피를 테스트할 수 있습니다.

결과: 왜 중요한가?

논문은 KernelEvolve가 세 가지 이유로 게임 체인저라고 주장합니다.

속도: 이러한 특수 코드를 만드는 시간을 몇 주에서 몇 시간으로 단축했습니다.
성능: 이 시스템이 작성한 코드는 놀라울 정도로 빠릅니다. 테스트 결과, 표준적인 인간 작성 코드보다 AI를 1.2배에서 17배 더 빠르게 만들었습니다.
- 예시: 특정 데이터 정렬 작업의 경우, 9.8배 더 빨랐습니다. Meta의 커스텀 칩에서 특정 수학 연산을 수행할 때는 17배 더 빨랐습니다.
신뢰성: **100%**의 정확성 테스트를 통과했습니다. 단순히 빠르게 만드는 것에 그치지 않고, 매번 수학적으로 완벽함을 보장했습니다.

요약

KernelEvolve는 다양한 유형의 AI 칩을 위한 컴퓨터 코드를 번역하는 지루하고 어렵고 비용이 많이 드는 작업을 자동화하는 AI 시스템입니다. "시도하고 배우는" 전략(트리 탐색), 방대한 하드웨어 규칙 라이서리(지식 베이스), 그리고 자가 수정 루프를 사용하여, 이 시스템은 몇 주가 아닌 단 몇 시간 만에 Meta의 광고 시스템을 위한 고속 코드를 생성함으로써 전체 시스템을 더 빠르고 저렴하게 운영할 수 있게 해줍니다.

기술 요약: KernelEvolve

문제 정의

Meta의 대규모 광고 시스템을 위한 딥러닝 추천 모델(DLRM) 배포는 세 가지 교차하는 요인에 의한 "차원의 저주"에 직면해 있습니다: 모델 아키텍처의 다양성(전통적인 MLP부터 트랜스포머 기반 시퀀스 모델까지), 커널 프리미티브의 다양성(표준 GEMM을 넘어 수백 개의 복잡한 데이터 전처리 연산자로 확장), 그리고 하드웨어 이질성(NVIDIA GPU, AMD GPU, 그리고 Meta의 독자적인 학습 및 추론 가속기인 MTIA를 포함).

이러한 복잡성은 심각한 병목 현상을 야기합니다. 수동 커널 개발은 경제적으로 불가능하며, 연산자-하드웨어 조합당 28주의 전문가 노력이 필요합니다. 또한, 특정 전처리 연산자에 대한 최적화된 커널이 독자적인 가속기에 부재함에 따라 "분리형 서빙(disaggregated serving)" 아키텍처를 강제하게 됩니다. 이러한 설정에서는 전처리가 성능이 낮은 호스트 CPU에서 실행되어야 하고 신경망 추론은 가속기에서 실행되므로, 1020ms의 순수 네트워크 지연 시간 오버헤드가 발생합니다. 이 아키텍처 세금(architectural tax)은 광고 서빙에 필요한 100ms 미만의 레이턴시 예산 중 상당 부분을 소비하며, 이는 사용자 경험과 수익에 직접적인 영향을 미칩니다. 기존의 AI 기반 코딩 에이전트는 좁은 범위, 합성 벤치마크, 단일 플랫폼 중심, 그리고 프로덕션급 최적화에 필요한 자율적이고 지속적인 지식 관리의 부재로 인해 한계가 있습니다.

방법론

KernelEvolve는 이질적인 하드웨어 전반에 걸쳐 고성능 커널의 생성, 최적화 및 검증을 자동화하기 위해 설계된 에이전트 기반 프레임워크입니다. 이 시스템은 커널 최적화를 단순한 코드 생성 작업이 아닌 그래프 기반 탐색 문제로 취급합니다.

핵심 아키텍처

트리 탐색 및 상태 머신: 시스템은 최적화 과정을 탐색 그래프 $G_t = (V_t, E_t)$ 로 모델링합니다. 여기에는 Greedy Search, Monte Carlo Tree Search (MCTS), 그리고 진화 알고리즘이 포함됩니다. 프로세스는 선택(selection), 변환(transformation), 점수 산정(scoring)의 단계를 반복합니다:
- 적합도 함수(Fitness Function): PyTorch 베이스라인 대비 속도 향상(speedup)을 기준으로 커널을 평가하며, 정확성(수치적 정확도)은 엄격한 제약 조건으로 작-적합도 점수가 0이 됩니다.
- 유니버설 연산자(Universal Operator): 정적인 멀티 연산자 프레임워크와 달리, KernelEvolve는 단일한 컨텍스트 인식 연산자를 사용합니다. 고정된 템플릿 대신 런타임 실행 컨텍스트(에러, 프로파일링 데이터)를 기반으로 프롬프트를 동적으로 합성합니다.
에이전트 기반 검색 및 자체 관리 컨텍스트:
- 컨텍스트 메모리 서브 에이전트: 런타임 아티팩트(로그, 프로파일링 메트릭, 정확성 결과)를 분석하여 병목 지점을 진단하고 최적화 지침을 합성합니다. 탐색 트리, 적합도 점수, 부모-자식 관계를 추적하는 영구 메타데이터 저장소(관계형 데이터베이스)를 유지하여 결함 허용(fault tolerance) 및 세션 간 지식 재사용을 가능하게 합니다.
- 딥 서치 서브 에이전트: **영구 지식 베이스(Persistent Knowledge Base)**로부터 타겟팅된 검색을 수행합니다. 이 지식 베이스는 하드웨어별 제약 조건(NVIDIA, AMD, MTIA), 최적화 패턴, 디버깅 방법론을 계층적 파일 시스템에 인코딩합니다. LLM 학습 코퍼스에 표현되지 않은 MTIA와 같은 독자적인 하드웨어의 경우, 도메인 특화 문서(예: MTIA의 SFU 연산, inter-PE 통신 프리미티브)를 주입하는 것이 정확한 코드를 생성하는 데 매우 중요합니다.
평가 및 툴링 프레임워크:
- 이중 구현 인터페이스: 생성된 커널은 자동화된 정확성 검증(torch.allclose) 및 성능 벤치마킹을 위해 PyTorch 베이스라인과 함께 표준화된 인터페이스로 래핑됩니다.
- 하드웨어 인터프리터: NVIDIA, AMD, MTIA를 위한 전용 환경(Bento 기반)은 최신 툴체인을 갖춘 재현 가능한 실행을 보장합니다.
- 통합 프로파일링 (Triton MPP): Meta의 Multi-Pass Profiler는 추상화 계층(MLIR, 어셈블리, 런타임) 전반에 걸쳐 계측을 통합하여, 전통적인 툴체인의 파편화 없이 구조화된 명령어 수준의 성능 데이터를 제공합니다.
- FaaS 통합: 평가 작업은 Function-as-a-Service 플랫폼으로 오프로드되어, CPU 중심의 생성 과정과 GPU/가속기 중심의 평가 과정을 분리함으로써 리소스 활용도를 극대화합니다.

주요 기여

프로덕션급 AI 커널 시스템: KernelEvolve는 추천 모델 학습 및 추론을 위해 산업 규모로 배포된 최초의 AI 기반 커널 최적화 시스템입니다. 이 시스템은 수십억 명의 사용자에게 서비스를 제공하는 수백 개의 모델을 위해 최적화된 Triton 커널을 자율적으로 생성합니다.
독자적 하드웨어를 위한 자동 최적화: 영구 지식 베이스와 검색 증강 프롬프트 합성을 통합함으로써, LLM 학습 데이터에 존재하지 않는 독자적인 아키텍처(MTIA)에 대해서도 효과적으로 커널을 생성하며, 모델 역량과 하드웨어 제약 사이의 간극을 메웁니다.
성능 및 효율성 이득: 이 시스템은 개발 시간을 몇 주에서 몇 시간으로 단축합니다. 데이터 전처리, 컨볼루셔널 트랜스포머, 랭킹 모델을 포함한 다양한 워크로드에 대해 PyTorch 베이스라인 대비 상당한 속도 향상(1.2x ~ 17x)을 달s합니다.
운영 인사이트: 본 논문은 실패 모드 분석, 잘못된 커널 생성에 대한 디버깅 전략, 그리고 자동화된 워크플로우를 프로덕션 환경에 통합하기 위한 조직적 패턴을 공유합니다.

결과

KernelEvolve는 공개된 KernelBench 스위트와 세 가지 이질적인 플랫폼(NVIDIA H100, AMD MI350, MTIA v3)에 걸친 160개의 커스텀 PyTorch ATen 연산자 스위트를 통해 검증되었습니다.

정확성: 250개 KernelBench 문제에 대해 100% 통과율을 달성했으며, 480개 연산자-플랫폼 구성 전체에서 100% 정확성을 달성했습니다.
성능: PyTorch 베이스라인 대비 1.25배에서 17배에 이르는 속도 향상을 입증했습니다. 주목할 만한 개선 사항은 다음과 같습니다:
- 데이터 전처리: MapId (4.1x), MergeBucketizedDense (9.3x), Batch Event Truncate (9.8x).
- 컨볼루셔널 트랜스포머: Conv1d (6.5x), Conv2d (4.7x).
- 랭킹 모델: WuKong Optimized FM (4.0x), InterFormer PFFN (2.5x).
- MTIA 특화: RMSNorm 2D backward (17x).
탐색 효율성: 최적화 궤적은 실행 피드백을 포함한 그래프 기반 탐색이 반복적인 단계를 거치며 적합도 점수를 지속적으로 개선함을 보여주며, 수동 개발으로는 몇 주가 걸릴 수 있는 퓨전 전략과 타일링 구성을 발견해 냅니다.

의의

본 논문은 KernelEvolve가 커널 개발을 수동적이고 전문 지식에 의존하는 프로세스에서 자동화되고 확장 가능한 서비스로 근본적으로 변화시킨다고 주장합니다. 그 의의는 다음과 같습니다:

모놀리식 가속기 배포 가능성: 모든 연산자(저-산술 집약도 전처리 포함)에 대한 커널 생성을 자동화함으로써, 분리형 CPU-가속기 아키텍처를 강제하는 이진 제약을 제거합니다. 이를 통해 10~20ms의 네트워크 지연 시간 세금을 제거하여 서빙 효율성을 직접적으로 개선하고 총 소유 비용(TCO)을 절감합니다.
이질성에 대한 확장성: 에이전트 AI가 연산자-하드웨어 조합의 콤비네이토리얼 폭발을 효과적으로 탐색할 수 있음을 입증하며, 수동 커널 포팅을 기다리지 않고도 새로운 모델을 새로운 하드웨어 세대에 배포하는 것을 가능하게 합니다.
지식 격차 해소: 영구 지식 베이스에 독자적인 하드웨어 지식을 주입하는 방식은 LLM이 모델 재학습 없이도 고품질 코드를 생성할 수 있게 하며, 이는 미래의 대규모 AI 시스템 설계 및 최적화를 위한 청사진을 제공합니다.