MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?

이 논문은 모바일 기기를 위한 효율적인 커널 생성이 현재 LLM 의 한계로 인해 어렵다는 점을 MobileKernelBench 를 통해 규명하고, 이를 극복하기 위해 제안한 다중 에이전트 시스템 MoKA 가 높은 컴파일 성공률과 성능 개선을 달성했음을 보여줍니다.

핵심

1. 문제 상황: "요리사는 스마트폰 주방에 적응할 수 있을까?"

우리가 흔히 아는 AI(대형 언어 모델) 는 컴퓨터용 코드를 잘 작성합니다. 마치 거대한 호텔 주방에서 요리를 하는 천재 요리사 같죠. 호텔 주방은 장비가 풍부하고 공간도 넓어서 (서버용 GPU), 요리사가 원하는 대로 거대한 요리를 만들 수 있습니다.

하지만, 스마트폰은 다릅니다. 스마트폰은 작은 캠핑용 주방과 같습니다.

• 제한된 공간: 배터리와 메모리가 부족합니다.
• 다양한 도구: 각기 다른 브랜드의 스마트폰 (삼성, 애플 등) 은 서로 다른 조리 도구 (하드웨어) 를 사용합니다.
• 정교함: 작은 주방에서 빠르게 요리를 하려면 아주 정밀한 기술이 필요합니다.

연구자들은 "AI 가 이 작은 캠핑 주방 (스마트폰) 에서도 빠르고 효율적인 요리 (앱 실행) 를 할 수 있을까?"를 확인해 보고 싶었습니다.

2. 첫 번째 시도: "AI 의 실망스러운 결과"

연구진은 먼저 최신 AI 모델들에게 스마트폰용 코드를 작성해 보게 했습니다. 결과는 참담했습니다.

• 실패율 54% 이상: AI 가 작성한 코드는 컴파일 (요리 시작) 단계에서 바로 "이게 뭐야?"라며 오류를 뿜어냈습니다. AI 가 존재하지 않는 기능을 만들어내거나 (환각 현상), 스마트폰의 제한된 환경을 무시한 코드를 작성했기 때문입니다.
• 성능 저조: 겨우 실행이 된 코드들도 기존에 사람이 만든 코드보다 훨씬 느렸습니다. 마치 캠핑장에서 거대한 오븐을 사용하려는 시도처럼 비효율적이었습니다.

왜 그랬을까요?
AI 는 스마트폰이라는 '작은 주방'에 대한 데이터가 너무 부족했고, 각기 다른 스마트폰 기종에 맞춰 코드를 수정하는 '공학적 노하우'를 배우지 못했기 때문입니다.

3. 해결책: "MoKA (모카) - 팀워크가 중요한 요리 팀"

이 문제를 해결하기 위해 연구진은 **MoKA(Mobile Kernel Agent)**라는 새로운 시스템을 만들었습니다. MoKA 는 혼자서 모든 걸 하려는 '천재 요리사'가 아니라, 세 명의 전문가로 구성된 팀입니다.

1. 코더 (Coder): 요리를 만드는 사람. 코드를 작성합니다.
2. 디버거 (Debugger): 식중독 검사관. 코드가 실행되지 않거나 결과가 틀리면, "어디가 잘못됐지?"라고 분석해서 고쳐줍니다. (예: "이 레시피는 스마트폰 주방에 없는 재료를 썼어.")
3. 액셀러레이터 (Accelerator): 속도 전문가. 요리가 잘 만들어졌다면, "더 빨리 할 수 있는 방법은 없을까?"라고 고민하며 최적화합니다. (예: "칼질 순서를 바꾸면 2 배 빨라져!")

이 팀은 반복적인 피드백을 통해 코드를 다듬습니다.

• "코드가 안 돼요?" → 디버거가 고침.
• "코드는 되는데 너무 느려요?" → 액셀러레이터가 최적화.
• 이 과정을 여러 번 반복하면, 처음엔 엉망이었던 코드가 최고의 스마트폰용 요리로 변신합니다.

4. 실험 도구: "MobileKernelBench (모바일 커널 벤치)"

이 팀이 얼마나 잘하는지 측정하기 위해 연구진은 MobileKernelBench라는 시험지를 만들었습니다.

• 다양한 요리 (190 가지): 스마트폰에서 쓰이는 다양한 기능 (이미지 처리, 계산 등) 을 테스트했습니다.
• 자동화된 테스트: 코드를 작성하면 자동으로 스마트폰에 설치하고, 실제로 얼마나 빠른지 측정하는 로봇 시스템을 만들었습니다.

5. 놀라운 결과: "팀워크의 승리"

결과가 매우 놀랐습니다.

• 기존 AI: 100 개 중 47 개만 코드를 작성해 냈고, 그중 제대로 작동하는 건 34 개뿐이었습니다.
• MoKA (우리 팀): **93.7%**의 코드가 성공적으로 실행되었고, **27.4%**의 코드는 기존 사람 손으로 만든 코드보다 더 빨라졌습니다.

특히 MoKA 는 LayerNorm2D라는 복잡한 조리 과정을 다룰 때, 기존보다 6.8 배나 더 빠른 결과를 보여주었습니다. 마치 캠핑용 가스레인지로 호텔 주방만큼의 속도를 낸 것과 같습니다.

6. 결론: "AI 는 혼자보다 팀으로 일할 때 더 훌륭하다"

이 연구는 두 가지 중요한 사실을 보여줍니다.

1. AI 는 아직 스마트폰 같은 특수한 환경에서는 혼자서는 부족하다. 데이터가 부족하고 환경이 복잡하면 AI 는 헛소리를 하거나 실패한다.
2. 하지만 '계획 - 실행 - 피드백'을 반복하는 에이전트 (팀) 시스템을 만들면? AI 는 인간 개발자를 능가하는 효율적인 코드를 만들어낼 수 있다.

한 줄 요약:

"혼자서 모든 걸 하려는 천재 요리사 (기존 AI) 는 작은 캠핑 주방 (스마트폰) 에서 실패했지만, **디버거와 속도 전문가가 돕는 팀 (MoKA)**을 꾸려주니, 오히려 인간보다 더 빠르고 정확한 요리를 해낸 것입니다."

이 기술이 발전하면, 앞으로 우리가 스마트폰에서 사용하는 AI 앱들은 더 빨라지고 배터리도 더 오래 갈 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 일반적인 코드 생성 분야에서 뛰어난 성과를 보였으며, 최근에는 서버용 GPU 를 위한 CUDA 커널 생성 연구도 활발히 진행되고 있습니다. 그러나 모바일 기기용 딥러닝 추론 (On-device Inference) 을 위한 커널 생성은 다음과 같은 고유한 어려움으로 인해 아직 체계적으로 연구되지 않았습니다.

• 이질적이고 파편화된 생태계: 서버는 CUDA 와 같은 통합 백엔드를 사용하는 반면, 모바일은 CPU, GPU, NPU 등 다양한 SoC 아키텍처와 OpenCL, Vulkan, CoreML 등 이질적인 백엔드를 사용합니다.
• 엔지니어링 복잡성: 모바일 프레임워크 (예: MNN, NCNN) 는 메모리 제약, 전력 효율, 데이터 패킹 등 저수준 최적화가 필수적이며, 프레임워크별 API 가 복잡하게 얽혀 있습니다.
• 데이터 부족: 모바일 추론 프레임워크에 대한 고품질 참조 구현 (Reference Implementation) 이 부족하여 LLM 이 학습할 수 있는 데이터가 희소합니다.
• 검증의 어려움: 호스트 (PC) 에서 코드를 생성하고 모바일 기기에서 검증해야 하는 과정이 수동적이고 비효율적입니다.

핵심 질문: "LLM 이 모바일 기기를 위한 효율적인 커널을 작성할 수 있는가?"

2. 제안된 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 MobileKernelBench (평가 프레임워크) 와 MoKA (Mobile Kernel Agent, 생성 에이전트) 를 제안했습니다.

A. MobileKernelBench (평가 프레임워크)

기존의 서버 중심 벤치마크와 차별화된 모바일 전용 평가 시스템입니다.

• 데이터 구성: ONNX Opset 20 표준을 기반으로 95 개의 기본 연산자 (Primitive Operators) 를 선정하여 12 가지 카테고리, 총 190 개의 태스크로 확장했습니다. PyTorch 와 ONNX 쌍을 사용하여 프레임워크 간 상호 운용성을 보장합니다.
• 자동화된 평가 파이프라인: 호스트 (PC) 와 디바이스 (모바일) 간의 격차를 해소하기 위해 자동화 파이프라인을 구축했습니다.
  1. 자동 등록: 생성된 코드를 MNN 소스 트리에 주입 (Injection).
  2. 프레임워크 컴파일: CMake 를 통한 자동 빌드 및 문법 오류 필터링.
  3. 기능 검증: ONNX 기준값 (Ground Truth) 과 MNN 추론 결과의 수치적 일치 여부 확인.
  4. 온디바이스 성능 벤치마킹: Android NDK 를 통한 크로스 컴파일 및 실제 모바일 기기 (Xiaomi 13, Snapdragon 8 Gen 2) 에서의 성능 측정.

B. MoKA (Mobile Kernel Agent)

단순한 프롬프트 엔지니어링을 넘어, 데이터 부족과 복잡한 엔지니어링 문제를 해결하기 위해 설계된 다중 에이전트 (Multi-Agent) 시스템입니다.

• 계획 - 실행 (Plan-and-Execute) 패러다임: 생성, 디버깅, 최적화를 반복적으로 수행하는 루프 구조를 가집니다.
• 세 가지 전문 에이전트:
  1. Coder: C++ 커널 코드를 생성하거나 수정하는 실행자.
  2. Debugger: 컴파일 오류나 기능 오류 발생 시, 리포지토리 인식 도구 (Repository-aware tools) 를 활용해 에러 로그를 분석하고 수정 계획을 수립합니다.
  3. Accelerator: 기능이 정상인 경우, 성능 프로파일링 데이터를 분석하여 메모리 접근 패턴, SIMD, 캐시 블로킹 등의 최적화 전략을 제안합니다.
• 반성적 메모리 (Reflective Memory): 에이전트들은 과거의 실패와 성공 경험을 공유하여 동일한 실수를 반복하지 않고 최적화 경로를 정제합니다.

3. 주요 기여 (Key Contributions)

1. 모바일 커널 생성에 대한 첫 체계적 연구: 서버와 모바일 개발 간의 근본적인 차이 (하드웨어, 백엔드, 데이터 가용성) 를 규명하고, 모바일 특화 벤치마크를 처음 도입했습니다.
2. MobileKernelBench 도입: 연산자 다양성과 프레임워크 간 상호 운용성을 중시하는 벤치마크와 자동화된 온디바이스 검증 파이프라인을 구축했습니다.
3. MoKA 프레임워크 제안: 데이터가 희소한 환경에서 API 사용과 성능 최적화의 복잡성을 자율적으로 탐색할 수 있는 다중 에이전트 시스템을 개발했습니다.
4. 실증적 발견: 기존 LLM 은 모바일 프레임워크의 특수성으로 인해 높은 컴파일 실패율과 성능 향상의 부재를 보였으나, MoKA 는 이를 극복하여 SOTA 성능을 달성함을 입증했습니다.

4. 실험 결과 (Results)

실험 환경: Mobile Neural Network (MNN) CPU 백엔드, Xiaomi 13 스마트폰.
비교 대상: GPT-5, Claude-Sonnet-4.5, Gemini, Llama, DeepSeek 등 최신 SOTA LLM 과 LoRA/GRPO 미세조정 모델.

지표	설명	기존 LLM (평균)	MoKA (제안)
CSR (컴파일 성공률)	빌드 성공 비율	~47% (최고 모델 기준)	93.7%
FCR (기능 정확도)	ONNX 기준값 일치율	~16% (최고 모델 기준)	75.3%
fast1.5 (성능 향상)	네이티브 대비 1.5 배 이상 속도 향상 비율	4.7%	27.4%

• 기존 LLM 의 한계: 대부분의 모델이 54% 이상의 컴파일 실패율을 보였으며, 이는 프레임워크 특화 지식 부족과 할루시네이션 (허위 API 사용) 때문입니다. LoRA 나 GRPO 와 같은 미세조정 방법도 데이터 부족으로 인해 성능 향상에 미미한 효과만 보였습니다.
• MoKA 의 성과: MoKA 는 93.7% 의 컴파일 성공률을 기록했으며, 생성된 커널 중 27.4% 가 네이티브 라이브러리보다 1.5 배 이상 빠른 성능을 달성했습니다. 특히 복잡한 연산자 (Convolution, Matrix) 에서도 높은 정확도를 유지했습니다.
• 케이스 스터디 (LayerNorm2D): MoKA 는 10 회 반복을 통해 SIMD 벡터화, FMA 지시어, 64KB 캐시 블로킹 등 다양한 최적화 기법을 적용하여 6.82 배의 속도 향상을 달성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 모바일 기기라는 제약이 심한 환경에서도 효율적인 커널을 생성할 수 있음을 입증했습니다. 단순히 모델을 미세조정하는 것을 넘어, 에이전트 기반의 반복적 피드백 루프와 외부 도구 (리포지토리, 프로파일러) 활용이 데이터가 부족한 전문 도메인에서 필수적임을 보여줍니다.

• 실무적 가치: 모바일 AI 애플리케이션 개발 시 커널 개발에 소요되는 막대한 엔지니어링 비용을 절감하고, 모델 배포의 효율성을 극대화할 수 있는 가능성을 제시합니다.
• 향후 방향: 멀티스레드 NEON 최적화, 인라인 어셈블리 생성, 다양한 하드웨어 백엔드 및 프레임워크로의 확장, 전체 배포 프레임워크 자동화 등으로 연구 범위를 넓힐 수 있습니다.

결론적으로, 이 논문은 LLM 이 모바일 커널 엔지니어링 분야에서 인간 개발자를 보조하는 강력한 도구로 자리 잡을 수 있음을 보여주는 중요한 이정표입니다.