Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis

이 논문은 데이터가 부족한 NPU 커널 합성 분야에서 대규모 언어 모델의 성능 저하를 해결하기 위해, 가치 기반 기억 메커니즘을 통해 경험을 축적하고 단계별로 최적화하는 자기 진화 에이전트 프레임워크인 EvoKernel 을 제안합니다.

핵심

🚗 비유: "데이터가 없는 낯선 도로에서 운전하는 AI"

1. 문제 상황: "지도도 없고, 경험도 없는 낯선 도시"

일반적인 AI(대형 언어 모델) 는 이미 수많은 데이터 (CUDA 코드 등) 를 배워서 NVIDIA 그래픽카드용 프로그램을 잘 짜줍니다. 하지만, NPU(화웨이 등 새로운 칩) 용 프로그램을 짜달라고 하면?

• 상황: 마치 운전자가 지도도 없고, 다른 운전자의 경험담도 없는 낯선 도시에 떨어진 것과 같습니다.
• 결과: 아무리 똑똑한 AI 라도 처음부터 코드를 짜면 100 번 중 14 번만 성공하고, 나머지는 다 틀립니다. (논문 Table 1 참조)
• 기존 방법의 한계:
  • 수업 (SFT): 전문가에게 배워야 하는데, NPU 전문가가 너무 귀해서 수업 비용이 천문학적입니다.
  • 단순 반복: 같은 실수를 반복하며 고치려 해도, AI 는 이전 실패를 기억하지 못하거나 다른 문제에서 배운 교훈을 적용하지 못합니다.

2. 해결책: "EvoKernel(진화하는 코어)" - 스스로 배우는 운전 교습소

저자들은 EvoKernel이라는 시스템을 만들었습니다. 이는 AI 가 스스로 운전 실력을 키우는 **'스스로 진화하는 교습소'**와 같습니다.

핵심 메커니즘 3 가지:

① '가치 기반' 메모리 (Value-Driven Memory): "무엇을 기억할지 AI 가 스스로 판단"

• 일반적인 메모리: "이전과 비슷한 코드"를 찾아줍니다. (예: "이전에도 '합' 연산이 틀렸으니 비슷한 걸 찾아보자")
• EvoKernel 의 메모리: **"이 경험이 지금 내 목표에 얼마나 도움이 될까?"**를 계산합니다.
  • 초기 단계 (Drafting): "코드가 실행될까?"가 중요할 때는, 실행 가능한 코드를 찾아주는 경험을 우선시합니다.
  • 후기 단계 (Refining): "코드가 빠를까?"가 중요할 때는, 속도를 높인 경험을 찾아줍니다.
• 비유: 운전 교습소에서 초보 때는 '안전하게 출발하는 법'을 가르쳐주고, 실력이 늘면 '연비 좋은 운전법'을 가르쳐주는 스마트한 교관이 있는 셈입니다.

② '초기 작성 (Drafting)'과 '계속 다듬기 (Refining)'의 두 단계

• 1 단계 (초기 작성): 일단 코드가 실행되게 만드는 것이 목표입니다. 완벽할 필요 없이, "에러 없이 돌아간다"는 것만 성공하면 됩니다.
• 2 단계 (계속 다듬기): 실행되는 코드를 바탕으로, 속도를 3.6 배나 빠르게 만드는 작업을 반복합니다.
• 비유: 처음에는 차가 시동만 걸리게 하고, 그다음에는 페달을 밟아 속도를 높이는 과정입니다.

③ '경험 공유' (Cross-Task Memory)

• 핵심: 쉬운 문제 (Level 1) 에서 배운 교훈을 어려운 문제 (Level 2) 에 바로 적용합니다.
• 비유: "A라는 길에서 우회전할 때 신호등이 빨간색이었다"는 경험을 배웠다면, B라는 길에서도 비슷한 상황에서 신호등을 확인하게 됩니다. 서로 다른 문제라도 배운 교훈 (메모리) 을 공유해서 전체적인 실력을 끌어올립니다.

3. 성과: "기적 같은 발전"

이 방법을 적용한 결과, AI 의 성능이 놀랍게 변했습니다.

• 정확도: 처음에는 10% 만 성공하던 것이, 83% 까지 성공률이 올라갔습니다. (기존 최고의 모델도 14% 에 그쳤음)
• 속도: 처음에 만든 코드를 다듬은 결과, 3.6 배 더 빠른 코드를 만들어냈습니다.
• 범용성: 이 시스템은 NPU 뿐만 아니라, 전혀 다른 새로운 칩이나 복잡한 Attention(주의) 연산에서도 잘 작동했습니다.

4. 결론: "데이터가 없어도 AI 는 배울 수 있다"

이 논문이 증명하려는 것은 **"데이터가 부족한 환경에서도, AI 가 스스로 경험을 쌓고 (메모리), 그중에서 가장 가치 있는 것을 골라 (가치 기반) 학습하면, 전문가가 없어도 새로운 기술을 마스터할 수 있다"**는 것입니다.

한 줄 요약:

"지도도 없는 낯선 도시에서, AI 가 스스로 '어떤 경험이 도움이 되는지' 판단하며 운전 실력을 키워, 결국 100% 성공하는 명수 운전사가 되었다!"

이 기술은 앞으로 AI 가 새로운 하드웨어나 희귀한 분야에서 전문가 없이도 스스로 일할 수 있는 길을 열어줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 을 데이터가 부족한 프로그래밍 도메인, 특히 새로운 도메인 특화 아키텍처 (DSA, 예: NPU) 에 배포할 때 심각한 한계에 직면합니다.

• 데이터의 벽 (Data Wall): NVIDIA CUDA 와 같은 성숙한 플랫폼과 달리, Ascend C(NPU) 와 같은 신흥 플랫폼은 학습 데이터, 문서, 전문가 지식이 극도로 부족합니다.
• 냉간 시작 (Cold-Start) 문제: 기존 LLM 은 사전 학습 데이터에 의존하여 CUDA 에서는 높은 성능을 내지만, 데이터가 부족한 NPU 환경으로 이전될 경우 성능이 급격히 저하됩니다 (예: GPT-5.2 의 CUDA L1 태스크 정확도 92% → Ascend C 14% 로 하락).
• 기존 방법의 한계:
  • 지도 미세조정 (SFT): 도메인별 수천 개의 전문가 라벨이 필요하여 비용이 너무 높음.
  • 강화 학습 (RL): 온라인 롤아웃이 필요하여 샘플 효율성이 낮고 일반화 능력을 잃을 위험이 있음.
  • 기존 RAG: 데이터베이스가 희소할 때 유사도 기반 검색만으로는 효과적인 컨텍스트를 제공하지 못함.

2. 제안 방법론: EvoKernel

저자들은 EvoKernel을 제안합니다. 이는 커널 합성 (Kernel Synthesis) 과정을 메모리 기반 강화 학습 (Memory-based RL) 문제로 재정의하고, 가치 기반 검색 (Value-Driven Retrieval) 메커니즘을 통해 모델 가중치 업데이트 없이도 에이전트가 스스로 진화하도록 하는 프레임워크입니다.

핵심 구성 요소

1. 메모리 기반 마르코프 의사결정 과정 (M-MDP):

   • 에이전트는 상태 (작업 및 현재 생성 상태), 행동 (생성된 커널 코드), 보상 (컴파일/정확도/지연 시간) 을 기반으로 학습합니다.
   • 메모리 (M): 성공/실패 경험, 생성 흔적 (traces), 최적화 사례, API 템플릿 등을 포함하는 동적 자기 진화 메모리 뱅크를 유지합니다.

2. 가치 기반 검색 (Value-Driven Retrieval):

   • 기존 의미적 유사도 검색 대신, 단계별 Q-value를 학습하여 현재 작업에 가장 유용한 과거 경험을 선택합니다.
   • Drafting 단계 (Q1): 기능적 정확도 (Functional Correctness) 확보에 기여하는 경험을 우선시합니다.
   • Refining 단계 (Q2): 지연 시간 (Latency) 최적화에 기여하는 경험을 우선시합니다.
   • 통합 업데이트: 몬테카를로 (Monte-Carlo) 업데이트 규칙을 사용하여 피드백을 바탕으로 Q-value 를 지속적으로 조정합니다.

3. 이중 단계 파이프라인:

   • Stage 1: Cold-Start Drafting: 초기 실행 가능한 커널을 생성하여 후속 최적화의 기반을 마련합니다. (이진 보상: 성공/실패)
   • Stage 2: Continual Refining: 실행 가능한 커널을 기반으로 지연 시간을 지속적으로 최적화합니다. (상대적 보상: 기존 최단 시간 대비 개선 정도)

4. 다중 게이트 검증 (Multi-Gate Verification):

   • 생성된 코드는 반해킹 (Anti-hacking), 컴파일, 정확도, 지연 시간 측정을 위한 다중 게이트를 통과해야 합니다.
   • 특히 '반해킹' 검증은 LLM 이 NPU 커널 로직을 Python 이나 호스트 코드에서 우회하여 실행하는 것을 방지하기 위해 규칙 기반 및 LLM 기반 감사를 수행합니다.

3. 주요 기여 (Key Contributions)

• 통합 Drafting-Refining 파이프라인: 공유 메모리를 기반으로 기능성 확보에서 성능 최적화로 자연스럽게 전환되는 2 단계 프레임워크를 제안했습니다.
• 진화하는 가치 기반 검색: 모델 가중치를 업데이트하지 않고도, 검증기 피드백을 통해 단계별 Q-value 를 학습하여 메모리 활용도를 극대화하는 메커니즘을 도입했습니다.
• 데이터 부족 환경에서의 일반화: NPU 벤치마크에서 최첨단 모델의 성능을 획기적으로 개선하고, 단순 작업에서 복잡한 작업으로의 지식 전이 (Cross-task transfer) 를 입증했습니다.

4. 실험 결과 (Results)

저자들은 NPU 변형 KernelBench를 구축하여 실험을 수행했습니다.

• 정확도 및 컴파일률 향상:

  • Frontier 모델 (GPT-5.2) 을 사용할 때, 초기 정확도 (11.0%) 를 **83.0%**까지 향상시켰습니다.
  • 기존 Codex(자율 에이전트) 보다 컴파일률 (CR) 에서 15.5%p, 정확도 (Acc) 에서 37.0%p 더 높은 성능을 기록했습니다.
  • 약한 백본 모델 (DeepSeek-V3.2, Qwen3-Coder) 에 대해서도 유의미한 성능 개선을 보였습니다.

• 성능 최적화 (Speedup):

  • 초기 실행 가능한 드래프트 대비 **중앙값 3.60 배 (3.60×)**의 속도 향상을 달성했습니다.
  • 일부 작업에서는 200 배 이상의 속도 향상을 기록하기도 했습니다.

• 일반화 및 전이 학습:

  • 난이도 전이: 쉬운 작업 (L1) 에서 학습한 메모리가 어려운 작업 (L2) 의 해결을 가속화하여, L2 작업의 정확도를 34% 에서 64% 로 높였습니다.
  • 모델 백본 전이: 강력한 모델 (GPT-5.2) 이 학습한 메모리를 약한 모델 (DeepSeek, Qwen) 에 적용했을 때, 컴파일률과 정확도가 크게 향상되었습니다.
  • 분포 외 (OOD) 작업: KernelBench 외의 Attention Set 및 DeepSeek mHC 커널에서도 높은 정확도와 성능 개선을 보여주어, 학습된 메모리가 특정 벤치마크에 국한되지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 데이터 부족 도메인의 해결책: 고비용의 미세조정 없이도, 가치 기반 경험 축적을 통해 일반 목적 LLM 이 희소 데이터 환경 (NPU 등) 에서도 전문적인 커널 합성 작업을 마스터할 수 있음을 증명했습니다.
• 자율적 커리큘럼 학습: 명시적인 작업 순서 지정 없이도, 에이전트가 메모리 검색을 통해 단순한 작업에서 복잡한 작업으로 자연스럽게 학습하는 '탄생된 커리큘럼 (Emergent Curriculum)'을 형성함을 보여주었습니다.
• 미래 전망: 이 접근법은 NPU 커널 합성뿐만 아니라, 검증 신호가 이진적이고 데이터가 부족한 다른 전문 분야 (DSL) 로 확장 가능하며, 하드웨어 다양화 시대에 전문가 부족 문제를 해결하고 데이터 부족 프로그래밍 지식을 민주화하는 데 기여할 수 있습니다.

이 논문은 LLM 이 단순히 패턴을 암기하는 것을 넘어, 메모리 기반의 가치 학습을 통해 새로운 하드웨어 생태계에 적응하고 진화할 수 있음을 보여주는 중요한 사례입니다.