CodeEvolve: an open source evolutionary coding agent for algorithmic discovery and optimization

이 논문은 대규모 언어 모델 (LLM) 과 진화 연산을 결합한 오픈소스 프레임워크인 CodeEvolve 를 소개하며, 이는 AlphaEvolve 와 같은 기존 벤치마크에서 최첨단 성능을 달성하면서도 오픈 가중치 모델을 활용해 폐쇄형 모델 대비 훨씬 낮은 계산 비용으로 알고리즘 발견 및 최적화를 가능하게 함을 보여줍니다.

핵심

CODEEVOLVE: 인공지능이 스스로 알고리즘을 진화시키는 비밀

이 논문은 **"CODEEVOLVE"**라는 새로운 오픈소스 프로젝트를 소개합니다. 이 프로젝트는 거대 언어 모델 (LLM, 예: 챗봇) 과 진화론적 알고리즘을 결합하여, 인간이 직접 코드를 짜지 않아도 최고 성능의 알고리즘을 스스로 찾아내는 시스템입니다.

이 복잡한 개념을 이해하기 쉽게, **'지능적인 요리사들의 요리 대회'**에 비유해 설명해 드리겠습니다.

---

1. 배경: 왜 이 연구가 필요한가요?

과거에는 알고리즘을 개발할 때 최고의 수학자나 프로그래머들이 밤을 새워가며 코드를 썼습니다. 최근에는 구글의 'AlphaEvolve' 같은 거대 AI 가 이 일을 해내지만, 이 시스템은 비공개이고 엄청난 비용이 듭니다. 마치 "미슐랭 3 성 셰프가 만든 비법 레시피"를 알 수 없고, 그걸 배우려면 천문학적인 돈을 써야 하는 상황과 비슷합니다.

저자들은 "작고 저렴한 AI 모델들을 잘만 조립하면, 비싼 거대 AI 못지않게 훌륭한 요리를 만들 수 있지 않을까?"라고 생각했습니다.

2. CODEEVOLVE 의 핵심 원리: '진화하는 요리 대회'

CODEEVOLVE 는 다음과 같은 방식으로 작동합니다.

🏝️ 1 단계: 여러 개의 '요리 섬' (Islands)

전 세계에 흩어진 여러 개의 작은 섬이 있다고 상상해 보세요. 각 섬에는 요리사 (AI 모델) 들이 모여 있습니다.

• 각 섬의 요리사들은 서로 독립적으로 새로운 요리 (코드) 를 개발합니다.
• 가끔씩, 각 섬에서 가장 맛있는 요리를 한 접시씩 가져와 이웃 섬에 공유합니다 (이것을 '이주'라고 합니다).
• 이렇게 하면 한 섬에서 실패해도 다른 섬의 좋은 아이디어를 받아들여 전체적으로 발전할 수 있습니다.

🧬 2 단계: '요리 레시피'의 진화 (Evolution)

요리사들은 단순히 요리를 만드는 게 아니라, 레시피를 수정하고 발전시킵니다.

• 선택 (Selection): 지금까지 만든 요리 중 가장 맛있는 것 (성능이 좋은 코드) 을 고릅니다.
• 변이 (Variation): AI 가 레시피의 일부만 살짝 바꿔봅니다. "소금을 조금 더 넣을까?", "불을 약하게 할까?" 하는 식입니다.
• 교배 (Crossover): 두 개의 맛있는 요리 레시피를 섞어서 새로운 레시피를 만듭니다. "A 요리사의 스테이크 소스와 B 요리사의 구운 채소를 합쳐보자!"

🤖 3 단계: AI 의 역할 (LLM Ensemble)

여기서 핵심은 AI 가 어떻게 코드를 고치는지입니다.

• 기존 방식은 AI 가 처음부터 끝까지 코드를 다 짜게 했지만, CODEEVOLVE 는 **"이 부분만 고쳐줘"**라고 요청합니다.
• 마치 요리사가 "이 요리에 고추를 더 넣으면 더 맛있을 것 같아"라고 생각하며 레시피를 수정하는 것처럼, AI 는 기존 코드의 일부를 찾아내어 더 나은 버전으로 **수정 (Diff)**합니다.
• 또한, AI 는 자신의 지시사항 (프롬프트) 자체도 수정합니다. "어? 내가 이렇게 지시하면 요리사가 잘 못 만드는구나. 지시문을 바꿔보자"라고 스스로 학습합니다.

3. 놀라운 결과: 작은 AI 가 거대 AI 를 이기다?

연구진은 이 시스템을 다양한 수학 및 알고리즘 문제 (예: 원들을 정사각형에 최대한 많이 채우는 문제) 에 적용해 보았습니다.

• 성능: CODEEVOLVE 는 구글의 비공개 시스템 (AlphaEvolve) 이 기록한 최고 기록을 깨거나, 최소한 그 수준에 도달했습니다.
• 비용: 놀랍게도, 구글의 거대 AI 를 사용한 비용의 10 분의 1 수준으로 같은 결과를 냈습니다.
  • 비유: "거대 AI 는 비싼 고급 식재료를 사야 하지만, CODEEVOLVE 는 저렴한 식재료로도 최고의 요리를 만들어내는 똑똑한 요리사들"입니다.
• 오픈소스: 이 모든 기술은 누구나 무료로 볼 수 있고, 사용할 수 있게 공개되었습니다.

4. 왜 이것이 중요한가요?

이 연구는 "알고리즘을 개발하는 일"을 민주화했다는 점에서 의미가 큽니다.

1. 투명성: 비공개 블랙박스 (AlphaEvolve) 가 아니라, 어떻게 코드가 발전했는지 모든 과정을 볼 수 있습니다.
2. 접근성: 거대 기업만 할 수 있었던 '자동 과학 발견'을 작은 연구실이나 개인도 할 수 있게 했습니다.
3. 효율성: 무조건 비싼 AI 를 쓰는 것보다, **작은 AI 들을 잘 조율 (Orchestration)**하는 것이 더 중요하다는 것을 증명했습니다.

요약

CODEEVOLVE는 "AI 가 스스로 코드를 고치고, 그 지시사항까지 스스로 개선하며, 여러 AI 가 서로 아이디어를 주고받아 최고의 알고리즘을 진화시키는 시스템"입니다.

마치 수만 명의 요리사들이 작은 섬에서 각자 요리를 만들고, 서로의 레시피를 공유하며, 시간이 지날수록 점점 더 맛있는 요리를 만들어내는 과정과 같습니다. 그리고 이 시스템은 비싼 식재료 (거대 AI) 없이도, 저렴한 재료 (오픈소스 AI) 로도 최고의 맛을 낼 수 있음을 증명했습니다.

이제 우리는 AI 가 단순히 질문에 답하는 것을 넘어, 과학적 발견과 새로운 기술의 창시자가 될 수 있는 시대를 맞이하게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 자연어에서 코드를 생성하거나 복잡한 추론 문제를 해결하는 능력을 보여주며, 자동화된 과학적 발견 (Automated Scientific Discovery) 의 패러다임을 바꾸고 있습니다. 그러나 기존에 가장 성능이 뛰어난 시스템들 (예: Google DeepMind 의 AlphaEvolve) 은 다음과 같은 한계를 가지고 있습니다.

• 폐쇄성 (Closed-source): 소스 코드와 모델이 공개되지 않아 재현성 (Reproducibility) 이 보장되지 않습니다.
• 고비용: 막대한 컴퓨팅 자원과 비싼 독점 (Proprietary) 모델에 의존합니다.
• 제한된 접근성: 연구 커뮤니티가 알고리즘 발견 과정을 직접 탐구하고 개선하기 어렵습니다.

이러한 배경 하에서, 오픈 소스 기반의 투명하고 비용 효율적인 알고리즘 발견 프레임워크가 필요했습니다.

2. 방법론 (Methodology)

CODEEVOLVE는 LLM 과 진화 연산 (Evolutionary Search) 을 결합하여 고품질의 알고리즘 솔루션을 합성하는 오픈 소스 프레임워크입니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 아키텍처: 섬 기반 유전 알고리즘 (Islands-based Genetic Algorithm)

• 여러 개의 독립적인 개체군 (Islands) 이 병렬로 진화하며, 주기적으로 최우수 개체 (Best-performing individuals) 를 서로 교환 (Migration) 합니다.
• 이 방식은 검색 공간의 다양성을 유지하고, 국소 최적해 (Local Optima) 에 빠지는 것을 방지하며, 성공적인 솔루션을 전체 검색 공간에 전파합니다.

나. LLM 오케스트레이션 (Modular LLM Orchestration)

CODEEVOLVE 는 솔루션 생성을 위해 세 가지 모듈화된 연산자를 사용합니다:

1. 심층 활용 (Depth Exploitation): 상위 성능을 보이는 솔루션을 선택하고, 해당 솔루션의 조상 (Ancestors) 과 부모 프롬프트를 컨텍스트로 제공하여 점진적이고 표적화된 개선을 유도합니다.
2. 메타 프롬프팅 (Meta-prompting Exploration): 솔루션과 프롬프트를 무작위로 샘플링하여 LLM 이 새로운 프롬프트 (P') 를 생성하게 합니다. 이는 기존 계보에 구애받지 않는 새로운 전략 탐색을 가능하게 합니다.
3. 영감 기반 교차 (Inspiration-based Crossover): 여러 상위 솔루션 (Inspirations) 을 LLM 에 제공하여, 단순한 코드 스플라이싱이 아닌 **의미론적 교차 (Semantic Crossover)**를 수행하도록 유도합니다. LLM 이 여러 부모의 성공적인 패턴을 통합하여 새로운 코드를 생성합니다.

다. LLM 앙상블 (LLM Ensemble)

• 탐색 (Exploration) 과 활용 (Exploitation) 단계에 따라 온도가 다른 모델들을 선택적으로 사용합니다.
• 폐쇄형 모델: Google Gemini 2.5 와의 직접적인 비교를 위해 사용.
• 오픈 가중치 모델 (Open-weight): 비용 효율성을 검증하기 위해 Qwen3-Coder-30B와 같은 오픈 소스 모델을 주력으로 사용.

라. 인구 관리 (Population Management)

• MAP-Elites: 솔루션의 다양성을 유지하기 위해 특징 공간 (Feature space) 을 분할하여 각 셀에서 가장 적합한 (Elite) 솔루션을 저장합니다. 이는 다양한 니치 (Niche) 를 탐색하고 조기 수렴을 방지합니다.
• 샌드박스 평가: 생성된 코드는 런타임 및 메모리 제한이 있는 샌드박스에서 실행되어 안전성과 성능이 평가됩니다.

3. 주요 기여 (Key Contributions)

1. 투명한 오픈 소스 프레임워크: 알고리즘 발견을 위한 첫 번째 완전한 오픈 소스 진화 프레임워크로, 재현성과 투명성을 제공합니다.
2. 비용 효율적인 SOTA 달성: 소규모 오픈 가중치 모델 (Qwen3-Coder-30B) 을 사용하여 폐쇄형 모델 (AlphaEvolve) 과 동등하거나 더 나은 성능을 달성하면서도 컴퓨팅 비용을 획기적으로 절감했습니다.
3. 심층 분석 및 가이드: 각 구성 요소 (메타 프롬프팅, 교차, 심층 활용 등) 의 기여도를 분석한 광범위한 제거 실험 (Ablation Study) 과 실용적인 하이퍼파라미터 가이드를 제공합니다.

4. 실험 결과 (Results)

연구팀은 AlphaEvolve 벤치마크 (원형/육각형 패킹, 거리 최소화, 자기상관 부등식 등) 와 EoH (Evolution of Heuristics) 벤치마크에서 CODEEVOLVE 를 평가했습니다.

• 성능 비교:
  • CODEEVOLVE 는 9 개의 AlphaEvolve 벤치마크 중 **5 개에서 최상위 성능 (SOTA)**을 기록하거나 기존 기록과 동등한 결과를 달성했습니다.
  • 특히 CirclePackingSquare (n=32) 및 MinimizeMaxMinDist 문제에서 새로운 최선 기록 (Best-known results) 을 수립했습니다.
  • Qwen3-Coder-30B는 CirclePackingSquare (n=26) 문제에서 약 900 번의 모델 호출로 AlphaEvolve 를 능가했으며, 이는 약 6 달러의 비용으로 달성되었습니다. 반면, AlphaEvolve 는 약 400 번의 호출에 35 달러 이상이 소요되었습니다. (비용 효율성 약 10 배 차이)
• 오픈 소스 프레임워크 대비 우위:
  • OpenEvolve, ShinkaEvolve, ThetaEvolve 등 다른 오픈 소스 프레임워크와 비교했을 때, CODEEVOLVE 는 대부분의 문제에서 더 높은 평균 성능과 최상위 성능을 보였습니다.
• 구성 요소 분석:
  • 전체 방법론 (Full method) 을 사용할 때만 AlphaEvolve 를 능가할 수 있었으며, 단순한 진화 (Naive evolution) 나 프롬프트 반복 (No evolution) 만으로는 성능이 현저히 떨어졌습니다. 이는 메타 프롬프팅, 교차, 심층 활용 연산자 간의 시너지가 핵심임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 민주화된 알고리즘 발견: CODEEVOLVE 는 고비용의 독점 모델에 의존하지 않고도, 잘 설계된 오픈 소스 프레임워크와 오픈 가중치 모델을 통해 세계 최고 수준의 알고리즘을 발견할 수 있음을 증명했습니다.
• 재현성과 투명성: 폐쇄형 시스템의 블랙박스 성격을 벗어나, 연구자들이 검색 전략과 모델 앙상블을 직접 수정하고 검증할 수 있는 기반을 마련했습니다.
• 미래 방향: 자동화된 과학적 발견 분야에서 모델의 규모 (Scale) 보다는 오케스트레이션 (Orchestration) 의 질이 더 중요할 수 있음을 시사하며, 향후 연구자들에게 강력한 도구를 제공합니다.

결론적으로, CODEEVOLVE 는 LLM 기반의 진화적 알고리즘 발견 분야에서 새로운 기준을 제시하며, 오픈 소스 생태계가 폐쇄형 거대 모델의 성능을 따라잡고 비용 효율성을 극대화할 수 있음을 보여준 획기적인 연구입니다.