기술 요약: LEVI – 진화적 탐색에서 더 강력한 검색 아키텍처가 더 큰 LLM 을 대체할 수 있음

1. 문제 제기

LLM 기반 진화 방법 (예: AlphaEvolve, FunSearch) 은 수학적 발견, 코드 최적화, 프롬프트 엔지니어링과 같은 분야에서 효과성을 입증해 왔습니다. 그러나 이러한 프레임워크는 현재 모든 변이 및 평가 단계에 대해 고비용의 최첨단 대규모 언어 모델 (LLM) 에 크게 의존하고 있습니다. 이러한 의존성은 진입 장벽을 높여, 개별 실행 비용이 최대 30 달러에 달하며 Claude Opus 나 Gemini Pro 와 같은 모델에 수천 번의 호출이 필요하게 만듭니다.

저자들은 이 비용이 LLM 기반 진화의 본질적 요구사항이 아니라 비효율적인 검색 아키텍처의 산물이라고 주장합니다. 기존 프레임워크는 종종 솔루션 다양성을 유지하지 못해 지역 최적점에서 벗어나기 위해 더 큰 모델에 의존하게 만듭니다. 또한 모든 변이 호출을 균일하게 처리하여, 더 작은 모델이 처리할 수 있는 로컬 편집에 최첨단 모델 예산을 낭비하고, 롤아웃이 많은 설정에서 중복 평가에 자원을 낭비합니다.

2. 방법론: LEVI 프레임워크

LEVI(Harness-First 진화 프레임워크) 는 솔루션 데이터베이스, 변이 라우팅, 평가 전략이라는 세 가지 특정 비용 축을 최적화함으로써 검색 성능을 모델 규모와 분리하도록 설계되었습니다.

2.1. 솔루션 데이터베이스: 부트스트랩 시딩을 활용한 CVT-MAP-Elites

LEVI 는 표준 아카이브를 CVT-MAP-Elites(Centroidal Voronoi Tessellation MAP-Elites) 아카이브로 대체합니다.

• 다양성 유지: 정규 그리드 MAP-Elites 와 달리 CVT-MAP-Elites 는 지수적인 셀 증가 없이 고차원 기술자 공간에 유연하게 확장됩니다. 이는 입력 측 (예: 사이클로매틱 복잡도와 같은 AST 기능) 과 출력 측 (예: 런타임 프로파일) 기술자의 튜플을 기반으로 후보를 행동 셀에 매핑합니다.
• 부트스트랩 초기화: 단일 시드에서 시작하는 대신, LEVI 는 LLM 이 구조적으로 다양한 솔루션 시퀀스를 생성하는 사전 '시드 패스'를 수행합니다. 점수가 낮더라도 이러한 시드들은 아카이브의 기술자 경계를 보정 (z-score 정규화 및 시그모이드 변환을 통해) 하고 초기 셀을 채우는 데 사용됩니다.
• 행동 차원: 아카이브는 서로 다른 알고리즘적 정체성이 서로 다른 셀을 차지하도록 보장하여 검색이 단일 매력 Basin 으로 붕괴되는 것을 방지함으로써 다양성을 유지합니다.

2.2. 역할 인식 변이 라우팅

LEVI 는 모든 단계에 단일 대형 모델을 사용하는 대신, 변이의 특정 '역할'에 따라 변이 작업을 모델에 할당하는 라우터를 도입합니다.

• 정제 경로 (호출의 약 90%): 로컬 편집 (상수 조정, 데이터 구조 교체) 은 더 작고 저렴한 모델 (예: Qwen3-30B-A3B) 로 라우팅됩니다. 아카이브의 견고한 다양성은 더 작은 모델의 전형적인 노이즈와 중복성을 흡수하여 아카이브 드리프트를 방지합니다.
• 패러다임 전환 경로 (호출의 약 10%): 주기적으로 또는 정체 시 더 큰 모델 (예: Gemini Flash 3) 이 트리거됩니다. 단일 부모를 변이시키는 대신, 대형 모델은 서로 다른 잘 분리된 아카이브 셀의 대표자를 수신하여 새로운 알고리즘 계열에 속하는 후보를 제안하도록 합니다. 이는 로컬 정제가 아닌 구조적 재작성을 목표로 합니다.

2.3. 프록시 벤치마크 선택

평가가 롤아웃에 의해 지배되는 설정 (예: 프롬프트 최적화) 의 경우, LEVI 는 전체 검증 세트에서 프록시 벤치마크($D_{proxy}$) 를 구성합니다.

• 순위 보존: 프록시는 프록시 세트와 전체 세트 간의 후보 순위 상관관계를 최대화하기 위해 탐욕적 순방향 선택을 통해 선택됩니다.
• 목적 함수: 선택은 순위 충실도 (후보 순서 일치), 분리도 (예제의 변별력), 그리고 중복성 최소화를 최적화합니다. 이를 통해 진화적 루프는 진화에 필요한 선택 신호를 유지하면서 각 반복당 훨씬 적은 수의 롤아웃으로 실행될 수 있습니다.

3. 주요 기여

1. 아키텍처 효율성: LEVI 는 검색 아키텍처 (다양성 유지, 역할 인식 라우팅, 프록시 선택) 에 투자하는 것이 더 큰 LLM 의 사용을 대체하거나 능가할 수 있음을 보여줍니다.
2. 비용 절감: 이 프레임워크는 기존 최첨단 모델 베이스라인 비용의 일부로 최첨단 또는 경쟁력 있는 결과를 달성합니다.
3. 오픈소스 구현: LEVI 는 오픈소스 프레임워크로 출시되어, Harness-First 진화 검색을 위한 재현 가능한 하네스를 제공합니다.

4. 실험 결과

저자들은 LEVI 를 7 개의 시스템 연구 벤치마크와 4 개의 프롬프트 최적화 벤치마크에서 평가했습니다.

4.1. 시스템 연구 벤치마크

• 성능 대비 비용: 7 개 문제 중 6 개 (Cloudcast, EPLB, LLM-SQL, Prism, Txn Sched, Spot-M, Spot-S) 에서 LEVI 는 GEPA, OpenEvolve, ShinkaEvolve, AdaEvolve 와 같은 프레임워크의 출판된 최첨단 모델 실행보다 3.3~6.7 배 작은 예산으로 최고의 점수를 달성했습니다.
• 구체적 성과: LLM-SQL 문제에서 LEVI 는 단 0.50 달러만 사용하여 주요 프레임워크를 능가했으며, 이는 35 배의 비용 절감입니다.
• 샘플 효율성: 동일한 모델 (Qwen3-30B-A3B) 과 예산을 사용한 통제된 비교에서 LEVI 는 베이스라인보다 15 배 빠르게 (평가 수 기준) 고수준 성능에 도달했으며, 다른 방법들이 정체된 곳에서도 계속 개선되었습니다.

4.2. 프롬프트 최적화

• 롤아웃 효율성: 4 개의 벤치마크 (HotpotQA, IFBench, Hover, PUPA) 에서 LEVI 는 GEPA 의 성능과 일치하거나 초과하면서 절반 미만의 롤아웃 예산 (합계 2,191 대 4,985 회) 을 사용했습니다.
• 프록시 효과성: 프록시 벤치마크 선택은 순위 신호를 성공적으로 보존하여 진화적 루프가 전체 세트 평가 횟수를 줄이고도 수렴할 수 있게 했습니다.

4.3. 제거 실험 (Ablation Studies)

• 시딩: 부트스트랩 초기화를 제거하면 성능이 크게 저하되었습니다 (예: Spot Scheduling 에서 5 점 하락). 이는 초기 다양성의 필요성을 확인시켜 줍니다.
• 다양성 차원: 풍부한 기술자는 여러 알고리즘 계열이 필요한 문제 (Spot Scheduling) 에 중요했지만, 단일 계열이 지배적인 문제 (Transaction Scheduling) 에는 덜 중요했습니다.
• 모델 라우팅: '패러다임 전환' 경로는 구조적 도약이 필요한 문제 (EPLB) 에서 결정적이었으며, 대형 모델을 제거하면 정체가 발생했습니다. 반면, 로컬 정제가 주를 이루는 작업 (Transaction Scheduling) 에서는 대형 모델 경로가 때로는 오버헤드가 되었습니다.

5. 의미 및 주장

이 논문은 LLM 기반 진화적 탐색의 높은 비용이 패러다임의 근본적 한계가 아니라 대부분 해결 가능한 공학적 문제라고 주장합니다. '더 큰 모델'에서 '더 강력한 검색 아키텍처'로 초점을 전환함으로써 LEVI 는 진화적 발견의 진입 장벽을 낮춥니다.

저자들은 LEVI 를 더 강력한 검색 아키텍처가 더 큰 LLM 을 대체할 수 있음을 입증하는 개념 증명 (proof-of-concept) 으로 위치시킵니다. 그들은 그들의 접근 방식이 더 저렴한 모델과 더 강력한 아키텍처로 작업을 전환함으로써 달러 비용을 줄이지만, 더 많은 평가가 필요할 수 있다고 지적합니다. 이 트레이드오프는 평가가 저렴할 때 (예: 코드 실행) 유리하지만, 평가가 비쌀 때 (예: 모델 학습) 는 덜 유리합니다. 이 연구는 검색 하네스가 충분히 견고하다면 진화적 탐색이 전적으로 저렴하고 오픈 가중치 모델에 의존할 수 있는 미래 방향을 제시합니다.