PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

PACEvolve++ 기술 요약: 진화적 검색 에이전트의 테스트 시간 학습 개선

문제 제기
대규모 언어 모델 (LLM) 은 진화적 검색을 위한 효과적인 동력으로 부상하여, 열린 최적화 문제에서의 자율적 발견을 가능하게 했습니다. 그러나 기존 시스템은 일반적으로 다음 후보를 샘플링하기 위해 고정된 프롬프트 유도 추론 정책에 의존합니다. 유용한 검색 경험이 시스템의 컨텍스트 (발판) 에 축적될 수는 있지만, 이는 모델의 의사결정 선호도에 내재화되지 않습니다. 이 한계는 평가 비용이 높고 이전 시도 간의 패턴 인식이 진전에 의존하는 실제 엔지니어링 및 연구 작업 (예: MoE 부하 균형, 단백질 적합도 외삽) 에서 특히 중대한 영향을 미칩니다. 고정된 정책은 컨텍스트를 통해 역사에 조건을 부여할 수는 있지만, 진화하는 프런티어를 개선할 가능성이 높고 새로운 방향이며 실행 가능한 방향을 우선시하도록 의사결정 전략을 적응시키는 데는 실패합니다. 또한, 전략적 의사결정과 코드 구현을 위한 단일 모델의 엔드 투 엔드 학습은 종종 가설의 품질과 구현의 정확성을 혼란스럽게 만들어 적응을 위한 노이즈가 많은 신호를 생성합니다.

방법론
저자들은 진화적 검색 에이전트를 위한 테스트 시간 정책 적응을 위해 설계된 어드바이저 - 모델 강화 학습 (RL) 프레임워크인 **PACEvolve++**를 소개합니다. 이 방법론은 두 가지 핵심 기둥에 기반합니다:

1. 어드바이저 - 모델 분해:
   이 프레임워크는 전략적 검색 의사결정을 코드 구현과 분리합니다.

   • 어드바이저: 가설 생성, 신규성 평가, 변이 선택을 포함한 고수준 전략적 추론을 담당하는 학습 가능한 소형 모델.
   • 프런티어 모델: 어드바이저가 선택한 가설을 실행 가능한 코드로 변환하는 역할을 하는 더 강력하고 고정된 모델 (예: Gemini).
     이 분리는 복잡한 코드베이스의 구현 실패로 인해 종종 방해받는 엔드 투 엔드 학습을 겪지 않고도 시스템이 작업별 검색 우선순위를 학습할 수 있게 합니다.

2. 단계 적응형 강화 학습:
   진화적 검색이 진행됨에 따라 피드백의 성격이 변화한다는 점을 인식하여, PACEvolve++ 는 검색 단계에 적응하는 동적 신용 할당 전략을 사용합니다:

   • 탐색 단계 (초기): 후보들이 메커니즘과 품질 측면에서 현저히 다를 때, 시스템은 그룹 상대적 피드백(GRPO 와 유사) 을 사용합니다. 이는 조기 수렴 없이 광범위한 검색 선호도를 학습하고 유망한 변이 계열을 식별하기 위한 밀집되고 정보적인 신호를 제공합니다.
   • 정제 단계 (후기): 검색이 수렴하고 보상 간격이 압축됨에 따라 (후보들이 강력한 부모의 근접 변이가 됨), 그룹 상대적 신호는 비효율적이 되어 최적화 불안정성을 초래할 수 있습니다. 시스템은 Pass@k 정책 최적화 (PKPO) 기반의 프런티어 기여도 신호로 전환합니다. 구체적으로, "최고 k 개" 프런티어를 변경하는지에 따라 후보에 신용을 부여하는 저분산 SLOO (Leave-One-Out) 추정기를 사용합니다. 이는 장기 진화적 검색의 로그 감소 보상 구조와 훈련 목표를 정렬시킵니다.

   최종 이득은 이 두 신호의 선형 혼합이며, 프런티어 기여도 신호의 가중치 ($\alpha_t$) 는 훈련 전체에 걸쳐 0 에서 1 로 선형적으로 증가합니다. 또한, 이 프레임워크는 이질적인 작업 지표 (최대화/최소화) 를 통합된 척도로 매핑하기 위해 진행 정규화 보상 형성을 사용합니다.

주요 기여

• 어드바이저 기반 정책 적응: 이 논문은 학습 가능한 의사결정 계층 (어드바이저) 을 구현 계층에서 분리하는 새로운 아키텍처를 제안합니다. 이를 통해 시스템은 강력한 프런티어 모델을 코드 생성에 활용하면서도 동적 검색 우선순위 (예: 초기에 새로운 영역을 여는 변이 계열 대 후기 단계 이득을 제공하는 정제) 를 내재화할 수 있습니다.
• 검색 역학 인식 RL 알고리즘: 저자들은 그룹 상대적 피드백에서 프런티어 기여도 신용 할당으로 전환하는 단계 적응형 RL 목적 함수를 설계했습니다. 이는 비용이 많이 드는 평가에서 전형적인 작은 롤아웃 배치와 압축된 보상 지형과 같은 기존 방법 (GRPO 및 엔트로피 목적 함수 등) 에서 관찰된 불안정성을 해결합니다.
• 실증적 검증: 이 프레임워크는 세 가지 다양한 실제 머신러닝 엔지니어링 작업에서 평가되었습니다:
  1. 전문가 병렬 부하 균형 (EPLB): 혼합 전문가 (Mixture-of-Experts) 모델에 대한 장치 할당 최적화.
  2. 순차적 추천: KuaiRec 데이터셋에서 FuXi-linear 스타일 추천기를 진화시키는 작업.
  3. 단백질 적합도 외삽: 다중 부위 변이의 적합도 효과 예측 (Multi-Evolve 벤치마크).

결과
세 가지 작업과 다양한 모델 크기 (Qwen3.5-4B 및 DeepSeek-R1-0528-Qwen3-8B) 전반에 걸쳐 PACEvolve++ 는 ThetaEvolve (GRPO 기반), TTT-Discover (엔트로피 목적 함수 기반), Max@k (PKPO 기반) 훈련을 포함한 최첨단 베이스라인보다 우수한 성능을 입증했습니다.

• 수렴: PACEvolve++ 는 모든 베이스라인보다 빠른 수렴을 달성하고 더 높은 최종 보상에 도달합니다.
• 안정성: 기울기 노름 급증 (GRPO) 또는 조기 엔트로피 붕괴 (Max@k) 를 보이는 베이스라인과 달리, PACEvolve++ 는 더 매끄러운 엔트로피와 기울기 노름을 유지하며 안정적인 훈련 역학을 보입니다.
• 효율성: EPLB 작업에서 PACEvolve++ 는 비 RL PACEvolve 베이스라인이 요구하는 진화 예산의 절반만으로 거의 최적의 해에 도달합니다.

의의
이 논문은 현실적인 도메인으로의 자기 진화 에이전트 확장을 위해서는 검색 발판뿐만 아니라 추론 정책 자체를 개선해야 한다고 주장합니다. 전략적 추론을 구현에서 분리하고 최적화 목적 함수를 진화적 검색의 고유한 역학 (탐색에서 정제로의 전환) 에 정렬시킴으로써, PACEvolve++ 는 평가 비용이 높은 환경에서 테스트 시간 훈련을 안정화합니다. 이 연구는 장기 검색에서의 효과적인 적응이 무엇을 검색할 것인지에 대한 피드백을 내재화할 수 있는 정책이 필요하며, 이는 검색을 구현하는 능력과 구별되어야 하며, 이 정책은 검색 지형이 다양에서 포화 상태로 진화함에 따라 학습 전략을 적응시켜야 함을 강조합니다.