기술 요약: ELMER – 탐색하고 정교화하는 진화형 언어 모델 (Evolutionary Language Model that Explores and Refines)

1. 문제 정의

프로그램 진화는 전통적으로 심각한 단절 문제에 직면해 있다. 즉, 변이가 적합도(fitness)를 개선했는지는 측정할 수 있지만, 변이가 행동 공간(behavior space) 내에서 이동하는 크기(magnitude)에 대해서는 제어할 수 없다는 점이다. 현재의 방법들은 구문적 대리 지표(예: 토큰, 트리, 또는 서브트리 편집)를 변이 규모로 사용한다. 이러한 대리 지표는 신뢰할 수 없는데, 작은 구문적 변화가 정책의 실행 궤적을 급격히 변화시킬 수도 있는 반면, 큰 재작성(rewrite)이 동일한 행동을 유지할 수도 있기 때문이다. 본 논문은 요청된 크기가 실현된 행동적 변위(behavioral displacement)를 직접적으로 예측할 수 있는 변이 척도의 필요성을 식별한다.

2. 방법론

저자들은 변이를 위한 표현 방식과 평가를 위한 표현 방식을 분리하는 ELMER 시스템을 제안한다. 핵심 혁신은 자연어(NL) 정책 기술을 탐색하고 이를 타입이 지정된 실행 가능한 프로그램으로 컴파일하는 진화형 언어 모델이다.

시스템 아키텍처

• 표현(Representation): 정책은 표준화된 자연어 기술로서 변이된다.
• 실행(Execution): 학습된 컴파일러는 NL 기술을 결정론적 실행 및 백테스팅을 위한 유전 프로그래밍 트레이딩 언어(GPTL) 코드로 매핑한다.
• 행동적 변위(Behavioral Displacement): 공유된 역사적 궤적에 대한 부모와 자식의 원시 신호 불일치(raw signal disagreement)로 정의된다.
• 모델(The Model): 완전히 미세 조정된 Qwen3-8B 모델은 세 가지 태스크 조건부 연산을 학습한다:
  1. 조건부 의미론적 변이(Conditional Semantic Mutation): 부모 기술, 백테스트 피드백, 그리고 요청된 강도($s \in \{low, medium, high\}$)가 주어졌을 때 자식 NL 기술을 생성한다.
  2. NL-to-GPTL 컴파일: NL을 실행 가능한 코드로 번역한다.
  3. GPTL-to-NL 번역: 코드를 표준화된 NL 형식으로 다시 변환한다.

학습 파이프라인

학습 과정은 행동에 근거한 제어를 학습하기 위해 두 가지 별도의 단계를 거친다:

1. 행동 근거 지도 학습 미세 조정(Behavior-Grounded SFT):
   • 감독 데이터는 높은 적합도를 가진 GPTL 프로그램으로부터 시작되는 "퇴화 체인(degradation chains)"으로부터 구축된다.
   • 적합도를 감소시키기 위해 문법적으로 유효한 AST 편집을 적용하여, 알려진 행동적 거리를 가진 부모-자식 전이를 생성한다.
   • 이러한 전이들을 역순으로 처리하여 NL 쌍으로 렌더링함으로써, 모델이 특정 행동적 변위와 의미론적 편집을 연관시키도록 가르친다.
2. 공통 부모 오프셋 직접 선호 최적화(Common-Parent Offset Direct Preference Optimization, oDPO):
   • 제어력을 정교화하기 위해, 모델은 선호도 프레임워크를 사용하여 최적화된다.
   • 주어진 부모와 요청된 강도에 대해, 모델은 실현된 변위가 타겟 레짐($\mu_s$)에 가장 가까운 자식을, 타겟에서 벗어난 자식보다 선호하도록 학습한다.
   • 이진 품질을 최적화하는 표준 DPO와 달리, oDPO는 변위 오프셋에 기반한 **쌍 의존적 마진(pair-dependent margins)**을 통합하여, 모델이 변이 공간의 조종 가능한 서수적 기하학(ordinal geometry)을 학습할 수 있게 한다.

실험 설정

• 도메인: 2008~2025년의 시간당 데이터를 사용하는 금융 트레이딩 (E-mini S&P 500, 은(Silver), 미국 국채).
• 프로토콜: 엄격한 시간적 홀드아웃(holdout)을 포함한 고정 예산 진화 탐색. 실험 설계는 학습된 연산자 매트릭스(6개 연산자, 3개 알고리즘, 3개 자산, 4개 시드)에서의 216개 탐색과 네이티브 베이스라인을 위한 별도의 36개 탐색 AST 매트릭스를 포함하여 총 252개 탐색으로 구성된다.
• 베이스라인:
  • 학습되지 않은 기본 모델.
  • 강도 레이블이 없는 SFT.
  • 프롬프트 전용 조건화 (행동 근거가 없는 강도 단어 사용).
  • 행동 근거 SFT (oDPO 미사용).
  • 네이티브 AST 변이 (수동 설계된 연산자).
  • 매칭된 코드-출력 oDPO (동일한 학습 데이터/목적을 가지나, NL 대신 GPTL 코드를 출력함).

3. 주요 기여

1. 실행 근거 변이 정의: 실행 가능한 액션 시퀀스의 불일치에 기반한 변이 변위 정의와, 순서가 있는 행동 레짐에 대한 조건부 변이 연산자 제시.
2. 멀티태스크 행동 근거 모델: 실행 가능한 전이를 사용하여 의미론적 변이, 컴파일, 번역을 수행하도록 학습된 단일 LLM을 통해 "얼마나 멀리" 변이해야 하는지를 학습할 수 있게 함.
3. 제어된 절제 연구(Controlled Ablations): 도메인 미세 조정, 행동 근거 조건화, oDPO, 그리고 자연어 표현의 역할을 체계적으로 격리하여 분석함.
4. 메커니즘 분석: 캘리브레이션, 의미론적 편집 구성, 그리고 변이의 구문-행동 국소성(syntax-behavior locality)에 대한 분석.

4. 결과

연구는 252개의 고정 예산 탐색(216개의 학습된 연산자 실행 및 36개의 네이티브 AST 베이스라인 실행)에 걸쳐 결과를 보고한다.

• 캘리브레이션 (강도 제어):
  • oDPO는 요청된 강도와 실현된 변위 사이에서 0.824의 평균 스피어먼 상관계수를 달s성한다.
  • 행동 근거 SFT 단독으로는 0.310, 프롬프트 전용 조건화는 0.018을 기록했다.
  • oDPO는 부분 순서를 일관된 레짐 제어로 성공적으로 변환한다.
• 탐색 효율성:
  • NL oDPO는 최고-현재(best-so-far) 검증 적합도의 곡선 아래 면적(AUC) 측면에서 행동 근거 SFT, 네이티브 AST 변이, 그리고 매칭된 코드-출력 oDPO 모델을 유의미하게 능가한다.
  • (표현 변수를 격리한) 매칭된 코드-출력 제어 모델은 NL이 직접적인 코드 변이보다 유한 예산 탐색에서 효율성 우위를 제공함을 보여준다.
• 홀드아웃 성능:
  • NL oDPO는 가장 높은 관측된 홀드아웃 정책(샤프 지수 2.3445)을 발견한다.
  • 행동 근거 SFT가 기술적 집계에서 가장 높은 평균 및 상위 사분위 테스트 적합도를 보이지만, NL oDPO는 더 우수한 상위 꼬리(upper-tail) 성능을 입증한다.
• 메커니즘 통찰:
  • 의미론적 구성: 요청된 강도는 변이의 유형을 체계적으로 변화시킨다. 낮은 강도는 파라미터 변경(86.4%)이 지배적이지만, 높은 강도는 구조적 재작성, 지표 대체, 논리적 반전으로 이동한다.
  • 구문-행동 국소성: NL 변이는 네이티브 AST 변이($\rho=0.44$)에 비해 구문 거리와 행동적 변위 사이의 더 강한 상관관계($\rho=0.88$)를 보인다.
  • 적합도 보존: 매칭된 소-중간 규모의 행동적 변위에서, NL 변이는 네이티브 AST 변이보다 더 많은 부모 적합도를 보존하며 더 낮은 치명적 실패율(9% vs 14%)을 가진다.

5. 의의 및 주장

본 논문은 언어가 실행 가능한 프로그램 공간에 대한 조종 가능한, 실행 근거 탐색 표현 역할을 할 수 있다고 주장한다. 프로그램의 변이를 의미론적 변이와 결정론적 실행으로 분리함으로써, ELMER는 프로그램 진화가 행동 변화의 크기를 제어하지 못했던 역사적 한계를 해결한다.

저자들은 이 시스템이 "맹목적인 구문적 섭동(blind syntactic perturbation)"을 넘어 "의도적이고 실행에 근거한 이동(deliberate, execution-grounded movement)"으로 프로그램 진화를 진보시킨다고 강조한다. 핵심 발견은 모델이 무엇을 바꿀지뿐만 아니라, 행동 공간에서 얼마나 멀리 이동해야 하는지를 학습한다는 것이다. 결과적으로 NL oDPO는 일관된 순서 제어 메커니즘을 생성하여 프로그램 공간의 더 효율적인 탐색을 가능하게 함을 입증한다.