기술 요약: Frontis-MA1 및 OpenMLE 스택

문제 정의

본 논문은 AI를 위한 AI (AI4AI) 영역 내에서 **재귀적 자기 개선 (Recursive Self-Improvement, RSI)**의 과제를 다룹니다. AI 시스템이 다른 AI를 구축하는 데 점점 더 많이 기여하고 있지만, 진정한 RSI를 달성하려면 단순히 솔루션을 생성하는 것을 넘어, 솔루션을 구축하는 과정 자체를 반복적으로 개선할 수 있는 에이전트가 필요합니다. 저자들은 **머신러닝 엔지니어링 (Machine Learning Engineering, MLE)**을 이러한 능력을 검증할 수 있는 구체적이고 실행 가능한 테스트베드로 식별했습니다. 정적인 코딩 작업과 달리, MLE는 지연되고 노이즈가 많으며 이질적인 피드백(예: 모델 점수, 런타임 에러, 리소스 제약)이 발생하는 실제 데이터를 기반으로 파이프라인을 구축하는 과정을 포함합니다.

핵심 문제는 기존 시스템들이 MLE 에이전트를 정적인 모델로 취급하거나, 하부 모델의 변환 능력을 향상시키기 위해 실행 피드백으로부터 학습하지 않는 외부 탐색 하네스(search harness)에 의존한다는 점입니다. 즉, 에이전트가 자신의 프로그램 변환 연산자를 진화시키는 방법을 학습할 수 있도록 확장 가능한 태스크 환경, 실행 기반 모델 훈련, 그리고 장기적 관점의 진화적 탐색을 아우르는 통합되고 재현 가능한 프레임워크가 부족한 실정입니다.

방법론: OpenMLE 스택

저자들은 실행 가능한 AI4AI를 위한 언어 모델 에이전트를 훈련하고 배포하기 위해 설계된 오픈 풀스택 기술 솔루션인 OpenMLE를 소개합니다. 이 스택은 서로 연결된 세 가지 계층으로 구성됩니다.

1. OpenMLE-Gym: 확장 가능한 검증 가능 환경

훈련과 탐색을 지원하기 위해, 저자들은 5,758개의 품질 검증된 태스크를 포함하는 통합 실행 태스크 제품군을 구축했습니다.

• 출처: 태스크는 큐레이션된 앵커, Kaggle 데이터셋, Kaggle 경진대회에서 유래되었으며, 실행 가능성과 의미론적 품질을 검증하는 자동화된 파이프라인을 통해 필터링되었습니다.
• 계약 (Contract): 각 태스크는 명세(specification), 공개 데이터, 숨겨진 평가기(evaluator), 그리고 샌드박스 실행 백엔드를 갖춘 환경 인스턴스입니다.
• 피드백: 시스템은 격리된 Docker 워커를 통해 구조화된 피드백(상태, 로그, 에러 유형, 점수)을 제공하며, 잘못된 실행(예: 런타임 에러)과 낮은 태스크 성능을 구분합니다.

2. OpenMLE-ERL: 재사용 가능한 진화 연산자의 강화 학습

핵심 학습 메커니즘은 네 가지 원자적 프로그램 변환 연산자인 Draft(코드 생성), Improve(코드 개선), Debug(코드 복구), Crossover(부모 결합)를 훈련하는 것입니다.

• 실행 기반 SFT (Execution-Grounded SFT): 모델은 성공적인 궤적(trajectory)에서 추출된 26,259개의 예시 코퍼스를 사용하여 웜 스타트(warm-start)됩니다. 여기에는 전체 Draft 솔루션의 병렬 샘플링과 고품질 로컬 궤적 세그먼트로부터의 Improve/Debug/Crossover 단계에 대한 진화적 샘플링이 포함됩니다.
• 실행 기반 RL (Execution-Grounded RL): 모델은 강화 학습을 통해 더욱 최적화됩니다. 주요 혁신 사항은 다음과 같습니다:
  • 적응형 보상 정규화 (Adaptive Reward Normalization): 고정된 경계 대신, 현재 정책의 점수 프런티어(score frontier)를 기준으로 보상을 재조정하여 판별 신호를 보존합니다.
  • 엔트로피 이득 (Entropic Advantage): 롤아웃 그룹 내에서 가장 우수한 후보들에 대한 학습 신호를 증폭시켜, 고품질 솔루션에 업데이트를 집중시키는 보상 형성 기술입니다.
  • 비동기 롤아웃 (Asynchronous Rollouts): 정책 업데이트를 가장 느린 샌드박스 작업으로부터 분리하여 훈련 효율성을 높입니다.
  • 부모 선택 (Parent Selection): 정보가 풍부한 상태를 선택하기 위해 부모 보상, 자식 보상 분산, 방문 기반 냉각(cooling)을 결합한 적합도 함수를 사용합니다.

3. OpenMLE-Evo: 경험 기반 장기 탐색

추론 시점에, 훈련된 연산자들은 탐색을 가이드하기 위해 구조화된 경험을 활용하는 탐색 하네스로 구성됩니다.

• 구조화된 경험 축적: 평가된 모든 노드는 메타데이터, 점수, 에러 시그니처를 포함하는 결정론적인 "경험 카드(experience card)"를 생성하며, 이는 글로벌 "경험 보드(experience board)"로 집계됩니다.
• 경험 가이드 부모 선택: 표준적인 적합도 기반 선택과 달리, OpenMLE-Evo는 세 가지 요소인 품질(정규화된 점수), 진전도(부모 대비 개선 정도), 참신성(방법론 패밀리의 다양성)을 사용하는 유틸리티 함수를 사용합니다. 이는 탐색이 지역 최적점(local optima)에 갇히거나 구조적으로는 다르지만 유망한 브랜치를 버리는 것을 방지합니다.
• 연산 트리거 메모리 합성 (Operation-Triggered Memory Synthesis): 모든 이력을 성급하게 요약하는 대신, 시스템은 연산자가 호출될 때만 제한적이고 관련 있는 컨텍스트(조상, 형제 노드, 에러 매치)를 검색합니다. 메모리 모델은 선택된 노드에 대해 간결하고 실행 가능한 요약을 합성하여 토큰 사용량을 줄이고 컨텍스트 관련성을 높입니다.

주요 기여

1. OpenMLE 프레임워크: 검증 가능한 환경, 사후 훈련, 그리고 테스트 타임 진화를 하나의 검증된 워크플로우로 연결하는 풀스택 솔루션.
2. OpenMLE-Gym: 격리된 실행과 구조화된 피드백을 갖춘 5,758개의 실행 가능한 태스크로 구성된 확장 가능한 인프라.
3. OpenMLE-ERL: 실행 기반 SFT 및 RL을 통해 재사용 가능한 Draft, Improve, Debug, Crossover 연산자를 학습하는 훈련 방법론으로, 모델의 내부 역량을 탐색 연산자와 일치시킴.
4. OpenMLE-Evo: 구조화된 경험, 다요소 부모 선택, 연산 조건부 메모리를 활용하여 장기적 개선을 이끄는 탐색 하네스.
5. Frontis-MA1 모델: OpenMLE 스택에서 훈련되어 MLE-Bench Lite 및 NatureBench Lite에서 평가된 메타 진화 에이전트인 Frontis-MA1-35B(및 30B 동반 모델) 출시.

결과

저자들은 단일 RTX 4090 (12 GB VRAM)에서 태스크당 12시간의 엄격한 예산 하에 MLE-Bench Lite (22개 태스크)에서 Frontis-MA1-35B를 평가했습니다.

• 모델 이득: 동일한 OpenMLE-Evo 하네스 하에서, 사후 훈련된 Frontis-MA1-35B는 **메달 평균(Medal Average)**을 기존 Qwen3.6-35B의 **39.39%**에서 **60.61%**로 향상시켰습니다. Human Rank는 0.5828에서 0.7647로 향상되었습니다.
• 시스템 이득: OpenMLE-Evo-Max(교차 태스크 사전 지식 및 비동기 멀티 GPU 탐색 포함)를 사용하면 시스템은 71.21%의 메달 평균에 도달하여, GPT-5.5 + Codex (68.18%)를 능가하고 GPT-5.6 Sol (72.73%)에 근접했습니다.
• 교차 모델 복제: 동반 모델인 Frontis-MA1-30B 역시 이러한 이득을 재현하여, 기본 모델 대비 표준 방식에서 34.85%에서 53.03%로, Max 방식에서 66.67%로 향상되었음을 보여주며, 이러한 이득이 35B 아키텍처에 국한된 것이 아님을 확인했습니다.
• 전이 가능성: NatureBench Lite (10개의 과학적 태스크)에서 시스템은 경쟁 스타일의 MLE를 넘어선 전이를 보여줍니다. Frontis-MA1-35B는 70%의 Match-SOTA 비율을 달성하여 여러 프런티어 모델을 능가하고 GPT-5.4 및 GLM-5.1의 성능에 필적했습니다.
• 효율성: 기존 AIRA-Evo 하네스와 비교했을 때, OpenMLE-Evo는 더 높은 탐색 수율(토큰당 더 많은 새로운 최고 기록 업데이트)을 달성하면서도 토큰 소비량을 약 42%, 프롬프트 길이를 약 50% 감소시켰습니다.

의의 및 주장

본 논문은 실행 기반의 경험이 탐색을 수행하는 바로 그 에이전트를 훈련하는 데 재사용될 수 있음을 입증함으로써, **재귀적 자기 개선(RSI)**을 향한 구체적인 단계로서 이 연구를 포지셔닝합니다.

• 메타 진화 (Meta-Evolution): 저자들은 나중에 구성될 탐색의 결과물 위에서 연산자(Draft, Improve 등)를 훈련함으로써, 개선자가 훈련되는 "메타 진화 루프"를 생성한다고 주장합니다. 이는 단순한 추론 시간 스케일링을 넘어 진화하는 방법을 배우는 단계로 나아가는 것입니다.
• 재현 가능성: 데이터셋, 훈련 코드, 샌드박스 인프라, 탐색 프레임워크, 모델 가중치를 모두 공개하여 실행 가능한 AI4AI에 대한 재현 가능한 연구를 가능하게 한다는 점이 중요한 주장입니다.
• 제한된 범위: 저자들은 OpenMLE가 아직 일반적이고 자율적인 RSI의 전체 비전을 실현한 것은 아니라고 명시적으로 밝힙니다. 연구 방향의 품질을 판단하는 대신 측정된 결과에 의존한다는 점과, 진화 시스템 자체가 진화하는 것이 아니라 고정되어 있다는 등의 한계를 인정합니다. 이 작업은 일반적인 자기 개선을 달성했다는 주장이 아니라, 실행 가능한 MLE에서의 RSI 진전을 연구하기 위한 테스트베드로 제시되었습니다.