기술 요약: 진화적 작업 발견 (EVOTD)

문제 제기

Large Language Models(LLM) 의 추론 능력은 Reinforcement Learning from Verifiable Rewards(RLVR) 와 같은 사후 학습 패러다임을 통해 크게 발전했습니다. 그러나 이러한 방법들의 효과성은 사용 가능한 학습 데이터의 다양성과 복잡성에 근본적으로 제약받습니다. 인간이 선별한 추론 작업의 부족 문제를 해결하기 위해 데이터 합성이 대안이 되고 있지만, 비구조적 변이 (예: LLM 에게 "이를 더 어렵게 만들어라"고 프롬프트하는 것) 에 의존하는 기존 방법들은 동질성 붕괴 (homogeneity collapse) 에 시달립니다. 이러한 접근법들은 종종 거의 중복된 샘플을 생성하거나, 텍스트적 다양성과 알고리즘적 다양성을 혼동하기 때문에 추론의 최전선을 체계적으로 확장하지 못합니다. furthermore, 기존 기술 기반 분류 체계는 문제의 논리(기술) 에는 초점을 맞추지만 구조적 제약(복잡성) 은 간과하여, 규모 전반에 걸친 견고한 일반화를 유도하지 못하는 "평탄한" 커리큘럼을 초래합니다.

방법론: 진화적 작업 발견 (EVOTD)

이러한 한계를 극복하기 위해 저자들은 EVOTD를 제안합니다. 이는 구조화된 이축 (dual-axis) 매니폴드 상에서의 지향적 탐색으로서 데이터 합성을 처리하는 프레임워크입니다. 핵심 혁신은 추론 작업을 두 개의 직교하는 차원으로 분해하는 것입니다:

1. 알고리즘적 기술 ($S$): 작업의 의미적 논리 골격 (예: 이진 탐색, 동적 계획법, 그래프 탐색).
2. 복잡성 속성 ($C$): 문제 인스턴스의 크기를 결정하는 매개변수적 구조적 제약 (예: 입력 크기, 트리 깊이, 값 범위).

진화 엔진

EVOTD 는 "제안자 (proposer)" LLM 이 작업을 합성하고 "솔버 (solver)" LLM 이 이를 통해 RLVR 로 학습하는 제안자 - 솔버 패러다임을 사용합니다. 합성 과정은 작업 공간을 탐색하기 위해 두 가지 구조화된 진화 연산자를 활용합니다:

• 속성 변이 (수직 진화): 이 연산자는 논리적 골격을 엄격히 보존하면서 복잡성 속성을 확장합니다. 무작위 텍스트 교란 대신, 제안자는 적용 가능한 속성 (예: 트리 기반 작업에만 tree_depth 증가) 을 선택하고 이를 강화하기 위해 메타인지 감사를 수행합니다. 이는 모델이 취약한 휴리스틱이 아닌 규모 불변의 해법을 학습하도록 유도합니다.
• 기술 교차 (수평 진화): 이 연산자는 서로 다른 알고리즘적 패턴을 결합하여 새로운 기술 구성을 탐색합니다 (예: dijkstra 와 priority_queue 병합, 또는 bitmask_dp 와 bfs 결합). 제안자는 기술이 순차적으로 연결되는 것이 아니라 깊이 상호 연결된 시너지 조합을 찾도록 유도되어, 조합적 퇴화를 방지합니다.

동적 커리큘럼 필터링

EVOTD 의 핵심 구성 요소는 근접 발달 영역 (ZPD) 필터입니다. 작업이 교육적으로 효과적이도록 보장하기 위해, 프레임워크는 작업이 학습 세트에 포함되기 전에 세 가지 조건을 검증합니다:

1. 실행 가능성: 코드는 구문 오류 없이 실행되어야 하며 제한 시간 내에 종료되어야 합니다.
2. 기술 정렬: 생성된 작업은 목표 알고리즘적 기술을 엄격히 준수해야 합니다.
3. 학습 가능성: 작업은 현재 솔버 정책 ($\pi_\theta$) 에게 너무 쉬우거나 불가능해서는 안 됩니다. 구체적으로, 솔버의 통과율은 비자명한 범위 ($0 < \text{통과율} < 1$) 내에 있어야 합니다. 솔버가 향상됨에 따라 필터는 더 어려운 인스턴스 쪽으로 분포를 동적으로 이동시켜 자기 적응형 커리큘럼을 생성합니다.

주요 기여

본 논문은 다음과 같은 기여들을 공식화하고 입증합니다:

• 이축 추상화: 알고리즘적 기술과 복잡성 속성의 매니폴드 상에서의 지향적 탐색으로서 추론 작업 합성을 공식화하여, 논리와 제약에 대한 정밀한 제어 없이 단순한 프롬프팅을 넘어설 수 있도록 합니다.
• 구조화된 진화 연산자: 복잡성 확장을 위한 속성 변이와 구성 발견을 위한 기술 교차를 도입하여 작업 공간의 경계를 체계적으로 탐색할 수 있게 합니다.
• 동적 ZPD 커리큘럼: 학습 데이터를 모델의 학습 가능 영역 내에 유지하여 모드 붕괴 없이 지속적인 추론 개선을 촉진하는 필터링 메커니즘입니다.
• 실증적 검증: 코드 생성 및 수학 추론을 포함한 다섯 가지 벤치마크에 대한 광범위한 평가를 통해, 구조화된 진화 커리큘럼이 휴리스틱 합성 및 자기 개선 베이스라인을 능가함을 입증했습니다.

실험 결과

저자들은 다양한 모델 아키텍처 (Qwen3, LLaMA), 사전 학습 방식 (Base, Instruct), 그리고 매개변수 규모 (3B–8B) 에서 EVOTD 를 평가했습니다.

• 추론 향상: Qwen3-4B 추론 모델에서 EVOTD 는 경쟁력 있는 벤치마크에서 상당한 향상을 달성했는데, AIME 24 에서 +8.2%, AIME 25 에서 **+7.2%**의 향상을 보였습니다.
• 일반화: 이 방법은 평가된 모든 백본 (Evol-Instruct, SPIRAL, Agent0 포함) 에서 일관되게 베이스라인을 능가했습니다. 특히, 테스트된 모든 아키텍처에서 최고의 Pass@1 성능을 달성했습니다.
• 동질성 붕괴에 대한 견고성: Pass@1 을 부풀리면서 Pass@k 를 저하시켜 모드 붕괴를 나타내는 표준 합성 방법과 달리, EVOTD 는 Pass@1 과 Pass@8 모두에서 일관된 향상을 보여주어 다양한 추론 경로를 확산시킴을 시사합니다.
• 난이도 확장: EVOTD 와 베이스라인 간의 성능 마진은 문제 난이도가 높아질수록 확대되었으며, LiveCodeBench 와 같은 벤치마크의 "Hard" 하위 집합에서 최대 90% 에 달하는 상대적 향상이 관찰되었습니다. 이는 복잡성 조절이 규모 불변 논리를 가르치는 데 효과적임을 확인시켜 줍니다.
• 일반 도메인 전이: 개선 사항은 일반 도메인 추론 벤치마크 (MMLU-Pro, SuperGPQA) 로 깔끔하게 전이되었으며, 가장 큰 향상은 엄격한 추론이 결정적 제약 조건인 STEM 관련 학문 분야에 집중되었습니다.

의의 및 주장

본 논문은 EVOTD 가 비제약 휴리스틱 생성에서 구조화된 진화적 탐색으로의 전환을 통해 추론 개선을 위한 새로운 패러다임을 확립한다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 구조는 무작위성보다 우월하다: 논리와 복잡성을 체계적으로 분리함으로써 휴리스틱 프롬프팅이 달성할 수 없는 고품질이며 다양한 커리큘럼을 생성할 수 있습니다.
2. ** prohibitive 비용 없는 확장성:** EVOTD 는 복잡한 자기 플레이나 도구 통합 프레임워크의 prohibitive 한 계산 오버헤드 없이 기본 모델이 효율적으로 확장할 수 있는 실용적인 경로를 제공합니다.
3. 해석 가능성: 투명한 기술 - 복잡성 매니폴드를 통해 작업을 진화시킴으로써, 프레임워크는 최전선을 추구하면서도 해석 가능한 커리큘럼을 구축하여 많은 자기 개선 LLM 시스템의 "블랙박스" 성격을 해결합니다.

저자들은 구조적 진화가 표준 프롬프팅에서 흔히 볼 수 있는 비구조적 생성보다 복잡한 추론을 위한 훨씬 더 신뢰할 수 있는 학습 신호를 제공하여, LLM 의 추론 최전선을 효과적으로 확장한다고 결론지었습니다.