기술 요약: INFUSER – 영향력 가이드형 자기 진화가 추론 능력을 향상시킨다

1. 문제 정의

최근 대규모 언어 모델(LLM) 추론의 발전은 검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(RLVR)에 크게 의존하고 있습니다. 그러나 RLVR의 확장성은 고품질의 검증 가능한 학습 데이터를 확보하는 데 드는 높은 비용으로 인해 병목 현상을 겪고 있습니다. **자기 진화(Self-evolution)**는 외부 교사 모델이나 정제된 코퍼스 없이도, 모델 스스로 비정형 문서나 자신의 출력물로부터 학습 데이터를 생성하게 함으로써 이를 해결할 수 있는 경로를 제시합니다.

기존의 자기 진화 방식은 두 가지 주요 한계점에 직면해 있습니다:

1. 접지(Grounding): 순수 자기 대결(Pure self-play) 방식(예: R-Zero)은 모델의 사전 지식에만 의존하므로, 환각(hallucination)이 섞인 참조 답안을 생성할 위험이 있습니다. 실행기 기반 방식(예: AZR)은 검증 가능성을 회복하지만, 코드나 수학과 같이 정형화된 실행기가 존재하는 도메인에 국한되어 풍부한 비정형 텍스트를 활용하지 못합니다.
2. 생성기 목적 함수(Generator Objectives): 문서 접지 방식(예: SPICE)은 종종 난이도 휴리스틱(예: 솔버의 실패율을 약 50%로 최대화)을 기준으로 생성기를 보상합니다. 난이도는 효용(utility)에 대한 거친 근사치일 뿐입니다. 질문이 모호하거나 소스 문서와 일치하지 않아 "어려운" 것일 수 있으며, 이는 타겟 분포에서 솔버의 성능을 개선한다는 보장을 제공하지 않습니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 우리는 생성기가 현재의 솔버와 함께 공진화하면서, 타겟 분포에 대해 실제로 솔버를 개선할 수 있는 문서 접지형 학습 데이터를 생성하도록 훈련할 수 있는가?

2. 방법론: INFUSER

저자들은 INFUSER(INFluence-gUided Self-Evolution Improves Reasoning)를 제안합니다. 이는 생성기($\pi_\phi$)와 솔버($\pi_\theta$) 사이의 **이중 레벨 게임(bilevel game)**으로 자기 진화를 규정한 반복적 공동 훈련 프레임워크입니다. 두 모델 모두 동일한 사전 학습된 모델으로부터 초기화됩니다.

2.1 이중 레벨 게임 정식화

• 하위 레벨 (솔버): 솔버는 생성기가 비정형 문서 집합($D_{doc}$)으로부터 생성한 질문-답변(QA) 쌍($Q_\phi$) 커리큘럼을 통해 학습합니다. 솔버는 표준 RLVR(예: Dr.GRPO)을 사용하여 이 커리큘럼에 대한 정확도를 최대화하도록 최적화됩니다.
• 상위 레벨 (생성기): 생성기는 솔버가 업데이트된 후, 타겟 분포($P$)에 대한 성능이 향상될 수 있도록 하는 커리큘럼 $Q_\phi$를 생성하는 것을 목표로 합니다.
• 협력적 성격: 적대적 자기 대결(adversarial self-play)과 달리, 생성기는 솔버를 이기는 것이 아니라 타겟 분포에서 솔버의 성능 향상을 돕는 것에 대해 보상을 받습니다.

2.2 옵티마이저 인식 영향력 점수 (Optimizer-Aware Influence Score)

정확한 이중 레벨 미분(솔버의 전체 훈련 루프를 역전파하는 것)의 과도한 비용을 피하기 위해, INFUSER는 영향력 함수(influence functions)에서 영감을 얻은 **1차 근사(first-order approximation)**를 사용합니다.

• 개발 세트 앵커 (Dev-Set Anchor): 타겟 분포 $P$에서 샘플링된 작은 홀드아웃 개발 세트($D_{dev}$)가 "개선 방향"을 정의하는 데 사용됩니다. $D_{dev}$에 대한 솔버의 성능 그래디언트($\hat{g}_{dev}$)가 타겟 벡터 역할을 합니다.
• 영향력 계산: 각 생성된 QA 쌍 $(q, a_\phi)$에 대해, 시스템은 해당 특정 쌍에 의한 학습으로 유도되는 솔버의 파라미터 업데이트 방향($\hat{\Gamma}(q, a_\phi)$)을 추정합니다. 이 방향은 실제 업데이트 단계를 반영하기 위해 AdamW 옵티마이저 상태에 의해 전처리(preconditioned)됩니다.
• 보상 신호: 생성기의 보상은 타겟 그래디언트($\hat{g}_{dev}$)와 유도된 업데이트 방향($\hat{\Gamma}$) 사이의 코사인 유사도입니다:
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  양수 점수는 $(q, a_\phi)$에 대한 학습이 타겟 분포에서의 성능 향상과 일치함을 나타냅니다. 이 점수는 기존의 "난이도" 지표를 대체합니다.

2.3 DuGRPO: 이중 정규화된 GRPO (Dual-Normalized GRPO)

영향력 점수는 연속적이고 노이즈가 많은 신호이므로, 표준 그룹 상대 정책 최적화(GRPO) 적용 시 어려움이 따릅니다.

• 문제점: 문서 그룹 내에서만 보상을 정규화하면(GRPO 방식) 분산이 낮은 그룹에서 노이즈가 증폭됩니다. 배치 전체에 대해 정규화하면(BatchNorm 방식) 분산이 큰 그룹이 지배하게 됩니다.
• 해결책: 저자들은 그룹 내 정규화와 그룹 간 정규화를 결មាន한 DuGRPO 이중 정규화 어드밴티지 추정치를 제안합니다:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  여기서 $\sigma_d$는 문서 그룹 내 표준 편차이며, $\sigma_B$는 배치 전체의 평균 표준 편차입니다. 이는 저분산 노이즈를 억제하면서 고분산 그룹의 지배를 방지하여 학습을 안정화합니다.

2.4 훈련 루프

알고리즘은 반복당 다음 단계로 진행됩니다:

1. 개발 참조 (Dev Reference): $D_{dev}$에 대한 솔버의 롤아웃으로부터 타겟 그래디언트 $\hat{g}_{dev}$를 계산합니다.
2. 생성 (Generation): 생성기가 문서를 샘로플링하여 QA 쌍을 생성합니다.
3. 솔버 평가 (Solver Evaluation): 솔버가 생성된 질문에 도전하며, 질문별 그래디언트가 추정됩니다.
4. 영향력 점수 계산 (Influence Scoring): $\hat{g}_{dev}$와의 코사인 유사도를 사용하여 영향력 점수를 계산합니다.
5. 업데이트 (Updates): 영향력 점수를 보상으로 사용하여 DuGRPO로 생성기를 업데이트하고, 이진 정답 보상을 사용하여 Dr.GRPO로 솔버를 업데이트합니다.

3. 주요 기여

1. 영향력 가이드형 자기 진화: 난이도 기반의 생성기 보상을 옵티마이저 인식 영향력 점수로 대체하여, 단순히 난이도를 높이는 것이 아니라 타겟 분포에 대한 효용을 직접 최적화하는 새로운 프레임워크를 제시했습니다.
2. DuGRPO: 연속적이고 노이즈가 많은 영향력 기반 보상에 특화되어 설계된 새로운 정책 그래디언트 변형을 제안하여 안정적인 생성기 훈련을 가능하게 했습니다.
3. 문서 접지형 공동 진화: 비정형 텍스트를 활용하여 학습 데이터를 생성함으로써, 외부 교사나 실행기 없이도 솔버 자신의 추론을 통해 검증 가능성을 유지하는 방법을 제시했습니다.
4. 확장성: 8B 생성기가 수학 및 코딩 작업에서 고정된 32B "사고형" 생성기보다 뛰어난 성능을 보임을 입증함으로써, 커리큘럼 생성에는 모델의 규모보다 적응(adaptation)이 더 중요하다는 것을 보여주었습니다.

4. 실험 결과

실험은 Qwen3-4B-Base 및 Qwen3-8B-Base 앵커를 대상으로 수행되었으며, INFUSER를 강력한 베이스라인들(R-Zero, AZR, R-Few, SPICE) 및 일반 추론(General-Reasoner) 베이스라인과 비교했습니다.

• 성능 향상: INFUSER는 14개 벤치마크 중 8개에서 가장 높은 점수를 기록했습니다. Qwen3-8B-Base의 경우, OlympiadBench (Math), SuperGPQA, GPQA-Diamond에서 베이스 모델 대비 20% 이상의 상대적 향상을 보였습니다.
• 확장성: INFUSER의 성능 향상은 모델 크기(4B에서 8B)에 관계없이 일관되게 나타난 반면, R-Zero 및 SPICE와 같은 베이스라인은 규모가 커질 때 성능 저하가 뚜렷하게 나타났습니다.
• 생성기 품질: 분석 결과, 공동 진화하는 생성기는 시간이 지남에 따라 점점 더 잘 구성되고 도전적인 질문을 생성합니다. "강한 모델 vs 약한 모델" 격차(생성된 질문에 대한 강한 모델과 베이스 모델 간의 정확도 차이)가 증가했는데, 이는 생성기가 베이스 모델에게는 어렵지만 강한 모델에게는 풀 수 있는(즉, 고품질의 추론 과제) 질문을 만들고 있음을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 생성기의 필요성: 생성기를 제거하고 직접 $D_{dev}$로 학습했을 때, $D_{dev}$에 과적합되어 일반화 성능이 떨어졌습니다.
  • 공동 진화: 고정된 8B 생성기는 공동 진화하는 8B 생성기보다 성능이 낮았으며, 특히 수학 분야에서 그러했습니다. 고정된 32B 생성기는 지식 집약적 작업(일반 추론, 의료)에서는 공동 진화하는 8B 생성기보다 우수했지만, 수학 및 코딩에서는 패배했습니다. 이는 추론을 위해 규모보다 적응이 더 중요하다는 점을 시사합니다.
  • 구성 요소: 옵티마이저 인식 영향력 점수와 DuGRPO 정규화 모두 필수적이었습니다. 이를 제거하면 성능이 고정된 생성기 수준으로 퇴보했습니다.
• 확장 적용:
  • 지시어 미세 조정된 앵커: INFUSER는 지시어 미세 조정된 앵커(OLMo-3-7B-Instruct-SFT)를 성공적으로 개선하여 13개 중 10개 벤치마크에서 우위를 점했습니다.
  1. 하이브리드 RLVR: 문서 접지형 자기 진화를 규칙 검증 가능한 수학 RLVR과 결려하여, 과학 전용 학습에서 관찰되는 "응답 길이 붕괴(response length collapse)" 현상을 안정화하고 수학 성능의 시드 분산을 줄였습니다.

5. 의의 및 주장

본 논문은 INFUSER가 정제된 데이터셋이나 교사 모델에 의존하지 않고도 풍부한 비정형 코퍼스를 구조화되고 효용에 부합하는 학습 신호로 변환함으로써, 더 강력한 추론을 위한 확장 가능한 경로를 제공한다고 주장합니다.

• 패러다임의 전환: 생성기의 목적을 "어렵게 만드는 것"에서 "유용하게 만드는 것"으로 전환하였으며, 영향력 함수를 사용하여 커리큘럼 생성을 솔버의 학습 궤적과 일치시켰습니다.
• 효율성: 공동 진화하는 작은 생성기가 훨씬 더 큰 고정된 생성기보다 추론 작업에서 더 나은 성능을 보임을 입증하여, 커리큘럼 적응 과정이 정적인 지식보다 더 가치 있음을 시사했습니다.
• 범용성: 본 프레임워크는 베이스 모델과 지시어 미세 조정 모델 모두에서 작동하며, 다른 RLVR 신호(수학 검증기 등)와 통합하여 학습 역학을 안정화할 수 있는 유연성을 보여주었습니다.

저자들은 이 프레임워크가 현재 타겟 방향을 고정하기 위해 작은 개발 세트에 의존하고 있지만, 효용 기반 커리큘럼 생성과 더 큰 문서 풀 및 더 긴 학습 기간을 결합함으로써 추론 능력을 확장할 수 있는 유망한 방향을 제시한다고 결론지었습니다.