Learning to Self-Evolve

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 학습이 완료된 후 배포 단계에서 정적 (Static) 인 정책을 유지합니다. 즉, 환경으로부터 새로운 피드백을 받거나 문제를 해결하는 과정에서 축적된 경험을 실시간으로 반영하여 스스로를 개선하지 못합니다. 기존 연구들은 다음과 같은 한계를 가집니다:

• 학습 중단: 강화 학습 (RL) 등을 통한 학습이 끝나면 모델은 더 이상 적응하지 않습니다.
• 암묵적 능력에 의존: 기존 '테스트 시간 자기 진화 (Test-time Self-evolution)' 접근법들은 모델이 피드백을 분석하고 프롬프트를 수정하는 능력을 **선천적 (Emergent)**으로만 기대합니다. 명시적으로 '자기 개선'이라는 작업을 학습시키지 않습니다.
• 단일 경로 의존성: 프롬프트를 순차적으로 수정하는 방식은 한 번 잘못된 수정이 이루어지면 이를 되돌리기 어렵고, 최적의 진화 경로를 놓칠 수 있습니다.

이 논문은 **테스트 시간의 자기 진화 (Test-time Self-Evolution)**를 명시적으로 학습 가능한 기술로 정의하고, 이를 최적화하는 프레임워크를 제안합니다.

2. 방법론 (Methodology)

저자들은 **Learning to Self-Evolve (LSE)**라는 강화 학습 (RL) 프레임워크를 제안합니다. 핵심 구성 요소는 다음과 같습니다.

가. 문제 공식화 (Formalization)

• 인터-에피소드 진화 (Inter-episode Evolution): 한 에피소드 (단일 문제 해결) 내부가 아닌, 여러 에피소드 (문제 배치) 를 거치며 정책을 업데이트하는 방식에 초점을 맞춥니다.
• 프롬프트 기반 업데이트: 모델 파라미터 ($\theta$) 는 고정하고, 컨텍스트 (프롬프트, 지시사항 등) 만 수정합니다. 이는 학습 시간의 소모와 'catastrophic forgetting'을 방지합니다.
• 목표: 과거 경험 (문제, 출력, 정답, 점수) 을 바탕으로 현재 컨텍스트를 수정하여 다음 배치에서의 성능을 극대화하는 함수 $f$를 학습하는 것입니다.

나. 트리 가이드 자기 진화 (Tree-Guided Self-Evolution)

단순한 선형 수정 (Linear chain) 의 한계를 극복하기 위해 UCB (Upper Confidence Bound) 기반의 트리 탐색을 도입합니다.

• 구조: 각 노드는 컨텍스트, 성능 요약, 평균 홀드아웃 점수, 방문 횟수를 저장합니다.
• 작동 방식: 매 라운드마다 UCB 점수를 계산하여 가장 유망한 노드 (탐색과 활용의 균형) 를 선택하고, 그 노드에서 새로운 컨텍스트를 생성합니다.
• 장점: 잘못된 수정이 발생하더라도 트리 구조를 통해 이전의 유망한 상태로 되돌아가 (Backtracking) 다른 분기를 탐색할 수 있어 국소 최적점 (Local Optima) 에 빠지는 것을 방지합니다.

다. LSE 강화 학습 프레임워크

기존 LLM 의 암묵적 능력을 넘어, 명시적으로 자기 진화 정책을 학습시키기 위해 RL 을 적용합니다.

• 단일 단계 RL 목적 함수: 복잡한 다단계 궤적 최적화를 피하고, 한 번의 컨텍스트 수정 (Edit) 을 단일 단계로 간주합니다.
  • 입력: 현재 컨텍스트 ($c_0$) + 성능 요약 ($S_0$)
  • 출력: 수정된 컨텍스트 ($c_1$)
• 개선 기반 보상 (Improvement-Based Reward):
  • 기존 방식: 수정 후 점수 ($\bar{R}(c_1)$) 를 보상으로 사용. (이미 높은 점수를 가진 컨텍스트는 개선 여지가 적음에도 높은 보상을 받아 편향 발생)
  • LSE 방식: 점수 향상분을 보상으로 사용.
    $$r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$$
  • 이 방식은 초기 성능 수준과 무관하게 '개선을 이끌어낸 수정'에 대해 보상을 주어, 모델이 진정한 개선 능력을 학습하도록 유도합니다.
• 기저선 (Baseline) 제거: 사전 수정 점수 $\bar{R}(c_0)$를 기저선으로 사용하여 분산을 줄이고 학습 신호를 명확하게 합니다.

3. 주요 기여 (Key Contributions)

1. 공식화 및 운영화: 테스트 시간의 인터-에피소드 자기 진화를 프롬프트 기반 업데이트와 트리 탐색을 통해 체계적으로 정의하고 구현했습니다.
2. LSE 프레임워크 제안: 개선 기반 보상 (Improvement-based reward) 을 활용한 RL 프레임워크를 통해, 자기 진화 능력을 명시적으로 학습시키는 방법을 제시했습니다.
3. 성능 입증 및 전이 학습:
   • 4B 파라미터 모델이 GPT-5, Claude Sonnet 4.5 와 같은 최첨단 (Frontier) 모델보다 우수한 자기 진화 성능을 발휘함을 보였습니다.
   • GEPA, TextGrad 와 같은 기존 프롬프트 최적화 방법들을 능가했습니다.
   • 학습된 자기 진화 정책이 추가 학습 없이 다른 모델 (예: Arctic-Text2SQL-R1-7B) 을 가이드할 수 있는 전이 학습 (Transferability) 능력을 입증했습니다.

4. 실험 결과 (Results)

실험은 Text-to-SQL (BIRD) 및 일반 질문 응답 (MMLU-Redux) 도메인에서 수행되었습니다.

• Text-to-SQL (BIRD):
  • LSE 로 학습된 4B 모델은 평균 실행 정확도 **67.3%**를 기록했습니다.
  • 이는 GPT-5(65.2%), Claude Sonnet 4.5(64.5%), GEPA(62.8%), TextGrad(63.1%) 를 모두 능가합니다.
  • 특히 GPT-5 대비 2.1%p, GEPA 대비 4.5%p 높은 성능을 보였습니다.
• 질문 응답 (MMLU-Redux):
  • LSE 모델은 평균 정확도 **73.3%**를 기록하여 GPT-5(72.5%) 와 Claude Sonnet 4.5(72.0%) 보다 우수하거나 동급의 성능을 보였습니다.
• 아블레이션 연구 (Ablation Study):
  • 보상 설계: 단순한 수정 후 점수 보상을 사용한 GRPO 방식보다, **개선분 기반 보상 ($r_{LSE}$)**을 사용한 LSE 가 BIRD 에서 4.3%p 더 높은 성능을 보였습니다.
  • 탐색 전략: 선형 체인 (Linear chain) 방식보다 UCB 트리 탐색이 성능을 2.2~2.4%p 향상시켰으며, 잘못된 수정으로 인한 성능 붕괴를 방지하는 것을 확인했습니다.
• 전이 학습: LSE 로 학습된 정책 (Qwen3-4B) 을 다른 모델 (Arctic-7B) 의 컨텍스트 수정에 적용했을 때, 해당 모델의 성능도 6.7%p 향상되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 **자기 진화 (Self-Evolution)**를 모델의 부수적 능력이 아닌, 명시적으로 학습하고 최적화할 수 있는 독립적인 기술로 재정의했습니다.

• 소규모 모델의 가능성: 방대한 파라미터를 가진 최첨단 모델에 의존하지 않고, 소규모 모델 (4B) 이도 RL 을 통해 자기 개선 능력을 학습하면 더 큰 모델들을 능가할 수 있음을 증명했습니다.
• 학습 알고리즘의 중요성: 모델이 스스로 피드백을 분석하는 능력은 중요하지만, 이를 체계적으로 학습시키는 RL 프레임워크 (보상 설계, 탐색 전략) 가 성능을 결정하는 핵심 요소임을 강조했습니다.
• 실용성: 파라미터를 변경하지 않고 프롬프트만 수정하여 테스트 시간에 적응하므로, 배포 환경에서의 유연성과 효율성이 높습니다.

결론적으로, LSE 는 LLM 이 정적 존재가 아니라 환경 피드백에 반응하여 지속적으로 진화하는 동적 시스템으로 발전할 수 있는 길을 제시합니다.