기술 요약: SePO (Self-Evolving Prompt Optimization)

1. 문제 정의

현재의 시스템 프롬프트 최적화 방법들은 모델의 가중치를 수정하지 않고도 에이전트의 행동을 개선하는 것을 목표로 하며, 인간이 읽을 수 있고 모델에 종속되지 않는 지침을 생성합니다. 그러나 기존 프레임워크에는 결정적인 비대칭성이 존재합니다. 즉, **태스크 에이전트(task agent)**의 시스템 프롬프트는 최적화 대상으로 취급되는 반면, 프롬프트 에이전트(prompt agent)(태스크 에이전트의 프롬프트를 정교화하는 데 책임을 지는 개체)는 수작업으로 설계된 고정된 상태로 남아 있다는 점입니다.

진화적 탐색(evolutionary search)이나 텍스트 그래디언트(textual-gradient) 프레임워크와 같은 기존 방식들은 프롬프트 에이전트가 더 많은 태스크를 접한다고 해서 개선되지 않는 프롬프트 에이전트에 의존합니다. 결과적으로, 최적화 과정은 프롬프트 에이전트의 초기 인간 설계에 의해 제한되며, 경험을 축적하거나 서로 다른 도메인 전반에 걸쳐 최적화 기술을 일반화할 수 없습니다. 핵심 문제는 "최적화 도구(optimizer)" 자체가 최적화되지 않는다는 것입니다.

2. 방법론: SePO

저자들은 프롬프트 에이전트의 자체 시스템 프롬프트($\tilde{p}$)를 태스크 에이전트의 프롬프트($p$)와 함께 최적화 대상으로 취급하는 프레임워크인 **SePO (Self-Evolving Prompt Optimization)**를 제안합니다. 이는 **자기 참조적 설계(self-referential design)**와 2단계 훈련 파이프라인을 통해 달성됩니다.

2.1 자기 참조적 설계

SePO는 프롬프트 에이전트가 특수한 태스크 에이전트로 기능하는 "프롬프트 태스크"를 정의합니다. 이 에이전트의 목표는 다른 태스크 에이전트들의 프롬프트를 개선하는 것입니다. 프롬프트 에이전트가 태스크 에이전트의 프롬프트($p$)에 적용하는 것과 동일한 최적화 절차를 자신의 시스템 프롬프트($\tilde{p}$)에 적용함으로써, SePO는 "자기 참조적 폐쇄(self-referential closure)"를 생성합니다.

• 메커니즘: 프롬프트 에이전트는 자신의 복사본을 정교화합니다.
• 진화적 탐색: 이 과정은 후보 프롬프트 집단에 대한 개방형 진화 탐색을 활용합니다. 시스템은 후보 프롬프트의 **아카이브(archive)**를 유지하여, 초기 단계의 성공적인 프롬프트가 이후의 개선을 위한 "디딤돌(stepping stones)" 역할을 할 수 있도록 함으로써 탐색이 지역 최적점(local optima)에 갇히는 것을 방지합니다.

2.2 2단계 훈련 파이프라인

표준적인 사전 학습(pre-training) 및 미세 조정(fine-tuning) 패러다임을 모방하여, SePO는 최적화를 두 가지 뚜렷한 단계로 구성합니다.

1. 1단계: 사전 학습 (Self-Evolving Prompt Agent)

   • 목표: 광범위하고 일반화 가능한 프롬프트 최적화 기술을 습득하기 위해 프롬프트 에이전트의 시스템 프롬프트($\tilde{p}$)를 진화시킵니다.
   • 과정: 프롬프트 에이전트는 **멀티 태스크 풀(multi-task pool)**에서 진화적 탐색을 거칩니다.
   • 구성:
     • SePO-Generalist (기본값): 견고성과 일반화 능력을 극대화하기 위해 다양한 태스크의 혼합물에서 학습합니다.
     • SePO-Specialist: 타겟 미세 조정 태스크와 동일한 단일 태스크에서 학습합니다.
   • 결과: 다양한 시나리오 전반에서 프롬프트를 최적화할 수 있는 단일한 진화된 프롬프트 에이전트($\tilde{p}^*$)를 생성합니다.

2. 2단계: 미세 조정 (Optimize Target Task Agent)

   • 목표: 특정 타겟 태스크 에이전트를 위한 시스템 프롬프트($p$)를 최적화합니다.
   • 과정: 1단계에서 진화된 프롬프트 에이전트(고정된 상태)를 사용하여 타겟 태스크 에이전트의 프롬프트를 위한 진화적 탐색을 유도합니다.
   • 효율성: 프롬프트 에이전트를 자기 진화시키는 비용은 많은 미세 조정 태스크에 걸쳐 분할 상환(amortized)되는데, 이는 사전 학습된 프롬프트 에이전트가 재사용되기 때문입니다.

3. 주요 기여

• 최적화 루프의 완성: SePO는 프롬프트 에이전트 자체를 학습 가능한 구성 요소로 취급하는 최초의 방법으로, 고정된 수작업 설계 기반의 최적화 도구에 대한 의존성을 제거했습니다.
• 자기 참조적 진화: 태스크 에이전트와 프롬프트 에이전트 모두에 동일한 절차를 적용하여 최적화 기술의 축적을 가능하게 하는 메커니즘을 도입했습니다.
• 2단계 훈련: 기술 습득(사전 학습)과 태스크 적용(미세 조정)을 분리함으로써, 최적화 도구 개발 비용과 이를 특정 태스크에 적용하는 비용을 분리했습니다.
• 아카이브 기반 탐색: 아카이브를 사용함으로써 시스템이 과거의 성공 사례를 디딤돌로 활용할 수 있게 하여, 단순한 반복적 정교화가 아닌 개방형 진화를 촉진합니다.

4. 실험 결과

저자들은 다섯 가지 다양한 벤치마크인 AIME'25 (수학), ARC-AGI-1 (추상적 추론), GPQA (대학원 수준 과학), MBPP (코드 생성), Sudoku (논리 퍼즐)에서 SePO를 평가했습니다.

• 성능: SePO는 다음 세 가지 베이스라인을 일관되게 능가했습니다:
  • Manual-CoT: Chain-of-Thought가 포함된 수작업 설계 프롬프트.
  • TextGrad: 고정된 프롬프트 최적화 도구를 사용하는 텍스트 그래디언트 프레임워크.
  • MetaSPO: 고정된 메타 최적화 도구를 사용하는 메타 학습 접근법.
• 정확도 향상: SePO-Generalist는 다섯 가지 태스크 모두에서 가장 높은 정확도를 달_성했으며, Manual-CoT 대비 평균 정확도를 4.49 포인트 향상시켰습니다.
• 일반화:
  • 사전 학습 중에 학습된 프롬프트 최적화 기술은 사전 학습 혼합물에 포함되지 않은 태스크(예: 사전 학습 세트에 Sudoku가 없었음에도 불구하고 정확도가 크게 향상됨)에도 일반화되었습니다.
  • 이 방법은 서로 다른 모델 쌍(DeepSeek-V3.2와 Gemini 3.1 Pro Preview를 Gemini 3.1 Flash-Lite와 Claude Opus 4.6으로 교체) 사이에서도 강건함을 입증했습니다.
• 비용 효율성: 사전 학습은 비용이 발생하지만, SePO-Generalist는 이를 여러 태스크에 걸쳐 분할 상환하므로, 각 태스크마다 별도의 전문가를 훈련시키거나 최적화 도구 훈련을 분할 상환하지 않는 TextGrad와 같은 방법을 사용하는 것보다 태스크당 비용이 더 낮습니다.

5. 의의 및 주장

본 논문은 SePO가 시스템 프롬프트 최적화를 고정된 도구에서 학습 가능한 기술로 근본적으로 전환시킨다고 주장합니다. 프롬프트 에이전트가 스스로를 개선할 수 있게 함으로써, 이 프레임워크는 인간의 수작업 설계가 설정한 한계를 돌파합니다.

• 제한적 주장: 저자들은 SePO가 모델 가중치, 도구, 워크플로우를 건드리지 않고 오직 자연어 시스템 프롬프트에 대해서만 작동한다는 점을 명시했습니다. 또한 현재 작업은 프롬프트에 집중되어 있지만, 자기 참조적 설계가 이론적으로 미래 연구에서 도구나 아키텍처로 확장될 수 있음을 인정하면서도, 아직 이를 구현했다고 주장하지는 않습니다.
• 핵심 통찰: 주요 의의는 프롬프트 최적화가 단순히 단일 태스크를 위한 탐색 문제가 아니라, 습득하고 전이될 수 있는 하나의 '기술'임을 입증했다는 데 있습니다. "프롬프트 에이전트"는 더 이상 정적인 고정물이 아니라, 경험을 통해 강화되는 진화하는 구성 요소입니다.

저자들은 결론적으로 SePO가 자신의 자기 개선 범위를 지속적으로 넓힐 수 있는 자기 진화 에이전트에 대한 추가 연구를 장려한다고 밝히고 있습니다.