1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 그 성능은 프롬프트의 선택에 크게 의존합니다. 기존 연구는 특정 작업 (Task) 에 맞는 프롬프트를 최적화하는 데 집중해 왔습니다. 그러나 이는 작업이 늘어날 때마다 새로운 프롬프트를 매번 설계해야 하는 비효율성을 초래합니다.

반면, 모든 작업에 앞서 적용되는 **시스템 프롬프트 (System Prompt, 일반 지시문)**의 최적화는 상대적으로 간과되어 왔습니다. 기존 시스템 프롬프트 전략 (예: "단계별로 생각하자"와 같은 CoT 지시) 은 특정 상황에 민감하고 체계적인 일반화 메커니즘이 명확하지 않아, 다양한 작업과 모델에 걸쳐 일관된 성능 향상을 보장하지 못합니다. 따라서 작업과 무관한 (Task-agnostic) 일반화 가능한 시스템 프롬프트를 체계적으로 최적화하는 방법론의 부재가 주요 문제점으로 지적됩니다.

2. 방법론 (Methodology: SPRIG)

저자들은 **SPRIG (System Prompt Refinement for Increased Generalization)**라는 새로운 방법을 제안했습니다. 이는 유전 알고리즘 (Genetic Algorithm) 에 기반한 편집 (Edit-based) 최적화 프레임워크입니다.

• 프롬프트 구성 요소 말뭉 (Component Corpus):

  • 인간이 작성한 300 개의 시스템 프롬프트와 GPT-4o 를 활용한 합성 데이터를 결합하여 9 가지 카테고리 (좋은 속성, 역할, 스타일, 감정, 시나리오, 재브레이크, 안전, 행동, CoT 등) 로 분류된 총 9,000 개의 프롬프트 구성 요소를 구축했습니다.
  • 각 구성 요소는 완전한 의미를 가진 최소 단위 (예: 문장) 로 정의되어 유동성을 유지하며 조합이 가능합니다.

• 프롬프트 보상 모델 (Prompt Reward Model):

  • 47 개의 벤치마크에서 모든 프롬프트 조합을 직접 평가하는 것은 계산 비용이 너무 큽니다.
  • 따라서 사전 학습된 LLM 을 기반으로 **보상 모델 (Reward Model)**을 미세 조정하여 프롬프트의 품질을 효율적으로 추정하고 순위 매기도록 설계했습니다. (Spearman 상관관계 0.59 달성)

• SPRIG 파이프라인 (유전 알고리즘):

  1. 초기화: 구성 요소 말뭉에서 무작위로 생성된 시스템 프롬프트 집단 (Population) 을 시작합니다.
  2. 평가 및 제거 (Selection): 보상 모델을 통해 하위 50% 를 제거합니다.
  3. 변이 및 교차 (Mutation & Crossover): 상위 10% 프롬프트에 대해 다음 5 가지 연산을 적용하여 새로운 자손을 생성합니다.
     • Add: GPT-4o 가 제안한 구성 요소 추가.
     • Rephrase: 구성 요소 재표현.
     • Swap: 구성 요소 순서 변경.
     • Delete: 구성 요소 삭제.
     • Merge: 두 구성 요소 병합.
     • Crossover: 두 프롬프트의 구성 요소를 섞어 새로운 프롬프트 생성.
  4. 샘플링 및 재학습: 생성된 집단 중 100 개를 실제 벤치마크에서 평가하여 ground-truth 점수를 얻고, 이를 통해 보상 모델을 1 epoch 재학습 (Fine-tuning) 시킵니다.
  5. 반복: 위 과정을 25 회 반복하여 최적의 시스템 프롬프트를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 시스템 프롬프트 최적화의 효과 입증: 특정 작업별 최적화 (Task-specific optimization) 와 동등한 수준의 성능 향상을 단일 최적화된 시스템 프롬프트로 달성할 수 있음을 보였습니다.
2. 상호 보완성 발견: 시스템 프롬프트 최적화와 작업 프롬프트 최적화는 서로 다른 전략을 학습하며, 이를 결합하면 추가적인 성능 향상을 이끌어냅니다.
3. 강력한 일반화 능력: 최적화된 시스템 프롬프트는 다른 모델 패밀리, 파라미터 크기, 그리고 다른 언어에서도 효과적으로 일반화되는 것을 확인했습니다. 특히 다국어 작업에서 기존 작업별 최적화 방법보다 우수한 일반화 성능을 보였습니다.

4. 실험 결과 (Results)

• 성능 향상: SPRIG 로 최적화된 시스템 프롬프트는 최적화되지 않은 프롬프트 대비 약 10% 의 성능 향상을 보였으며, 이는 CoT (Chain-of-Thought) 기반의 베이스라인을 크게 상회합니다.
• 작업별 효과: 추론 (Reasoning) 과 수학 (Math) 작업에서 가장 큰 향상을 보였으며, 사실성 (Faithfulness) 과 상식 (Commonsense) 작업에서도 기존 방법 (PROTEGI 등) 을 능가했습니다. 반면, 단순 지식 회상 (Knowledge) 작업에서는 개선 폭이 상대적으로 작았습니다.
• 상호 보완성: SPRIG(시스템 최적화) 와 PROTEGI(작업 최적화) 를 결합한 경우, 각 방법의 약점을 보완하여 대부분의 작업에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
• 일반화 실험:
  • 모델 간: 특정 모델 (예: Llama-3.1-8B) 에서 최적화된 프롬프트를 다른 모델 (예: Mistral, Qwen) 에 적용했을 때에도 유의미한 성능 향상이 관찰되었습니다.
  • 언어 간: 영어로 최적화된 시스템 프롬프트를 MGSM, BELEBELE 등 다국어 벤치마크에 적용했을 때, PROTEGI 기반의 작업별 최적화보다 훨씬 우수한 일반화 성능을 보였습니다.
  • 크기 간: 중형 모델 (8B) 에서 최적화된 프롬프트를 대형 모델 (70B) 에 적용했을 때, 시스템 + 작업 최적화를 결합한 경우에만 유의미한 추가 향상이 있었습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 잠재력을 극대화하기 위해 시스템 수준의 지시문 최적화가 필수적임을 강조합니다.

• 효율성: 매 작업마다 프롬프트를 새로 설계할 필요 없이, 하나의 최적화된 시스템 프롬프트로 다양한 도메인의 성능을 획기적으로 개선할 수 있습니다.
• 메커니즘 통찰: PCA 분석을 통해 시스템 프롬프트 최적화가 모델의 은닉 상태 (Hidden State) 분포를 전역적으로 변화시키는 반면, 작업 프롬프트 최적화는 국소적인 조정에 그친다는 것을 발견했습니다. 이는 시스템 프롬프트가 모델의 전반적인 행동 영역을 결정하고, 작업 프롬프트가 그 안에서 세부 조정 역할을 한다는 새로운 통찰을 제공합니다.
• 미래 방향: 시스템 프롬프트 최적화를 먼저 수행하여 적절한 전역 행동 공간을 확보한 후, 작업별 최적화를 통해 세부 성능을 다듬는 전략이 LLM 활용의 새로운 표준이 될 수 있음을 시사합니다.

이 논문은 모든 데이터, 코드, 프롬프트를 오픈소스로 공개하여 재현성을 보장하고 있습니다.