$p1$: Better Prompt Optimization with Fewer Prompts

이 논문은 다양한 사용자 프롬프트 간의 편차가 큰 소수만 선별하여 시스템 프롬프트 최적화의 효율성을 높이는 새로운 방법 $p1$을 제안하고, 이를 통해 적은 데이터로도 뛰어난 추론 성능을 달성할 수 있음을 입증합니다.

핵심

1. 문제: "왜 어떤 과목은 잘 되고, 어떤 과목은 안 될까?"

인공지능에게 "수학 문제를 풀어줘"라고 할 때, 우리가 지시문 (시스템 프롬프트) 을 어떻게 쓰느냐에 따라 결과가 달라집니다.

• 비유: 인공지능을 초등학교 학생이라고 상상해 보세요.
  • 지시문 A: "자세히 설명해 줘."
  • 지시문 B: "정답만 알려줘."

어떤 학생은 지시문 A 를 들으면 아주 잘 풀지만, 지시문 B 를 들으면 엉뚱한 답을 냅니다. 하지만 어떤 학생은 지시문이 뭐든 간에 똑같은 실수를 반복하거나, 반대로 지시문과 상관없이 항상 잘 풀기도 합니다.

논문은 **"왜 어떤 과목 (태스크) 은 지시문을 고치면 실력이 급상승하는데, 어떤 과목은 아무리 지시문을 바꿔도 소용이 없는가?"**를 연구했습니다.

2. 핵심 발견: "소음 (Noise) 과 신호 (Signal)"

연구진은 지시문을 바꿀 때 생기는 점수 변화를 두 가지로 나눴습니다.

1. 생성 소음 (Response Variance): 인공지능이 같은 지시문을 줘도, 매번 다른 답을 내는 우연적인 요인입니다. (예: 오늘 컨디션이 안 좋아서 실수함)
2. 지시문 차이 (System Prompt Variance): 지시문을 실제로 잘 고쳤을 때 생기는 진짜 실력 차이입니다.

🔍 발견된 사실:

• 성공하는 경우 (명확한 신호): 지시문을 바꾸면 점수가 확실히 오릅니다. (예: "형식만 맞춰줘"라는 지시문은 명확히 지켜지거나 안 지켜집니다.)
• 실패하는 경우 (소음에 가려짐): 수학 문제처럼 복잡한 과목에서는, 지시문을 아무리 바꿔도 인공지능이 내는 답이 매번 들쑥날쑥합니다. 지시문 때문에 생기는 차이보다, 인공지능이 그날그날 엉뚱한 실수를 하는 '우연'이 너무 커서, "어떤 지시문이 좋은지"를 구별하기 어렵게 됩니다.

3. 반전: "데이터를 많이 모을수록 오히려 나빠진다?"

일반적으로 기계학습에서는 **"데이터를 많이 모을수록 더 잘 배운다"**고 생각합니다. 하지만 이 논문은 수학 문제 같은 복잡한 과목에서는 정반대라고 말합니다.

• 비유: 다양한 취향을 가진 100 명의 심사위원에게 그림을 평가하게 해보세요.
  • A 심사위원은 "추상화"를 좋아하고, B 심사위원은 "사실화"를 좋아합니다.
  • 만약 100 명 모두의 점수를 평균내면, "추상화"를 좋아하는 그림은 A 는 100 점, B 는 0 점을 줍니다. 평균은 50 점.
  • "사실화"를 좋아하는 그림도 평균 50 점.
  • 결과: 두 그림의 점수 차이가 사라져서, "어떤 그림이 더 좋은지"를 판단할 수 없게 됩니다.

논문에 따르면, 다양한 수학 문제 (이질적인 데이터) 를 모두 섞어서 학습하면, 어떤 지시문이 특정 문제에는 도움이 되지만 다른 문제에는 방해가 되어, 전체 평균 점수는 비슷해집니다. 그래서 인공지능은 "어떤 지시문이 좋은지"를 배우지 못하게 됩니다.

4. 해결책: p1 (프롬프트 필터링)

이 문제를 해결하기 위해 연구진은 p1이라는 방법을 제안했습니다.

• 핵심 아이디어: "모든 문제를 다 풀게 하지 말고, 지시문에 따라 결과가 확연히 달라지는 '중요한 문제' 몇 개만 골라서 학습시켜라."
• 비유:
  • 기존 방식: 100 개의 문제를 다 풀게 해서 평균 점수를 내려고 함. (소음만 많음)
  • p1 방식: "지시문 A 를 주면 100 점, 지시문 B 를 주면 0 점"처럼 차이가 극명하게 나는 문제 2 개만 골라서 학습시킴.
  • 이렇게 하면 인공지능은 "아! 이 지시문이 중요하구나!"를 명확하게 배우게 됩니다.

5. 놀라운 결과

• AIME(수학 경시대회) 데이터에서 전체 30 문제를 다 학습시켰을 때는 성능이 거의 오르지 않았습니다.
• 하지만 p1을 써서 가장 효과가 좋은 문제 2 개만 골라서 학습시켰더니, 인공지능의 수학 실력이 비약적으로 향상되었습니다.
• 더 놀라운 점은, 이 2 개 문제로 만든 지시문은 학습하지 않은 다른 수학 대회 문제나, 더 큰 인공지능 모델에게도 잘 적용되었다는 것입니다.

6. 요약: "적게, 하지만 정확하게"

이 논문의 결론은 매우 간단합니다.

"무조건 많은 데이터를 쌓는 것보다, 인공지능이 '지시문의 중요성'을 명확하게 느낄 수 있는 소수의 핵심 데이터만 골라서 학습시키는 것이 더 효과적이다."

마치 명강의를 들을 때, 모든 내용을 다 외우려 하기보다 핵심 개념이 명확하게 드러나는 예제 2~3 개를 깊이 있게 분석하는 것이 더 실력이 늘어난 것과 같은 이치입니다.

이 방법은 인공지능을 더 똑똑하게 만들면서, 계산 비용과 시간도 크게 줄여주는 획기적인 방법입니다.

기술 요약

이 논문은 대규모 언어 모델 (LLM) 의 가중치를 업데이트하지 않고 시스템 프롬프트를 최적화하는 **프롬프트 최적화 (Prompt Optimization)**의 효과성이 작업 (task) 에 따라 크게 달라지는 원인을 규명하고, 이를 해결하기 위한 새로운 방법론 p1을 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• 현상: 프롬프트 최적화는 모델 가중치 수정 없이 시스템 프롬프트를 탐색하여 성능을 향상시키는 유망한 방법이지만, 그 효과는 작업에 따라 극단적으로 다릅니다. 일부 작업 (예: 지시 따르기) 에서는 큰 개선을 보이지만, 복잡한 추론 작업 (예: 수학 문제 해결) 에서는 최적화가 실패하거나 미미한 성과만 냅니다.
• 핵심 질문: 어떤 작업이 프롬프트 최적화에 적합한지, 그리고 왜 대규모 데이터셋을 사용할 때 오히려 최적화가 실패하는지 그 메커니즘을 규명하는 것이 목표입니다.

2. 핵심 분석 및 통찰 (Key Analysis & Insights)

저자는 시스템 프롬프트 간의 보상 (Reward) 분산을 두 가지 구성 요소로 분해하여 분석했습니다.

1. 응답 간 분산 (Variance among responses): 고정된 시스템 프롬프트 하에서도 모델의 생성 확률적 성질 (stochasticity) 로 인해 발생하는 노이즈.
2. 시스템 프롬프트 간 분산 (Variance among system prompts): 서로 다른 시스템 프롬프트의 품질 차이로 인한 실제 기대 보상 차이 (신호).

주요 발견:

• 신호 대 잡음비 (Signal-to-Noise Ratio): 프롬프트 최적화가 성공하려면 '시스템 프롬프트 간 분산'이 '응답 간 분산'보다 충분히 커야 합니다. 즉, 좋은 프롬프트와 나쁜 프롬프트를 명확히 구분할 수 있어야 합니다.
• 데이터셋 크기 역설 (The Dataset Size Paradox): 직관적으로는 데이터가 많을수록 최적화가 잘 될 것 같지만, 저자는 데이터셋 크기가 커질수록 시스템 프롬프트 간 분산이 감소함을 발견했습니다.
  • 이질적인 데이터셋 (예: 다양한 수학 문제) 의 경우, 어떤 시스템 프롬프트는 특정 문제에는 도움이 되지만 다른 문제에는 해가 될 수 있습니다. 전체 데이터셋을 평균내면 이러한 선호도가 상쇄되어 모든 프롬프트가 통계적으로 비슷해 보이며, 최적화 신호가 희석됩니다.
  • 반면, 동질적인 데이터셋 (예: 지시 따르기) 은 좋은 프롬프트가 대부분의 예시에 일관되게 도움이 되므로 데이터셋 확대가 유리합니다.

3. 제안 방법: p1 (Prompt Filtering)

이러한 통찰에 기반하여, 저자는 p1이라는 간단한 사용자 프롬프트 필터링 방법을 제안합니다.

• 원리: 전체 데이터셋을 사용하는 대신, 후보 시스템 프롬프트들에 대해 **보상 분산이 높은 사용자 프롬프트의 작은 부분집합 (Subset)**만 선택하여 훈련합니다.
• 작동 방식:
  1. 초기 시스템 프롬프트 생성기에서 여러 후보를 샘플링합니다.
  2. 각 사용자 프롬프트에 대해 후보 프롬프트들의 보상 분산을 계산합니다.
  3. 시스템 프롬프트 간 분산이 가장 큰 (즉, 좋은 프롬프트와 나쁜 프롬프트를 가장 잘 구분해내는) 사용자 프롬프트 소집합을 선택합니다.
  4. 이 필터링된 소집합만으로 강화학습 (RL) 기반 프롬프트 최적화를 수행합니다.
• 효과: 노이즈가 많은 전체 데이터 대신, 최적화 신호가 명확한 '고분산' 데이터만 집중적으로 학습함으로써 최적화 과정을 용이하게 합니다.

4. 실험 결과 (Results)

• 추론 벤치마크 (AIME, HMMT):
  • 기존 방법 (GEPA, 전체 데이터셋 RL) 은 AIME 24 와 같은 이질적인 수학 데이터셋에서 성능 향상이 거의 없거나 실패했습니다.
  • p1은 AIME 24 의 단순히 2 개의 문제만 필터링하여 훈련한 결과, 다른 추론 벤치마크 (AIME 25, 26, HMMT 등) 에서도 뛰어난 일반화 성능을 보였습니다.
  • 특히, p1 으로 학습된 시스템 프롬프트는 훈련에 사용되지 않은 더 큰 모델 (Qwen3-30B) 에도 적용되어 성능을 향상시켰습니다.
• 지시 따르기 벤치마크 (IFBench):
  • 이 작업은 데이터가 동질적이어서 전체 데이터셋을 사용하는 것이 오히려 유리했습니다. p1 은 이 경우 과적합 (overfitting) 경향을 보이며 전체 데이터셋 RL 보다 성능이 낮았습니다. 이는 p1 이 이질적인 추론 작업에 특화된 방법임을 시사합니다.
• 학습된 프롬프트의 특성:
  • GEPA는 훈련 데이터의 특정 패턴을 암기 (memorization) 하는 구체적인 지시사항을 생성하는 경향이 있었습니다.
  • p1은 특정 문제에 국한되지 않는 **일반적인 추론 행동 (예: 사고 과정의 흐름, 실수 포함의 자연스러운 생각)**을 유도하는 더 포괄적인 프롬프트를 생성하여 일반화 성능이 뛰어났습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: 프롬프트 최적화의 성공 여부는 데이터의 양이 아니라 **보상 신호의 분산 구조 (variance structure)**에 의해 결정된다는 것을 수학적으로 증명했습니다.
• 실용적 기여: 복잡한 추론 작업에서 대규모 데이터셋을 사용하는 것이 오히려 해가 될 수 있음을 보여주었고, **적은 수의 고분산 데이터 (few-shot, high-variance)**를 선택하여 훈련하는 것이 효율적이고 효과적인 전략임을 입증했습니다.
• 방법론적 혁신: 새로운 최적화 알고리즘을 개발하는 대신, 데이터 선택 (Data Selection) 전략을 통해 기존 RL 기반 최적화 방법의 성능을 획기적으로 개선했습니다.

요약하자면, 이 논문은 "더 많은 데이터가 항상 좋은 것은 아니며, 특히 추론 작업에서는 어떤 데이터를 선택하느냐가 최적화 성패를 좌우한다"는 점을 강조하며, 이를 위한 p1 필터링 기법을 통해 소량의 고품질 데이터로 강력한 시스템 프롬프트를 생성할 수 있음을 증명했습니다.