💻 computer science

SAGE: Stochastic Prompt Optimization via Agent-Guided Exploration

이 논문은 다중 에이전트 탐색과 진단 코드 실행을 활용하여 개방형 태스크 지향 대화 시스템을 효과적으로 개선하고, 지속적인 에이전트 유도형 A/B 테스트를 통해 사용자 유지율에서 통계적으로 견고한 이득을 입증하는 확률적 프롬프트 최적화 프레임워크인 SAGE를 소개한다.

원저자: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 약간 고집스러운 로봇에게 좋은 대화를 나누는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 일련의 지침(프롬프트)을 주었지만, 로봇은 계속 실수를 저지릅니다. 이 논문의 목표는 로봇을 다시 훈련시키지 않고도 로봇이 더 잘할 수 있도록 그 지침들을 재작성하는 가장 좋은 방법을 찾아내는 것입니다.

저자들은 자신들의 새로운 방법을 SAGE(Stochastic Prompt Optimization via Agent-Guided Exploration)라고 부릅니다. 작동 방식은 다음과 같이 간단한 개념으로 나누어 볼 수 있습니다.

문제점: "눈을 가린 등산객"

모든 가능한 지침의 공간을 거대한 안개 낀 산맥이라고 생각해 보세요. 산의 정상은 "완벽한" 지침 세트입니다.

기존 방식들은 발밑만 보고 한 걸음씩 내딛는 등산객과 같았습니다. 만약 한 걸음을 뗐을 때 기분이 조금 더 나아졌다면, 그들은 계속 그 방향으로 갔습니다. 하지만 이 방식은 종ically 작은 언덕에 갇혀, 바로 다음 능선 너머에 훨씬 더 높은 산이 있다는 사실을 모른 채 그곳이 정점이라고 생각하게 만들곤 했습니다.
현실: 저자들은 지침이 숫자가 아닌 단어로 이루어져 있기 때문에, 수학적 "그래디언트"(매끄러운 경사를 따라 내려가는 것과 같은 방식)를 사용하여 정상에 도달할 수 없다고 주장합니다. 이 지형은 "노이즈가 많고" 울퉁불퉁합니다.

해결책: 탐험가 팀

저자들은 이 산을 오르는 세 가지 다른 방법을 테스트했습니다.

"도박사" (SPO-RS): 이 방법은 주사위를 던지는 것과 같습니다. 현재의 지침을 가져와서 약간의 무작위성(높은 온도/temperature)을 더하고, AI에게 새로운 버전을 추측하도록 요청합니다. 빠르고 무작위적이지만, 이전 버전이 왜 실패했는지에 대해 실제로 고민하지는 않습니다.
"번식자" (SPO-GA): 이것은 유전 알고리즘과 같습니다. 두 개의 가장 좋은 지침 버전을 가져와서 서로 섞고(교차), 미세한 조정(변이)을 가합니다. "도박사"보다 똑똑하지만, 여전히 주로 AI의 추측에 의존합니다.
"탐정 팀" (SAGE): 이 논문의 주인공입니다. 단순히 추측하는 대신, SAGE는 탐정 팀처럼 행동합니다.
- 분석가(The Analyst): 로봇이 저지른 모든 실수를 살펴보고 패턴을 찾기 위해 코드를 실행합니다. (예: "이봐, 사용자가 돈에 대해 물을 때마다 로봇이 실패하고 있어.")
- 조사관(The Investigator): 특정 사례들을 깊이 파고들어 그 패턴이 실제인지 증명합니다.
- 생성기(The Generator): 정확히 그 패턴을 고치기 위해 설계된 새로운 지침 세트를 작성합니다.

핵적인 차이점: 첫 번째와 두 번째 방법은 그냥 "시도"할 뿐입니다. SAGE는 먼저 문제를 진단한 다음, 처방을 내립니다. SAGE는 AI의 의견만이 아니라, 오류를 분석하기 위해 컴퓨터 코드를 사용합니다.

결과: 모든 상황에 맞는 하나의 정답은 없다

연구진은 세 가지 다른 유형의 작업에 대해 이 방법들을 테스트했습니다.

금융 수학: 복잡한 연쇄 반응 오류가 발생하는 작업입니다. 여기서 **탐정 팀 (SAGE)**이 승리했는데, 그 이유는 혼란의 근본 원인을 추적할 수 있었기 때문입니다.
이름 태깅 (Name Tagging): 더 단순한 작업입니다. 여기서는 번식자나 심지어 단순한 무작위 추측이 비슷하게 잘 작동했습니다. 탐정 팀은 이 단순한 작업에는 너무 복잡했습니다.
앱 제어: 로봇이 앱을 사용해야 하는 작업입니다. 여기서 번식자가 놀라운 성과를 보였습니다.

교훈: 단 하나의 "최고" 방법은 없습니다. 오류가 단순하다면 단순한 탐색이 효과적입니다. 만약 오류가 복잡하고 연쇄적이라면(마치 무너지는 카드 집처럼), 탐정 팀의 깊은 분석이 필요합니다.

실전 테스트: 정신 건강 챗봇

이것이 실제 세계에서 어떻게 작동하는지 증명하기 위해, 그들은 정신 건강 챗봇(이름은 "Ash")에 SAGE를 배치했습니다.

도전 과제: 챗봇이 얼마나 "도움이 되는지"를 단순한 수학 점수로 쉽게 측정할 수는 없습니다. 신호에 노이즈가 많기 때문입니다.
전략: 그들은 챗봇을 8주 동안 운영했습니다. 매주 SAGE를 사용하여 대화를 분석하고, 더 나은 버전의 지침을 생성한 다음, 새로운 버전이 사용자를 다음 날 다시 돌아오게 만드는지 확인하기 위해 빠른 테스트(A/B 테스트)를 수행했습니다.
마법: 개별적인 주간 테스트들은 통계적으로 무언가를 증명하기에는 규모가 너무 작았습니다. 하지만 이 작은 개선들을 하나로 엮음으로써, 작은 개선들이 쌓여 큰 성과를 냈습니다.
결과: 8번의 사이클을 거치면서, 사용자가 다음 날 다시 돌아오게 만드는 챗봇의 능력은 29% 향상되었습니다.

핵심 요약

이 논문은 개방형 작업(인간과 대화하는 것과 같은)을 위해서는 질적 진단(인간이나 에이전트가 무엇이 잘못되었는지 살펴보는 것)과 양적 검증(숫자를 확인하는 것)을 결려야 한다고 결론짓습니다.

SAGE가 성공적인 이유는 단순히 맹목적으로 추측하는 것이 아니라, 코드를 현미경처럼 사용하여 지침의 구체적인 균열을 찾아내고 이를 수정함으로써, 작고 노이즈가 많은 많은 개선들을 하나의 크고 견고한 성공으로 바꾸기 때문입니다.

기술 요약: SAGE (에이전트 유도 탐색을 통한 확률적 프롬프트 최적화)

문제 정의

본 논문은 자동 프롬프트 최적화(APO), 특히 모델 파라미터를 업데이트하지 않고 정보적 컨텍스트를 최적화하는 컨텍스트 엔지니어링(Context Engineering) 영역의 과제를 다룹니다.

저자들은 현재 APO가 근본적으로 블랙박스 탐색(black-box search) 문제라는 점(텍스트 그래디언트는 실제 그래디언트로 기능하지 않으므로)을 명시하며, 기존 접근 방식이 두 가지 주요 한계점을 가지고 있다고 주장합니다.

근시안적 탐색(Myopic Search): 샘플당 처리 방식는 한 번에 하나의 훈련 예시만을 처리하며 탐욕적으로 수정을 축적합니다. 이는 계산 비용이 많이 들고 지역 최적점(local optima)에 빠지기 쉽습니다.
얕은 분석(Shallow Analysis): 대부분의 방법론은 최적화를 LLM 단독 추론으로 제한합니다. 코드 도구를 사용하는 멀티 에이전트 방식조차도 이를 절차적 산출물 구축이 아닌 **진단적 분석(diagnostic analysis)**을 위해 사용하지 않는 경우가 많습니다.

프롬프트 지형(landscape)은 평가 비용이 높고, 유효 차원이 낮으며, 풍부한 국소 구조를 가진 노이즈가 많은 블랙박스 최적화 문제로 특징지어집니다. 최적화 전략의 효과는 지형의 구조(거칠기, ruggedness)와 존재하는 오류 유형 사이의 상호작용에 달려 있습니다.

방법론: SPO 프레임워크

저자들은 APO를 구조화된 프롬프트 공간에서의 확률적 힐 클라이밍(stochastic hill climbing)으로 정식화한 SPO (Stochastic Prompt Optimization) 프레임워크를 도입합니다. 핵심 루프는 매 반복마다 $Q$ 개의 후보 프롬프트를 생성하며, 현재의 프롬프트보다 엄격하게 개선된 경우에만 최적의 프롬프트를 채택합니다(단조 선택, monotonic selection).

본 논문은 이 프레임워크 내에서 정교함이 증가하는 세 가지 전략을 비교합니다.

1. SPO-RS (잔차 탐색, Residual Search)

메커니즘: 고온( $\tau=0.9$ ) LLM 샘플링을 통해 $Q$ 개의 후보를 생성합니다.
입력: 현재 최적의 프롬프트와 그 오류 요약에 기반합니다.
성격: 오류 기반의 정교화(error-informed refinement)를 모방하지만, 구조화된 연산자보다는 확률적 섭동(stochastic perturbation)에 의존합니다.

2. SPO-GA (유전 알고리즘, Genetic Algorithm)

메커니즘: 상위 $P$ 개의 프롬프트 집단에 진화 연산자(교차 및 변이)를 적용합니다.
입력: 교차(Crossover)는 두 부모와 그들의 오류 요약을 결합하며, 변이(Mutation)는 단일 부모의 개선을 목표로 합니다.
성격: "LLM을 진화 연산자로 사용하는" 패러다임을 따르며, 다양성을 일부 희생하는 대신 타겟팅된 개선을 추구합니다(낮은 온도 $\tau=0.7$ ).

3. SAGE (에이전트 유도 탐사, Agent-Guided Exploration)

메커니즘: 에이전트가 프롬프트 수정을 위해 진단용 코드를 작성하고 실행하는 멀티 에이전트 파이프라인입니다.
워크플로우:
1. 분석가(Analyzer): 평가 결과에 스크립트를 실행하여 근거 있는 $H$ 개의 오류 패턴 가설을 도출합니다.
2. 오케스트레이터(Orchestrator): 가설들을 $I$ 개의 조사 방향으로 분류합니다.
3. 조사자(Investigators): 병렬적으로 심층 조사하여 정확한 수치와 트레이스 분석을 통해 가설을 검증하고, 구현 가능한 수정 사항을 반환합니다.
4. 생성기(Generators): 조사 보고서를 바탕으로 수정된 프롬프트를 생성합니다.
핵심 차별점: 코드가 산출물을 구축하는 데 사용되는 기존 연구와 달리, SAGE는 코드를 고정된 절차 내에서 통계적 진단(오류 클러스터링, 통계 검정 수행, 과대표집된 실패 패턴 식별)을 위해 사용합니다.

실험 설정

프레임워크는 세 가지 벤치마크와 하나의 프로덕션 배포 환경에서 평가되었습니다:

XBRL Formula: 재무 추론 (훈련 500 / 테스트 200).
FiNER: 재무 개체명 인식 (훈련 1,000 / 테스트 441).
AppWorld: API 이해 및 코드 생성을 포함하는 자율 에이전트 작업.
프로덕션 배포: Slingshot AI의 정신 건강 챗봇인 "Ash"를 연속 최적화 패러다임 하에 최적화했습니다.

베이스라인: 방법론들은 Base LLM, ICL, MIPROv2, GEPA, Dynamic Cheatsheet, ACE offline과 비교되었습니다. 대상 LLM은 DeepSeek-V3.1이며, 수정을 제안하는 메타 모델은 Claude Sonnet 4.6입니다.

주요 결과

벤치마크 성능

단일 전략이 모든 작업에서 우위를 점하지는 않았으며, 효과는 지형 구조와 오류 유형의 상호작용에 따라 달랐습니다:

Formula (거칠고, 연쇄적 오류 발생): SAGE가 앞섰습니다. 이는 연쇄적인 추론 오류를 진단하기 위한 SAGE의 분석적 깊이가 보상을 받았기 때문입니다.
FiNER (매끄러운 지형): SAGE가 가장 높은 훈련 정확도를 달연했으나, 더 단순한 전략(SPO-GA)이 테스트 세트에서 더 잘 일반화되었습니다. 이 지형은 매끄러웠기에(넓은 거리에서도 상관관계 유지), 깊은 분석이 일반화에 결정적이지 않았습니다.
AppWorld (거칠고, 절차적 오류 발생): 모든 SPO 변형이 베이스라인을 능가했습니다. SAGE는 가장 높은 훈련 정확도를 보였으나, 작은 평가 세트로 인해 검증 정확도가 요동쳤습니다. SPO-GA는 가장 높은 테스트 정확도를 기록했는데, 이는 절차적이고 작업별로 발생하는 오류의 경우 단순한 탐색만으로도 충분함을 시사합니다.

지형 분석

지질 통계학의 세미베리오그램(semivariogram)을 사용하여 지형의 거칠기를 정량화했습니다:

Formula 및 AppWorld: 작은 의미적 이웃 범위 내에서 탈상관화되었습니다(거침).
FiNER: 약 4배 더 먼 거리까지 상관관계를 유지했습니다(매끄러움).
발견: 거칠기 자체가 승리하는 전략을 예측하지는 않습니다. 결정적인 요인은 오류 구조입니다: 연쇄적 추론 오류는 SAGE의 근본 원인 분석으로부터 이득을 얻는 반면, 절차적 오류는 더 단순한 탐색에 의해 해결됩니다.

프로덕션 배포 (정신 건강 챗봇)

SAGE는 8회의 연속 최적화 사이클 동안 "Ash" 챗봇에 배포되었습니다.

과정: 각 사이클은 최적의 프롬프트를 배포하고, 수집된 대화에 대해 SAGE를 실행하며, 후보군에 대한 A/B 테스트를 수행하고, 승자를 승격시키는 과정을 포함합니다.
결과: 8개 사이클 중 7개에서 양(+)의 승리 암(winning arm)이 생성되었습니다. 개별 사이클은 종종 통계적으로 유의미하지 않았으나(노이즈 존재), 사이클별 델타를 체이닝함으로써 비모수적 유의성을 가진 누적 +29.4%의 익일(D1) 리텐션 상대적 개선을 달성했습니다.
의의: 이는 개별적으로 노이즈가 많은 A/B 테스트라도 연속 최적화와 결합될 때 통계적으로 견고한 이득으로 축적될 수 있음을 보여줍니다.

기여 및 의의

본 논문은 세 가지 주요 기여를 주장합니다:

블랙박스 최적화 프레임워크: SPO는 APO를 구조화된 지형 위의 노이즈가 있는 블랙박스 탐색으로 정식화하여, 분석적 깊이와 탐색 다양성의 가치를 격리할 수 있는 통제된 절제 실험(ablation)을 제공합니다.
진단적 코드 실행: SAGE는 코드 실행이 절차적 산출물 구축이나 LLM 단독 추론이 아닌 통계적 진단(오류 패턴 분석)을 위해 사용되는 최초의 APO 프레임워크입니다.
프로덕션 배포: 본 논문은 개방형 대화 시스템을 위한 연속 최적화 패러다임을 소개합니다. 이는 (에이전트를 통한) 질적 진단과 (A/B 테스트를 통한) 양적 검증을 결합하는 것이, 전통적인 벤치마크가 실패하는 영역(예: 정신 건강 분야처럼 정답을 미리 정의할 수 없는 영역)에서 효과적인 최적화를 가능하게 함을 입증합니다.

저자들은 이러한 "혼합 질적-양적 에이전트 최적화"가 정답을 미리 정의할 수 없는 개방형 작업 지향 대화 시스템을 개선하는 핵심이라고 주장합니다. 또한 자동 평가 함수에 대한 의존성, 연속 최적화에서의 분포 변화 가능성, 그리고 에이전트 기반 정교화의 제한된 참신성(외부 지시 없이 완전히 새로운 행동을 발명하기보다는 기존 행동을 정교화함) 등의 한계점도 언급하였습니다.