기술 요약: 시스템 프롬프트 베이지안 최적화를 위한 유도 기반 임베딩

문제 설정

본 논문은 현대 AI 시스템에서 집계 피드백 제약 조건 하에 시스템 프롬프트를 최적화하는 과제를 다룹니다. 많은 배포 시나리오에서 프롬프트 성능은 개별 예시 레이블, 오류 추적, 또는 텍스트 비판이 아닌, 인구 수준의 지표 (예: 작업 완료율, 안전 사고율, 사용자 만족도) 로 측정됩니다. 최적화기는 배포된 각 프롬프트 변형에 대해 단일 스칼라 점수만을 관찰합니다.

이 설정은 프롬프트 최적화를 이산적이고 가변 길이의 자연어에 대한 샘플 제약 블랙박스 최적화 문제로 변환합니다. 표준 베이지안 최적화 (BO) 는 다음과 같은 이유로 직접 적용하기 어렵습니다:

1. 표현: BO 는 일반적으로 고정된 저차원 유클리드 공간에서 작동하는 반면, 프롬프트는 복잡하고 구조화된 텍스트 객체입니다.
2. 구현: 잠재 공간에서 최적화된 점을 다시 배포 가능한 텍스트로 매핑하려면 일반적으로 보조 인코더/디코더 또는 수동으로 설계된 커널이 필요하며, 이는 임의의 시스템 프롬프트에 대해 직접 제공되지 않습니다.
3. 데이터 부족: 매우 적은 관측치로 고차원 텍스트 임베딩 공간 (예: 수천 차원) 에 대리 모델을 적합시키면 정보력이 부족한 사후 분포를 초래합니다.

기존 자동 프롬프트 최적화 (APO) 방법들은 종종 세분화된 피드백 (개별 예시 레이블, 비판) 에 의존하거나 특정 인터페이스 (소프트 프롬프트, 고정 후보 풀) 를 가정하므로, 이러한 집계 전용 하드 프롬프트 설정에는 적합하지 않습니다.

방법론: ReElicit

저자들은 유도 기반 임베딩 (embedding by elicitation) 을 기반으로 한 베이지안 최적화 프레임워크인 ReElicit를 제안합니다. 핵심 아이디어는 대규모 언어 모델 (LLM) 을 프롬프트 생성기로만 사용하는 것이 아니라, 적응형 의미 표현 공간 구축자로 활용하는 것입니다.

최적화 루프는 각 반복마다 세 단계로 진행됩니다:

1. 동적 특징 유도 (Dynamic Feature Elicitation):

   • 작업 설명과 스칼라 점수가 있는 평가된 프롬프트의 이력을 바탕으로, LLM 은 작업 관련성 있고 해석 가능한 의미 특징 축 (예: "추론의 명시성", "어조 제어") 집합을 제안합니다.
   • 그런 다음 LLM 은 이러한 특징을 기반으로 역사적 프롬프트를 $[0, 1]^{d_t}$의 컴팩트한 연속 공간으로 매핑합니다.
   • 견고성을 보장하기 위해 여러 후보 특징 집합이 생성되어 관찰된 점수에 대해 교차 검증 (CV) 을 통해 평가됩니다. CV 오차가 가장 낮은 집합이 선택됩니다. 만약 $t > 1$이라면, 이전 특징 집합이 확장된 이력에 대해 재평가되어 후보에 포함됩니다.

2. 특징 공간에서의 베이지안 최적화:

   • 가우시안 프로세스 (GP) 대리 모델이 임베딩된 프롬프트 점수에 적합됩니다.
   • 획득 함수 (예: $q$-LogNoisyExpectedImprovement) 는 탐색과 활용을 균형 있게 조절하는 연속 공간 내의 목표 특징 벡터를 선택합니다. 이러한 목표는 텍스트 문자열이 아닌 원하는 의미 속성을 나타냅니다.

3. 구현 및 정제:

   • LLM 은 각 목표 특징 벡터를 배포 가능한 시스템 프롬프트로 구현합니다.
   • 연속 특징에서 텍스트로의 역매핑은 정보 손실이 있으므로, LLM 은 특징 간극 정제 (feature-gap refinement) 를 수행합니다. 이는 목표 특징과 생성된 프롬프트의 특징 간의 차이를 분석한 후, 이 간극을 줄이기 위해 텍스트를 반복적으로 수정하여 최종 프롬프트가 BO 가 선택한 의미 방향과 일치하도록 보장합니다.

이 과정은 반복되어, 새로운 프롬프트 - 점수 데이터가 도착함에 따라 표현이 적응 ("재유도") 하도록 하며, 고성과 및 저성과 프롬프트를 구분하는 의미 축을 정제합니다.

이론적 분석

본 논문은 도달 가능성 (reachability) 에 대한 이론적 분석을 제공합니다: 유도된 임베딩에서 거의 최적인 점이 원래 텍스트 공간에서 좋은 프롬프트에 대응하기 위한 조건은 무엇입니까?

• 가정: 저자들은 목적 함수가 매끄럽게 (잠재 공간에서 리프시츠 연속) 되는 "오라클" 의미 임베딩의 존재를 가정합니다. 또한 유도된 임베딩이 유계 오차 $\eta_t$ 내에서 이 오라클을 근사한다고 가정합니다.
• 결과: 정리 1 은 만약 프롬프트가 근사된 목적 함수 (유도된 공간) 에서 $\delta$-부최적이라면, 실제 목적 함수에서는 $\epsilon$-부최적임을 보여줍니다. 여기서 $\epsilon = \delta + 2BL\eta_t$입니다. 여기서 $B$는 RKHS 노름 상한이고 $L$은 리프시츠 상수입니다.
• 함의: 최적화된 특징 공간과 실제 프롬프트 품질 사이의 간극은 표현 오차에 의해 제한됩니다. 동적 재유도는 시간이 지남에 따라 $\eta_t$를 줄여, 특징 공간 최적화가 실제 프롬프트 개선으로 이어진다는 보장을 강화합니다.

실험 결과

저자들은 엄격한 30 회 평가 예산 (5 개의 프롬프트로 구성된 6 개의 배치) 하에서 10 가지 시스템 프롬프트 최적화 작업 (GSM8K, MMLU, BIG-Bench Hard 포함) 에 대해 ReElicit 를 평가했습니다. 피드백 인터페이스는 엄격하게 집계 전용 (프롬프트당 하나의 스칼라 점수) 입니다.

베이스라인:
ReElicit 는 하드 프롬프트에 맞게 조정된 네 가지 대표적인 집계 전용 베이스라인과 비교됩니다:

• APE: 이력 없는 샘플링.
• OPRO: 점수로 정렬된 이력에 조건부 생성.
• PromptBreeder: 진화적 변이 및 재조합.
• TextGrad 스타일: 스칼라 궤적을 사용한 비판 기반 정제.

주요 발견:

• 성능: ReElicit 는 가장 강력한 집계 성능 프로파일을 달성합니다. 10 개 작업 모두에서 수치적으로 가장 좋은 방법이거나 통계적으로 가장 좋은 방법과 구별되지 않습니다.
• 일관성: 작업 - 시드 쌍 간 가장 높은 페어별 승리 또는 무승부율을 보여주어, 단일 벤치마크에 과적합되는 것이 아닌 견고성을 나타냅니다.
• 구성 요소 분석:
  • 특징 안정성: 유도된 특징은 반복 추출 하에서 매우 안정적이지만, 반복에 걸쳐 보수적으로 적응합니다 (Linear CKA 로 측정).
  • 예측력: 동적 특징은 정적 특징이나 평균 예측자보다 낮은 GP 교차 검증 MSE 를 제공합니다.
  • 실행 가능성: BO 목표와의 특징 간극이 작은 프롬프트일수록 지금까지의 최고 점수를 개선할 가능성이 더 높습니다.
• 절단 실험 (Ablations): 특징 간극 정제를 제거하거나 BO 를 무작위 샘플링으로 대체하면 가장 큰 성능 저하가 발생합니다. 특징을 고정 (정적 표현) 하거나 독립적으로 추출하는 것은 더 작고 종종 통계적으로 유의하지 않은 저하를 초래하여, 초기 유도가 이미 효과적이지만 동적 적응이 추가적인 이점을 제공함을 시사합니다.

중요성 및 주장

본 논문은 LLM 이 자연어 인공물에 대한 베이지안 최적화를 위해 프롬프트 생성기뿐만 아니라 적응형 의미 표현 구축자로 기능할 수 있다고 주장합니다.

• 방법론적 기여: ReElicit 는 LLM 을 사용하여 온-the-fly 로 컴팩트하고 해석 가능하며 작업별 잠재 공간을 구축함으로써 이산 텍스트 최적화와 연속 BO 간의 간극을 해소합니다.
• 실용적 영향: 이는 개별 예시 레이블이나 복잡한 인코더 - 디코더 훈련 없이, 오직 집계된 인구 수준 지표만 존재하는 실제 배포 환경에서 시스템 프롬프트를 최적화할 수 있는 실현 가능한 경로를 제공합니다.
• 일반화 가능성: "유도 기반 임베딩" 패턴은 후보가 텍스트이고 제약 조건이 텍스트이며 평가가 비용이 많이 드는 스칼라 측정인 모든 언어로 설명 가능한 구조화된 인공물을 최적화하기 위한 레시피로 제시됩니다.

저자들은 범위에 대해 겸손하게 언급하며, 실험은 배포 지표 (예: 사용자 만족도) 의 대리 변수로 오프라인 벤치마크 정확도를 사용하며, 방법의 효율성은 총 LLM 호출 수 대신 목표 모델 평가 수로 측정된다고 밝힙니다. 또한 이 접근 방식은 집계 전용 하드 프롬프트 설정 내에서 "사과 대 사과" 비교임을 강조합니다.