Making Prompts First-Class Citizens for Adaptive LLM Pipelines

1. 문제 정의 (Problem)

현대 LLM 파이프라인은 데이터 검색, 오류 수정, 외부 도구 호출, 에이전트 간 조정 등 복잡한 데이터 중심 애플리케이션과 유사해지고 있습니다. 그러나 이러한 프로세스를 통제하는 핵심 요소인 프롬프트 (Prompt) 는 여전히 다음과 같은 한계를 겪고 있습니다.

• 취약하고 불투명한 문자열: 프롬프트는 프로그램 로직과 완전히 분리된 단순한 문자열로 취급되어, 재사용, 최적화, 런타임 적응성이 제한됩니다.
• 수동 관리의 비효율성: 개발자는 실패와 시행착오 (trial-and-error) 를 반복하며 프롬프트를 수동으로 수정하며, 버전 관리나 진화 추적이 체계적으로 이루어지지 않습니다.
• 블랙박스 상태: 기존 프레임워크 (LangChain, DSPy 등) 나 시맨틱 쿼리 엔진에서도 프롬프트 로직은 실행 엔진과 최적화기에게 보이지 않는 블랙박스로 남아 있어, 런타임 중 동적인 최적화가 불가능합니다.

2. 방법론 및 제안 시스템: SPEAR

이 논문은 SPEAR (Structured Prompt Execution and Adaptive Refinement) 라는 새로운 접근 방식을 제안합니다. SPEAR 는 프롬프트를 시스템 내의 1 등 시민 (First-class citizen) 으로 격상시켜, 데이터와 마찬가지로 구조화되고 관리 가능한 객체로 다룹니다.

핵심 구성 요소

1. 구조화된 프롬프트 관리 (Structured Prompt Management):

   • 프롬프트 뷰 (Prompt Views): 프롬프트를 SQL 뷰와 유사한 논리적 뷰로 표현합니다. 이는 재사용 가능한 논리 블록을 캡슐화하며, 이름이 지정되고 버전 관리됩니다.
   • 모듈성과 재사용: 복잡한 프롬프트 로직을 작은 블록으로 분해하고, 다른 뷰를 참조하여 조립할 수 있습니다.
   • 파라미터화: 런타임 시 특정 값으로 호출될 수 있는 프롬프트 템플릿을 지원합니다.
   • 메타데이터 저장: 프롬프트 객체는 텍스트뿐만 아니라 런타임 통계, 버전 히스토리 등 메타데이터를 함께 저장합니다.

2. 적응형 프롬프트 정제 (Adaptive Prompt Refinement):

   • 동적 정제: 프롬프트는 오프라인에서 튜닝된 정적 템플릿이 아니라, 런타임 피드백에 따라 동적으로 진화하는 시스템 상태의 일부입니다.
   • 정제 모드:
     • 수동 (Manual): 개발자가 직접 프롬프트 텍스트를 수정.
     • 보조 (Assisted): 개발자가 고수준 의도만 제공하면 시스템이 이를 구체적인 프롬프트로 변환.
     • 자동 (Automatic): 런타임 상태 (입력, 출력, 메타데이터) 를 모니터링하여 사용자 정의 조건에 따라 자동으로 정제를 수행.

3. 정책 기반 제어 (Policy-Driven Control):

   • When-Then 규칙: WHEN condition THEN refinement 형태의 규칙을 통해 자동 정제를 트리거하는 시나리오를 정의합니다.
   • 조건 유형:
     • 입력 조건 (Before): 연산자 실행 전 파라미터나 중간 결과에 기반하여 정제 적용.
     • 출력 조건 (After): 연산자 실행 후 결과 (예: 신뢰도, 지연 시간) 를 기반으로 정제 적용 (예: 재시도 또는 다른 모델로 전환).
   • 자기 진화: 정책 자체도 프롬프트로 구현되어, 런타임 피드백에 따라 정책 로직까지 적응적으로 정제될 수 있습니다.

4. 실행 가능한 프롬프트 대수 (Executable Prompt Algebra):

   • SPEAR 는 파이프라인을 GENERATE, RETRIEVE, SWITCH, REFINE 등의 연산자로 구성된 실행 가능한 대수적 계획 (Plan) 으로 컴파일합니다. 이는 전체 파이프라인의 엔드 - 투 - 엔드 최적화를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 프롬프트의 1 등 시민화: 프롬프트를 단순 문자열이 아닌 구조화된 데이터 객체로 취급하여, 시스템 내에서의 추론, 최적화, 재사용을 가능하게 함.
2. 런타임 적응성: 기존 프레임워크가 주로 오프라인 최적화에 집중하는 반면, SPEAR 는 런타임 피드백을 기반으로 프롬프트 로직을 동적으로 수정하는 메커니즘을 제공.
3. 정책 기반 자동화: 개발자가 복잡한 최적화 전략 (예: 모델 라우팅, 조건부 재시도) 을 간단한 규칙으로 정의하고 시스템이 자동으로 실행하도록 함.
4. 최적화 기회 제시: 프롬프트 대수 구조를 통해 프롬프트 캐싱, 입력/프롬프트 배치, 연산자 융합 등 다양한 성능 최적화 기법을 적용할 수 있는 토대를 마련.

4. 실험 결과 (Preliminary Results)

실험 설정:

• 데이터셋: EHRNoteQA (실제 전자 건강 기록 기반 임상 질문 응답 벤치마크, 962 개 질문).
• 모델: Google Gemma 3 계열 (1B, 4B, 12B, 27B).
• 비교 대상: Baseline (기본 프롬프트), DSPy, DSPy-CoT.
• SPEAR 전략: 수동 정제 (R1), 보조 정제 (R2, R3), 자동 정제 (R4: 질문 난이도 기반 라우팅, R5: 불확실성 기반 캐스케이드).

결과 및 통찰:

• 성능 향상: SPEAR 의 정제 전략 (특히 R3: 프롬프트 구조 재배열) 은 Baseline 과 DSPy 를 일관되게 능가했습니다. 특히 LLM 이 긴 컨텍스트에서 형식 오류를 범하는 문제를 해결하는 데 효과적이었습니다.
• 구조의 중요성: 프롬프트의 구조적 변경 (예: 증거 제시 순서 변경, 출력 제약 명시) 이 성능에 결정적인 영향을 미쳤으며, 이는 SPEAR 의 투명하고 해석 가능한 정제 프로세스의 가치를 입증했습니다.
• 자동 정제의 효율성:
  • R4 (라우팅): 작은 모델 (1B) 로 질문 난이도를 판별하여 적절한 모델을 선택하는 방식은 12B 모델 단독 사용과 유사한 정확도 (83.5%) 를 유지하면서 비용을 절감했습니다.
  • R5 (캐스케이드): 12B 모델에서 시작하여 불확실성이 감지될 때만 더 큰 모델 (27B) 로 전환하는 방식은 27B 단독 사용과 유사한 정확도 (86.7% vs 87.3%) 를 달성하면서 비용을 약 50% 절감했습니다.
• 결론: SPEAR 는 복잡한 최적화 전략을 모듈화하고 재사용 가능하게 만들어, 개발자의 생산성과 시스템 효율성을 동시에 향상시킵니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 파이프라인 개발 패러다임에 근본적인 변화를 제안합니다.

• 최적화의 새로운 지평: 프롬프트를 데이터처럼 관리함으로써, 기존에 불가능했던 런타임 적응적 최적화와 엔드 - 투 - 엔드 성능 향상을 가능하게 합니다.
• 상호 보완적 역할: DSPy 와 같은 오프라인 최적화 프레임워크나 시맨틱 쿼리 엔진과 상호 보완적으로 작동하여, 실행 중 발생하는 동적 상황에 대응할 수 있는 능력을 제공합니다.
• 미래 전망: SPEAR 는 프롬프트 관리의 투명성, 재사용성, 적응성을 높여 더 견고하고 효율적이며 개발자 친화적인 LLM 애플리케이션 생태계를 구축하는 데 기여할 것으로 기대됩니다.

요약하자면, SPEAR 는 프롬프트를 단순한 입력이 아닌 시스템의 핵심 데이터 객체로 격상시켜, 구조화된 관리와 동적인 적응을 통해 LLM 파이프라인의 성능과 효율성을 극대화하는 새로운 아키텍처입니다.