Generative Prompt Internalization

1. 문제 정의 (Problem Definition)

• 배경: 최근 대규모 언어 모델 (LLM) 기반 애플리케이션 (예: 챗봇, 에이전트) 에서는 성능을 극대화하기 위해 길고 복잡한 프롬프트 (System Prompt, Few-shot 예시 등) 를 고정적으로 사용합니다.
• 도전 과제:
  • 계산 오버헤드: 긴 프롬프트는 매 턴 (Turn) 마다 입력되어야 하므로, 토큰 수 증가로 인한 계산 비용 (FLOPs, MACs) 과 지연 시간 (Latency) 이 급증합니다. 특히 멀티턴 대화에서는 이 오버헤드가 병목 현상이 됩니다.
  • 기존 방법의 한계:
    • 프롬프트 압축 (Compression): 프롬프트를 임베딩이나 압축 텍스트로 줄이는 방법은 여전히 추가 토큰이 필요하거나, 에이전트 작업에 필수적인 형식 (Format) 정보가 손실되어 성능이 저하됩니다.
    • 기존 프롬프트 내부화 (Internalization): 기존 지식 증류 (Distillation) 방법은 교차 모델의 출력만 학습하여 프롬프트의 내용을 직접 학습하지 못합니다. 이로 인해 정보량이 많거나 구체적인 에이전트 행동 요구사항이 있는 작업에서는 성능이 크게 떨어집니다.

2. 제안 방법: Generative Prompt Internalization (GenPI)

GenPI 는 모델이 프롬프트를 입력으로 받는 대신, 프롬프트의 내용과 그로 인한 출력 변경 이유를 스스로 생성하도록 훈련하여 프롬프트를 모델 내부에 완전히 내재화 (Internalize) 하는 방법입니다.

핵심 메커니즘

1. 공동 학습 (Joint Training):

   • SFT Loss (Supervised Fine-Tuning): 교차 모델 (Teacher) 의 행동 (출력) 을 모방하도록 학습합니다.
   • Prompt Generation Loss (PG Loss): 모델이 주어진 입력에 대해 왜 교차 모델의 행동처럼 행동해야 하는지 그 **이유 (Reason)**와 프롬프트 내용 (Prompt) 자체를 생성하도록 학습합니다.
   • 최종 손실 함수는 $L = (1-\lambda)L_{PG} + \lambda L_{SFT}$ 형태로 결합됩니다.
   • 효과: PG Loss 를 통해 모델은 프롬프트의 구체적인 형식과 논리를 직접 이해하고 내재화하게 되어, 추론 시 프롬프트 입력 없이도 정확한 행동을 수행할 수 있습니다.

2. 데이터 합성 기술 (Self Role-Playing Conversation):

   • 문제: 실제 에이전트 환경과 상호작용하며 멀티턴 데이터를 수집하는 것은 비용이 많이 들고 복잡합니다. 또한, 내부화할 프롬프트만 있고 학습 데이터가 없는 경우가 많습니다.
   • 해결책: 주어진 프롬프트 내에서 에이전트 (Agent) 와 환경 (Environment) 의 역할을 서로 바꾸어 (Role Swapping) 모델 스스로가 대화의 양쪽을 수행하게 합니다.
   • 이를 통해 1,000 개의 소량의 데이터만으로도 고품질의 가짜 대화 데이터 (Pseudo Conversational Dataset) 를 자동 생성할 수 있습니다.

3. 효율적인 파라미터 학습:

   • 각 프롬프트마다 별도의 학습이 필요하지만, QLoRA를 사용하여 전체 모델 파라미터의 0.5% 만 (Adaptor) 학습합니다. 이는 매우 경량화된 접근 방식입니다.

3. 주요 기여 (Key Contributions)

1. 생성 기반 프롬프트 내부화: 단순히 프롬프트를 압축하거나 출력만 모방하는 것이 아니라, 프롬프트 내용과 그 이유를 생성함으로써 모델이 프롬프트의 맥락을 직접 학습하도록 유도합니다.
2. 데이터 없는 시나리오 해결: 별도의 학습 데이터가 없는 상황에서도, 프롬프트만 주어지면 역할 전환을 통한 자기 대화 (Self Role-Playing) 로 학습 데이터를 자동 생성하는 기술을 제안했습니다.
3. 성능과 효율성의 동시 달성: 긴 프롬프트가 필요한 에이전트 작업에서도 프롬프트 입력 없이 상한선 (Upper Bound) 에 근접한 성능을 유지하면서, 계산 효율성을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

평가 벤치마크: AgentBench (OS Interaction, Web Browsing, Web Shopping)

• 성능 (Performance):

  • OS Interaction: 프롬프트 없이도 **100%**의 성능 (상한선 대비) 을 달성했습니다.
  • Web Browsing & Web Shopping: 1,000 토큰 이상의 긴 프롬프트가 필요한 작업에서도 82% 이상의 성능을 유지했습니다.
  • 비교: 기존 프롬프트 압축 (LLMLingua-2, ICAE) 및 증류 (Distillation) 기반 베이스라인들을 모두 압도했습니다. 특히 압축 방법은 형식 손실로 인해 에이전트 작업에서 성능이 급격히 떨어졌습니다.

• 효율성 (Efficiency):

  • 계산 오버헤드: 5 턴 이상의 멀티턴 대화 시, GenPI 는 프롬프트가 포함된 베이스라인 대비 MACs 와 FLOPs 에서 39% 개선, 지연 시간 (Latency) 에서 17% 개선을 보였습니다.
  • KV 캐싱 환경에서도: 이전 대화 이력을 캐싱하더라도 긴 프롬프트는 여전히 오버헤드를 발생시키지만, GenPI 는 프롬프트 입력 자체가 없으므로 이러한 오버헤드가 전혀 발생하지 않습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 가능성: LLM 기반 애플리케이션의 운영 비용 (Token 사용량) 을 줄이면서도 복잡한 에이전트 작업을 고정된 프롬프트 없이 수행할 수 있게 하여, 서비스 제공자의 비용 절감과 사용자의 빠른 응답 속도를 동시에 달성합니다.
• 새로운 패러다임: "프롬프트를 입력받는 것"에서 "프롬프트를 모델이 내재화하는 것"으로의 전환을 제안하며, 특히 데이터가 부족한 환경에서도 적용 가능한 유연한 내부화 전략을 제시했습니다.
• 한계 및 향후 과제: 현재는 고정된 긴 프롬프트에 초점을 맞추고 있으며, 실제 ChatGPT 같은 다양한 실세계 프롬프트를 수집하는 데 어려움이 있었습니다. 향후 장문의 대화 기록, 컨텍스트 학습 (In-context Learning), RAG, 멀티모달 영역으로 확장할 계획입니다.

요약하자면, GenPI 는 긴 프롬프트로 인한 비효율성을 해결하기 위해, 모델이 프롬프트의 내용과 논리를 스스로 생성하며 학습하게 함으로써, 프롬프트 입력 없이도 고성능 에이전트 작동을 가능하게 하는 혁신적인 경량화 방법론입니다.