CROP: Token-Efficient Reasoning in Large Language Models via Regularized Prompt Optimization

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 과 같은 추론 기법을 통해 복잡한 작업의 성능을 획기적으로 향상시켰습니다. 그러나 이러한 단계별 추론 방식은 방대한 양의 중간 토큰 (verbose intermediate reasoning) 을 생성하게 되어 다음과 같은 심각한 문제를 야기합니다.

• 높은 지연 시간 (Latency) 및 비용: 수천 개의 추가 토큰 생성으로 인해 추론 지연 시간이 길어지고, 토큰 기반 과금 모델에서 비용이 급증합니다.
• 기존 자동 프롬프트 최적화 (APO) 의 한계: 기존 APO 프레임워크 (예: TextGrad, DSPy 등) 는 주로 작업 정확도 (Task Accuracy) 만을 최적화 대상으로 삼습니다. 이로 인해 최적화 과정에서 모델이 논리적 오류를 수정하기 위해 과도하게 긴 설명과 지시를 추가하게 되어, 오히려 토큰 소비량 (Verbosity Tax) 이 증가하는 역설적인 상황이 발생합니다.
• 부족한 수학적 제약: 기존 텍스트 최적화에는 모델 가중치를 규제하는 L1/L2 페널티와 같은 '길이 규제 (Length Penalty)'에 해당하는 명확한 수학적 제약이 부재합니다.

2. 제안 방법론: CROP (Methodology)

저자들은 **CROP(Cost-Regularized Optimization of Prompts)**을 제안하여, 정확도와 토큰 효율성을 동시에 최적화하는 새로운 자동 프롬프트 최적화 프레임워크를 개발했습니다.

핵심 메커니즘

1. 이중 목적 함수 (Multi-Objective Optimization):
   • 작업 정확도 그라디언트 ($g_{task}$): 기존 텍스트 역전파 (Textual Backpropagation) 를 통해 모델의 논리적 오류를 지적하고 정확도를 높이는 텍스트 그라디언트를 생성합니다.
   • 규제 그라디언트 ($g_{reg}$): 모델의 응답 길이가 임계값 ($\tau$) 을 초과할 경우, 별도의 평가자 (Brevity Evaluator) 가 생성하는 텍스트 그라디언트입니다. 이는 "불필요한 서술적 요소와 대화적 채우기 (filler) 를 제거하고 핵심 계산 단계만 유지하라"는 피드백을 제공합니다.
2. 텍스트 그라디언트 집계 (Gradient Aggregation):
   • 두 가지 그라디언트를 문자열 연결 연산자 ($\oplus$) 를 사용하여 통합합니다: $g_{total} = g_{task} \oplus g_{reg}$.
   • 메타 옵티마이저 (Meta-Optimizer) 는 이 통합된 피드백을 바탕으로 시스템 프롬프트를 업데이트합니다.
3. 최적 프롬프트 선택:
   • 최적화 과정 중 생성된 모든 프롬프트 후보에 대해 **복합 점수 (Composite Score)**를 계산하여 최적의 프롬프트 ($p^*$) 를 선택합니다.
   • 점수 공식: $S(p) = \text{Accuracy}(p) - \lambda \cdot L_{norm}(p)$
   • 여기서 $\lambda$는 정확도와 토큰 길이 간의 트레이드오프를 조절하는 하이퍼파라미터입니다.

실험 설정

• 모델 역할 분담:
  • 평가자 (Evaluator): Gemini 2.0 Flash (정확도 및 길이 평가).
  • 메타 옵티마이저 (Optimizer): Gemini 3.1 Pro (Thinking enabled, 복잡한 다중 목적 피드백 통합 및 프롬프트 생성).
  • 타겟 모델 (Target LLM): Gemini 2.0 Flash, Qwen 2.5 7B.
• 데이터셋: GSM8K (수학), LogiQA (논리), BIG-Bench Hard (Object Counting).

3. 주요 기여 (Key Contributions)

1. 비용 인식 프롬프트 최적화 (CROP) 제안: 응답 길이에 적응적인 텍스트 규제 (Regularization) 를 도입하여, 프롬프트 탐색 단계에서 추론 정확도와 생성의 간결함을 분리 (Decouple) 했습니다.
2. 대규모 추론 효율성 달성: 복잡한 추론 벤치마크에서 토큰 소비량을 최대 80.6% 감소시키면서도, 제한 없는 CoT 프롬핑과 비교해 경쟁력 있는 정확도를 유지했습니다.
3. 자율적 심볼릭 추론 발견: 인간의 개입 없이 CROP 이 자동으로 매우 압축된 심볼릭 추론 구조 (예: "Chain-of-Draft"와 유사한 수학적 약어 사용) 를 발견하도록 유도했습니다. 이는 모델이 불필요한 설명 없이 핵심 계산만 수행하는 방식으로 진화했음을 의미합니다.

4. 실험 결과 (Results)

• 토큰 소비 감소:
  • GSM8K: 74.8% 감소 (정확도 93.4% 유지).
  • Object Counting (BBH): 80.6% 감소 (정확도 94.8% 유지).
  • LogiQA: 66.5% 감소 (정확도 64.2% 유지).
  • 참고: 직접 프롬핑 (Reasoning 없음) 은 정확도가 급격히 떨어지는 반면, CROP 은 간결함 유지와 함께 높은 정확도를 달성했습니다.
• 생성된 프롬프트의 변화:
  • 기존 CoT 프롬프트: "Let's think step by step...", "First, we observe..." 등의 서술적 표현 사용.
  • CROP 프롬프트: "Omit intermediate labels", "Focus on chained calculations", "Do not use conversational filler" 등의 지시어와 함께, 수학적 식과 핵심 계산만 나열하는 방식으로 자동 변환되었습니다.
• 옵티마이저 규모와 배치 크기 (Ablation Study):
  • 옵티마이저 모델: 저용량 모델 (Gemini 2.0 Flash) 을 옵티마이저로 사용할 경우, 프롬프트가 과도하게 단순화되어 추론 능력을 상실하는 '프롬프트 붕괴 (Prompt Collapse)'가 발생했습니다. 고용량 모델 (Gemini 3.1 Pro) 이 다중 목적 피드백을 통합하는 데 필수적이었습니다.
  • 배치 크기: 배치 크기가 1 인 경우 (Stochastic) 그라디언트 변동성이 커져 정확도가 희생되는 반면, 큰 배치 (B=128) 를 사용해야 규제와 정확도 간의 균형을 잡을 수 있었습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 솔루션: CROP 은 모델 가중치를 변경하거나 (Fine-tuning) 특수한 디코딩 알고리즘을 요구하지 않고, 프롬프트 수준에서만 추론의 중복성을 제거합니다. 이는 기존 LLM 인프라를 변경하지 않고도 비용 효율적인 에이전트 AI 시스템을 구축할 수 있게 합니다.
• 생산 환경 적합성: 프롬프트 캐싱 (Prefix Caching) 이 활성화된 현대 생산 환경에서, 최적화된 시스템 프롬프트는 고정되어 있어 입력 토큰 비용을 크게 절감할 수 있으며, 생성된 출력 토큰의 감소는 지연 시간과 직접적인 비용 절감으로 이어집니다.
• 새로운 패러다임: CROP 은 텍스트 최적화 분야에 '규제 (Regularization)' 개념을 도입함으로써, LLM 이 스스로 간결하고 효율적인 추론 경로를 학습할 수 있음을 증명했습니다.

이 논문은 대규모 언어 모델의 추론 능력을 유지하면서, 실제 산업 환경에서의 적용을 가로막는 비용과 지연 시간 문제를 해결할 수 있는 강력한 방법론을 제시합니다.