Select-then-Solve: Paradigm Routing as Inference-Time Optimization for LLM Agents

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 기반 에이전트의 성능 향상이 모델 자체의 능력에서 비롯된 것인지, 아니면 모델을 감싸는 추론 패러다임 (Reasoning Paradigm) 의 차이에서 비롯된 것인지에 대한 명확한 이해가 부족합니다.

• 현재 상황: CoT (Chain-of-Thought), ReAct, Plan-Execute, Reflection, ReCode 등 다양한 추론 전략이 제안되었으나, 기존 연구들은 각 패러다임의 강점에 맞춘 특정 태스크에서만 평가되거나 모델, 프롬프트, 도구 스택 등이 동시에 변경되어 통제된 비교가 이루어지지 않았습니다.
• 핵심 질문: "어떤 태스크에서는 추론 구조가 성능을 극적으로 향상시키지만, 다른 태스크에서는 오히려 성능을 저하시키는가?" 그리고 "각 태스크에 최적의 패러다임을 동적으로 선택할 수 있는가?"

2. 방법론 (Methodology)

2.1 통제된 대규모 비교 실험 (Controlled Large-Scale Comparison)

저자들은 PARADIGM이라는 통합 평가 프레임워크를 구축하여 다음 요소들을 통제했습니다.

• 모델: GPT-5, Gemini-3-Flash, Qwen3-Max, Qwen3-30B 등 4 개의 최첨단 LLM.
• 패러다임: 6 가지 추론 전략 (Direct, CoT, ReAct, Plan-Execute, Reflection, ReCode).
  • Direct: 구조 없이 직접 답변.
  • CoT: 단계별 추론 지시.
  • ReAct: 사고 - 행동 루프 (도구 사용).
  • Plan-Execute: 계획 수립 후 실행.
  • Reflection: 초기 답변 생성, 비판, 수정.
  • ReCode: 재귀적 코드 생성 및 실행을 통한 추론.
• 벤치마크: 코드 생성 (HumanEval), 수학 (MATH500, AIME), QA (HotpotQA, NQ), 지식 (MMLU), 도구 활용 (GAIA, SEAL, τ-bench) 등 10 개 벤치마크.
• 실행 규모: 총 약 18,000 회 실행 (4 모델 × 6 패러다임 × 10 벤치마크).

2.2 Select-then-Solve 프레임워크 (Paradigm Routing)

각 태스크에 고정된 패러다임을 적용하는 대신, 태스크가 들어오기 전에 가장 적합한 패러다임을 선택하는 라우팅 (Routing) 접근법을 제안했습니다.

• 라우터 (Router): 경량화된 임베딩 기반 분류기 (Text Embedding + Handcrafted Features).
• 작동 원리: 입력된 태스크를 분석하여 6 가지 패러다임 중 하나를 선택하고, 해당 패러다임만 실행하여 답변을 생성합니다.
• 비교 대상:
  • Fixed Paradigm: 모든 태스크에 하나의 패러다임 (예: ReAct) 을 고정.
  • Oracle: 각 태스크마다 정답을 낸 최상의 패러다임을 사후에 선택한 이상적인 경우 (상한선).
  • Self-Routing: 모델이 스스로 자신의 추론 방식을 선택하는 Zero-shot 방식.

3. 주요 결과 (Key Results)

3.1 추론 구조의 태스크 의존성 (Task-Dependent Value)

추론 구조의 효과는 태스크 유형에 따라 극명하게 달랐습니다.

• 성능 향상: 정보 검색이 필요한 태스크 (GAIA) 에서는 ReAct가 Direct 보다 44%p 더 높은 성능을 보였습니다.
• 성능 저하: 코드 생성 태스크 (HumanEval) 에서는 CoT가 Direct 보다 15%p 성능이 떨어졌습니다. (단계별 추론이 코드 품질을 해침).
• 결론: 단일 패러다임이 모든 태스크에서 우월하지 않으며, "정답"은 태스크에 따라 달라집니다.

3.2 오라클 갭 (Oracle Gap) 과 라우팅의 효과

• 오라클 갭: 태스크별로 최적의 패러다임을 선택한 경우 (Oracle) 는 가장 좋은 고정 패러다임보다 평균 17.1%p 더 높은 정확도를 보였습니다. 이는 패러다임 간 상호 보완성이 매우 크다는 것을 의미합니다.
• 라우터 성능: 학습된 임베딩 기반 라우터는 평균 정확도를 47.6% (Direct) 에서 53.1% 로 향상시켰습니다.
  • 이는 가장 좋은 고정 패러다임 (50.3%) 보다 2.8%p 높습니다.
  • 오라클 갭의 최대 37% 를 복구했습니다.
  • 비용 효율성: ReAct 를 항상 사용하는 경우의 토큰 비용의 절반 수준으로 더 높은 정확도를 달성했습니다.

3.3 모델 능력에 따른 차이

• 약한 모델: 추론 구조 (특히 도구 사용) 가 모델의 능력 부족을 보상하는 경향이 강했습니다 (예: Qwen3-30B 에서 ReAct 사용 시 GAIA 성능 12%→28% 상승).
• 강한 모델: GPT-5 와 같은 강력한 모델은 Direct 로도 높은 성능을 내지만, 라우터를 통해 불필요한 구조를 피하고 필요한 경우에만 구조를 적용함으로써 추가적인 이득을 얻었습니다.

3.4 Zero-shot Self-Routing 의 실패

모델이 스스로 패러다임을 선택하는 방식은 GPT-5 에서만 부분적으로 작동했으나 (67.1%), 약한 모델들 (Qwen 시리즈) 에서는 오히려 베이스라인 (Direct) 보다 성능이 떨어졌습니다. 이는 모델이 "어떻게" 추론하는지는 알 수 있어도, "언제" 어떤 방식을 선택해야 하는지 판단하는 메타 추론 능력은 부족함을 보여줍니다.

4. 주요 기여 (Contributions)

1. 통제된 대규모 비교: 4 개 모델과 10 개 벤치마크에 걸쳐 6 가지 추론 패러다임을 체계적으로 비교한 최초의 연구.
2. 패러다임의 상반된 효과 입증: 추론 구조가 태스크에 따라 도움이 되거나, 중립적이거나, 해로울 수 있음을 실증 (최대 44%p 향상 vs 15%p 저하).
3. Select-then-Solve 프레임워크: 학습된 라우터를 통해 고정된 아키텍처 선택을 넘어 태스크별 동적 선택을 가능하게 함.
4. 메타 추론의 중요성: 패러다임 선택이 모델의 추론 능력과 별개의 메타 추론 능력임을 증명하고, 이를 학습된 라우터로 해결 가능함을 보임.

5. 의의 및 결론 (Significance)

이 논문은 "더 복잡한 추론 구조가 항상 더 좋은 것은 아니다"는 사실을 명확히 보여줍니다. 가장 효과적인 에이전트는 가장 정교한 스키폴딩 (scaffolding) 을 가진 것이 아니라, 언제 구조를 사용하고 언제 직접 답변해야 하는지 아는 에이전트입니다.

• 실용적 함의: 추론 패러다임을 고정하는 대신, 태스크 특성에 따라 동적으로 라우팅하는 것이 추론 시간 (Inference-time) 최적화의 핵심 전략이 될 수 있습니다.
• 미래 방향: 작은 모델을 라우터로 미세 조정하거나, 비용과 정확도 간의 트레이드오프를 고려한 다목적 라우팅, 그리고 단일 태스크 내에서 패러다임을 혼합하는 적응형 전략 등으로 확장 가능합니다.

요약하자면, 이 연구는 LLM 에이전트의 성능을 극대화하기 위해 고정된 추론 방식보다는 태스크에 맞는 동적인 패러다임 선택 (Routing) 이 필수적임을 입증했습니다.