Ares: Adaptive Reasoning Effort Selection for Efficient LLM Agents

이 논문은 각 단계의 난이도에 따라 추론 노력 수준을 동적으로 조정하여 추론 토큰 사용량을 최대 52.7% 줄이면서도 작업 성공률을 유지하는 효율적인 LLM 에이전트 프레임워크 'Ares'를 제안합니다.

핵심

ARES: "지혜로운 비서"가 당신의 AI 에게 "얼마나 깊이 생각할지" 알려주는 방법

이 논문은 최근 화제가 되는 '생각하는 AI(Thinking AI)의 무거운 짐을 덜어주는 혁신적인 방법, ARES를 소개합니다.

🤔 문제: "항상 100% 집중하면 너무 비싸요!"

상상해 보세요. 당신이 아주 똑똑한 비서 (AI) 를 고용했다고 칩시다. 이 비서는 복잡한 문제를 해결할 때 매우 깊이 생각하는 습관이 있습니다.

• 장점: 거의 실수 없이 정확한 답을 냅니다.
• 단점: 그 '깊은 생각'을 하는 데 엄청난 시간과 돈 (전산 비용) 이 듭니다.

지금까지의 방식은 **"어떤 일이든 상관없이, 비서에게 항상 '최고의 집중력'으로 생각하게 하라"**는 것이었습니다.
하지만 이건 비효율적이에요.

• "오늘 날씨 어때?"라고 물을 때에도 "기후 변화의 역사부터 분석하고, 구름의 화학 성분까지 조사해!"라고 생각하게 하면 어떨까요? **너무 과한 생각 **(Overthinking)이죠.
• 반면, "복잡한 여행 경로 짜줘"라고 할 때는 "단순히 '네'라고만 답해"라고 하면 큰 실수가 납니다.

기존에는 이 두 가지 상황을 구분하지 않고 항상 최고 수준으로 생각하게 했기 때문에, 비용이 너무 많이 들었습니다.

---

💡 해결책: ARES(적응형 사고 노력 선택)

이 논문은 ARES라는 새로운 시스템을 제안합니다. ARES 는 마치 현명한 팀 리더나 스마트한 비서처럼 작동합니다.

🎭 비유: "상황에 맞는 옷을 입게 하는 리더"

ARES 는 AI 가 매 단계마다 **"지금 이 일은 얼마나 어려운가?"**를 먼저 판단합니다.

1. 쉬운 단계 (예: 웹사이트 주소 열기, 간단한 클릭): "이건 너무 쉬워. 저전력 모드(Low)"로 생각하게 합니다. → 비용 절감
2. 어려운 단계 (예: 복잡한 데이터 분석, 잘못된 길에서 다시 찾기): "이건 위험해. 최고 집중 모드(High)"로 생각하게 합니다. → 정확도 유지

이렇게 단계별로 생각의 깊이를 조절하는 것이 ARES 의 핵심입니다.

---

🛠️ 어떻게 작동할까요? (세 단계 과정)

ARES 를 만들기 위해 연구자들은 다음과 같은 과정을 거쳤습니다.

1. **성공한 사례 수집 **(지도 찾기)
   • 먼저 AI 가 모든 일을 '최고 집중 모드'로 성공적으로 해결한 사례들을 모았습니다. 이것이 정답지입니다.
2. **최소 노력 찾기 **(시험 치기)
   • 그 정답을 바탕으로, 각 단계마다 "이걸 해결하려면 최소한 얼마나 생각해야 할까?"를 실험했습니다.
   • 예: "이 단계는 '중간' 생각으로도 해결되네? 그럼 '최고' 모드는 불필요해!"라고 표시합니다.
3. **이유 설명하기 **(논리 훈련)
   • 단순히 "저전력 모드"라고만 말하지 않고, "왜 저전력 모드가 적합한지" (예: "이건 단순 클릭이니까") 라는 **이유 **(Rationale)를 함께 가르쳤습니다.
   • 이렇게 하면 AI 가 더 똑똑하게 판단할 수 있습니다.

마지막으로, **강화 학습 **(RL)이라는 방법을 써서 AI 가 스스로 "비용을 아끼면서도 성공하는 법"을 더 빠르게 배우도록 훈련시켰습니다.

---

📊 결과는 어떨까요?

실험 결과, ARES 는 놀라운 성과를 냈습니다.

• 비용 절감: 기존에 항상 '최고 집중 모드'를 썼을 때보다 **최대 52.7% 까지 생각에 쓴 비용 **(토큰)을 줄였습니다.
• 성능 유지: 비용을 아끼면서도, 성공률은 거의 떨어지지 않았습니다. 오히려 어떤 경우 (웹 탐색 등) 에는 '과도한 생각'을 줄여주니 오히려 더 정확해지기도 했습니다.
• 유연성: 작은 AI 모델로 훈련했지만, 훨씬 큰 AI 모델에서도 잘 작동했습니다.

🌟 요약

ARES는 "모든 일에 100% 힘을 다하는 것"이 아니라, "어떤 때는 가볍게, 어떤 때는 진지하게" 생각하게 하는 지혜로운 AI 관리 시스템입니다.

이 기술이 상용되면, 우리가 AI 를 사용할 때 더 저렴하고, 더 빠르면서도 똑똑한 서비스를 경험할 수 있게 될 것입니다. 마치 "가벼운 옷은 가볍게 입고, 무거운 짐은 튼튼한 가방에 담는" 현명한 생활 방식과 같다고 할 수 있죠.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최신 대형 언어 모델 (LLM) 기반 에이전트들은 긴 사고 과정 (Chain-of-Thought, CoT) 을 통해 복잡한 다단계 작업에서 높은 정확도를 달성합니다. 그러나 이러한 심층 추론은 매 단계마다 막대한 추론 토큰 (inference tokens) 을 소모하여 비용과 지연 시간을 증가시킵니다.
• 현재의 한계: 많은 최신 LLM 들이 '고/중/저'와 같이 추론 수준 (reasoning levels) 을 설정할 수 있는 기능을 제공합니다. 하지만 기존 접근법은 정적 (static) 전략에 의존합니다.
  • 모든 단계에서 '저효율 (low-effort)' 모드를 사용하면 성능이 급격히 저하됩니다.
  • 모든 단계에서 '고효율 (high-effort)' 모드를 사용하면 비용이 불필요하게 낭비됩니다.
  • 무작위 선택은 정확도 유지나 비용 절감 측면에서 효과적이지 않습니다.
• 핵심 문제: 에이전트 작업의 각 단계마다 필요한 추론의 깊이는 다릅니다 (예: URL 열기는 간단하지만, 복잡한 웹사이트 구조 탐색은 심층 추론이 필요함). 따라서 각 단계마다 상황에 맞는 최적의 추론 노력을 동적으로 선택할 수 있는 메커니즘이 필요합니다.

2. 제안 방법론: ARES (Methodology)

ARES 는 에이전트의 각 단계에서 가장 효율적이면서도 효과적인 추론 노력 수준을 동적으로 할당하는 프레임워크입니다.

2.1. 핵심 아키텍처

• 라우터 (Router): 경량화된 LLM (예: Qwen3-1.7B) 을 사용하여, 현재 상호작용 히스토리 (interaction history) 와 관찰 (observation) 을 입력으로 받아 다음 단계에 필요한 최소 적절한 추론 노력 수준 (low/medium/high) 을 예측합니다.
• 통합 방식: 에이전트와 분리된 모델이 아닌, 에이전트 내부의 KV 캐시 (KV cache) 를 재사용할 수 있도록 설계되어 추가적인 인ference 비용 없이 효율성을 극대화합니다.

2.2. 학습 파이프라인 (Training Pipeline)

ARES 의 라우터를 훈련하기 위해 3 단계의 자동 데이터 생성 및 학습 파이프라인을 개발했습니다.

1. 궤적 수집 (Trajectory Collection):
   • 최대 노력 수준 (high-effort) 을 사용하여 성공적인 에이전트 궤적 (trajectory) 을 수집합니다.
   • 이 중 가장 간결하고 성공적인 궤적을 기준 (ground truth) 으로 삼아, 불필요한 단계의 노이즈를 제거합니다.
2. 추론 노력 주석 (Reasoning Effort Annotation):
   • 수집된 성공 궤적의 각 단계에 대해, 해당 행동을 올바르게 수행할 수 있는 최소 추론 노력 수준을 식별합니다.
   • 각 노력 수준 (low, mid, high) 에서 에이전트를 여러 번 실행 (multi-trial) 하여, 주어진 히스토리에서 정답 행동을 안정적으로 생성하는 최소 수준을 라벨링합니다.
3. 근거 생성 (Rationale Generation):
   • 라우터가 단순히 레이블만 예측하는 것이 아니라, 왜 그 노력 수준이 필요한지에 대한 짧은 논리적 근거 (rationale) 를 먼저 생성하도록 훈련합니다.
   • 이는 라우터가 현재 작업의 복잡성과 진행 상황을 명시적으로 분석하도록 유도하여 예측 정확도를 높입니다.

2.3. 강화 학습 (Reinforcement Learning, RL)

• 초기화: 위 과정을 통해 생성된 데이터로 라우터를 지도 학습 (SFT) 합니다.
• RL 최적화 (GRPO): SFT 는 각 단계의 최적 선택을 학습하지만, 전체 궤적 차원의 효율성을 놓칠 수 있습니다. 이를 보완하기 위해 GRPO (Group Relative Policy Optimization) 를 적용합니다.
  • 보상 함수 (Reward):
    1. 결과 보상 ($R_{out}$): 작업 성공 시 큰 긍정 보상.
    2. 비용 보상 ($R_{cost}$): 추론 토큰 사용량에 비례하는 패널티 (저효율일수록 패널티 작음). 성공한 궤적에만 적용하여 실패를 유도하는 행동을 방지.
    3. 형식 보상 ($R_{form}$): 출력 형식 위반 시 패널티.
  • 데이터 필터링: 성공률이 0 인 프롬프트는 제거하고, 성공률이 100% 이지만 비용 편차가 큰 프롬프트만 선별하여 학습 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 동적 노력 선택 프레임워크: 에이전트의 각 단계마다 추론 깊이를 동적으로 조절하여, 고정된 고비용 전략과 저비용 전략 사이의 최적 균형 (Pareto frontier) 을 달성합니다.
2. 효율적인 학습 파이프라인: 오류 전파 (error propagation) 없이 각 단계별 최소 필요 노력을 식별하는 자동화된 데이터 생성 및 주석 방법을 제안했습니다.
3. 모델 무관성 및 KV 캐시 재사용: 외부 모델을 호출하는 기존 라우팅 방식과 달리, 동일 모델 내의 추론 모드 전환을 활용하여 KV 캐시를 재사용함으로써 추가 지연 시간을 최소화했습니다.
4. 근거 기반 추론: 라우터가 단순 분류가 아닌 논리적 근거를 생성하도록 함으로써 추론의 신뢰성과 정확도를 향상시켰습니다.

4. 실험 결과 (Results)

다양한 에이전트 벤치마크 (TAU-Bench, BrowseComp-Plus, WebArena) 에서 gpt-oss-20b를 백본으로 하여 실험한 결과는 다음과 같습니다.

• 성능과 비용의 트레이드오프:
  • TAU-Bench (Retail): 고정된 'High' 노력 대비 52.7% 의 추론 토큰 절감 효과를 보였으며, 성공률은 동등하거나 (54.8%) RL 적용 시 더 향상되었습니다 (58.5%).
  • BrowseComp-Plus: 심층 연구 에이전트에서 41.8% 의 토큰 절감 효과를 보이며, 고정 'High' 노력과 거의 동일한 성공률 (41.3% vs 42.7%) 을 달성했습니다.
  • WebArena: 웹 에이전트에서 45.3% 의 토큰 절감 효과를 보였으며, 오히려 고정 'High' 노력 (45.0%) 보다 높은 성공률 (46.5%) 을 기록하여 '과도한 사고 (overthinking)'로 인한 실패를 방지했음을 증명했습니다.
• RL 의 효과: RL 단계를 거친 ARES 는 SFT 만을 적용한 경우보다 더 큰 토큰 절감 (Airline 도메인에서 80% 절감) 과 정확도 향상을 동시에 달성했습니다.
• 일반화 능력: 훈련에 사용된 모델 (20B) 보다 훨씬 큰 모델 (120B) 을 백본으로 사용했을 때도 높은 성능을 유지하여, 학습된 추론 패턴이 모델 규모에 독립적임을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 효율성: ARES 는 복잡한 에이전트 작업을 수행할 때 불필요한 추론 비용을 대폭 줄이면서도 성능을 유지하거나 향상시킴으로써, LLM 에이전트의 상용화 장벽을 낮춥니다.
• 지능형 리소스 관리: 단순한 비용 절감을 넘어, 작업의 난이도와 단계에 따라 지능적으로 리소스를 배분하는 새로운 패러다임을 제시합니다.
• 확장성: 다양한 에이전트 유형 (도구 사용, 웹 탐색, 심층 연구) 과 모델 규모에 걸쳐 효과적으로 작동하여, 향후 더 다양한 AI 에이전트 시스템에 적용 가능한 범용 솔루션으로 평가됩니다.

이 논문은 LLM 에이전트의 추론 효율성을 극대화하기 위해 동적 노력 선택 (Adaptive Reasoning Effort Selection) 이 필수적임을 입증하고, 이를 실현할 수 있는 구체적인 방법론과 검증된 결과를 제시했습니다.