When Do Tools and Planning Help Large Language Models Think? A Cost- and Latency-Aware Benchmark

이 논문은 이벤트 기반 질문 답변과 설득적 응답 생성이라는 두 가지 실제 시나리오에서 도구와 계획이 LLM 의 사고에 미치는 영향을 비용과 지연 시간을 고려하여 평가한 결과, 복잡한 작업에서는 도구 활용이 정확도를 높이지만 지연 시간을 크게 증가시키고, 단순 작업에서는 오히려 성능을 저하시킬 수 있음을 보여주어 작업 특성에 맞는 모델 크기와 에이전트 복잡도의 신중한 선택이 필요함을 강조합니다.

핵심

🧠 핵심 비유: "똑똑한 비서 vs. 빠른 배달원"

이 연구는 두 가지 종류의 AI 모델 (GPT-4o 와 GPT-4o-mini) 을 비교했습니다.

• GPT-4o: 지식이 많고 복잡한 문제를 잘 푸는 고급 비서 (비싸지만 능력 좋음).
• GPT-4o-mini: 빠르고 저렴한 신입 비서 (비싸지 않지만 능력은 제한적).

이 비서들에게 두 가지 다른 일을 시켰습니다.

1. 첫 번째 업무: "복잡한 도서관 찾기" (Event-QA)

상황: "2010 년에 열린 어떤 행사에서 누가 연설을 했는지, 그 사람의 국적은 무엇인지 찾아줘."
이건 단순히 기억에서 끄집어내는 게 아니라, **데이터베이스 (DBpedia)**나 위키백과를 직접 검색해서 여러 정보를 연결해야 하는 복잡한 작업입니다.

• 결과:
  • 비서 혼자서 (One-shot): "아마도 A 였을 거야"라고 대충 추측하면 틀릴 확률이 높습니다. (정답률 47.5%)
  • 비서가 계획하고 도구 사용 (Plan & Tools): "먼저 DB 를 검색하고, 그 다음 위키를 확인하고, 다시 검증하자"라고 계획을 세우고 직접 검색을 합니다.
  • 효과: 정답률이 **47.5% → 67.5%**로 크게 올랐습니다!
  • 대가: 하지만 시간이 **8 초에서 317 초 (약 5 분)**로 늘어났고, 비용도 많이 들었습니다.
  • 교훈: 복잡한 데이터 분석 작업에서는 비서가 직접 도서관을 돌아다니며 (도구 사용) 꼼꼼히 조사하는 것이 정답을 찾는 데 필수적입니다.

2. 두 번째 업무: "논쟁 상대 설득하기" (CMV)

상황: "인터넷 게시판에서 누군가의 의견에 반박하며 설득하는 글을 써줘."
이건 사실 확인보다는 논리 구성과 말투가 중요한 작업입니다.

• 결과:
  • 비서 혼자서 (One-shot): "내 생각에 이렇게 반박하는 게 좋겠어"라고 바로 쓰면, 이미 AI 가 가지고 있는 지식이 충분해서 **정답률이 75%**나 됩니다.
  • 비서가 계획하고 도구 사용 (Plan & Tools): "먼저 관련 뉴스를 검색하고, 그다음에 글을 써보자"라고 계획을 세우고 검색을 합니다.
  • 효과: 정답률은 오히려 떨어지거나 비슷했는데, 시간은 6 초에서 200 초 이상으로 폭증했습니다.
  • 교훈: 의견 제시나 창의적인 글쓰기 같은 작업은 AI 가 이미 알고 있는 내용으로 바로 쓰는 게 가장 빠르고 정확합니다. 굳이 검색을 하러 다닐 필요 없습니다.

---

💡 이 연구가 우리에게 알려주는 3 가지 중요한 점

1. "생각하는 시간"이 항상 좋은 건 아닙니다.
마치 시험을 볼 때, 모든 문제를 풀기 전에 1 시간씩 머리를 싸매고 계획을 세우는 것보다, 간단한 문제는 바로 푸는 게 더 나을 수 있습니다.

• 데이터 분석 (Event-QA): 계획과 검색이 필수 (시간을 써도 값어치 있음).
• 의견 제시 (CMV): 바로 쓰는 게 최고 (계획 세우면 오히려 시간 낭비).

2. 비서 (모델) 의 능력에 따라 전략을 바꿔야 합니다.

• 고급 비서 (GPT-4o): 복잡한 도구 (데이터베이스 검색 등) 를 잘 다룰 수 있어, 어려운 작업에 투입하면 효과가 좋습니다.
• 신입 비서 (GPT-4o-mini): 복잡한 계획이나 여러 도구를 동시에 쓰면 혼란스러워져서 실수를 합니다. 하지만 간단한 위키 검색이나 빠른 답변에는 매우 훌륭하고 저렴합니다.

3. 돈과 시간의 균형 (비용 효율성)
기업이나 개발자가 AI 를 쓸 때, 무조건 가장 똑똑하고 비싼 모델을 쓰거나, 무조건 복잡한 시스템을 만드는 게 정답이 아닙니다.

• 작은 문제: 저렴한 모델로 바로 처리 (One-shot).
• 복잡한 문제: 비싼 모델을 쓰되, 필요한 경우에만 검색 도구를 활용.

🚀 결론: "상황에 맞는 도구를 선택하자"

이 논문은 **"AI 가 무조건 많이 생각하면 (계획하고 검색하면) 무조건 좋은 게 아니다"**라고 말합니다.

• 도서관에서 책 찾아오기 (복잡한 정보 검색): AI 가 직접 도서관을 돌아다니게 하세요. (시간은 걸리지만 정확함)
• 친구에게 조언하기 (간단한 대화/의견): AI 가 머릿속 지식으로 바로 말하게 하세요. (빠르고 정확함)

이처럼 작업의 성격과 모델의 능력을 잘 파악해서, 불필요한 시간과 비용을 아끼는 것이 현명한 AI 사용법이라는 것을 이 연구는 증명했습니다.

기술 요약

1. 문제 제기 (Problem Statement)

현대 대규모 언어 모델 (LLM) 은 추론 능력을 향상시키기 위해 추론 시 (inference-time) 계획 수립과 외부 도구 사용을 increasingly 의존하고 있습니다. 그러나 이러한 접근 방식이 항상 성능 향상을 보장하는 것은 아니며, 다음과 같은 중요한 트레이드오프가 존재합니다.

• 비용과 지연 시간 (Latency): 도구 호출과 다단계 추론은 처리 시간을 크게 증가시키고 비용을 상승시킵니다.
• 모델 크기와 복잡성: 작은 모델 (예: GPT-4o-mini) 은 복잡한 도구 오케스트레이션 (orchestration) 을 제어하는 논리에서 실패할 수 있습니다.
• 핵심 질문: 어떤 작업에서 계획과 도구 사용이 정확도를 높이는가? 그리고 그로 인한 비용과 지연 시간 증가가 정당화되는가?

이 연구는 이러한 질문을 답하기 위해 비용과 지연 시간을 고려한 실용적인 벤치마크를 제시합니다.

2. 방법론 (Methodology)

가. 평가 시나리오 (Evaluation Settings)

두 가지 실제 사용 사례를 대상으로 벤치마크를 수행했습니다.

1. Event-QA (이벤트 중심 질문 답변): 그래프 구조화된 지식 (DBpedia) 과 상호 연결된 정보 소스를 기반으로 한 질문 답변. 복잡한 데이터 해석과 구조화된 조회가 필요합니다.
2. CMV (ChangeMyView, 설득적 응답 생성): Reddit 의 CMV 토론에서 사용자의 의견을 설득하는 응답 생성. 개방형 논증과 설득 전략이 필요합니다.

나. 실험 설계 (Experimental Setup)

• 모델: GPT-4o (고성능) 와 GPT-4o-mini (저비용/소형) 를 비교 평가했습니다.
• 접근 방식 비교:
  • Baseline (NoPlanning): 도구 사용 없이 한 번의 프롬프트 (One-shot) 로 답변 생성.
  • Agent (Plan-Execute-Replan): LangChain 및 LangGraph 를 사용하여 구현된 3 단계 에이전트.
    1. Planner: 단계별 계획 수립 및 도구 선택.
    2. Executor: 도구 호출 및 실행 (DBpedia SPARQL, Wikipedia 검색, 웹 검색 등).
    3. Replanner/Answerer: 수집된 증거를 바탕으로 답변 생성 또는 계획 수정.
• 도구: DBpedia (SPARQL 쿼리, 엔티티 조회, 스키마 탐색), Tavily Search (Wikipedia 및 주제별 웹 검색).
• 데이터: 각 데이터셋에서 60 개의 예시 (각 20 개씩 3 개의 분할) 를 사용했습니다.

다. 평가 지표

• 정확도 (Accuracy): Event-QA 는 정답 일치 여부, CMV 는 ROUGE-1 F-measure 를 사용하여 인간 참조 응답과의 유사성을 평가.
• 지연 시간 (Latency): 엔드투엔드 처리 시간 (계획, 도구 호출, 재계획 포함).
• 비용 (Cost): 토큰 단가 기반의 예상 비용.

3. 주요 기여 (Key Contributions)

1. 실용적 평가 워크플로우 정의: 실제 시스템 배포와 유사한 '계획 - 실행 - 재계획 (Plan-Execute-Replan)' 구조를 사용하여 LLM 의 도구 활용 능력을 평가하는 워크플로우를 제시했습니다.
2. 실제 데이터셋 기반 벤치마크: 합성 데이터가 아닌 Event-QA(구조화된 지식) 와 CMV(설득적 논증) 두 가지 실제 시나리오에서 One-shot 과 도구 증강 추론을 비교했습니다.
3. 모델 크기, 도구 복잡성, 비용/지연 시간 간의 상관관계 실증: 모델 크기와 도구 오케스트레이션 복잡도가 성능에 미치는 영향을 정량화하여, 비용 최적화된 LLM 시스템 선택을 위한 지침을 제공했습니다.

4. 실험 결과 (Results)

가. Event-QA (구조화된 지식 기반 작업)

• 성능: 도구 증강 (특히 DBpedia 사용) 이 One-shot Baseline 보다 정확도를 크게 향상시켰습니다.
  • GPT-4o 의 경우: One-shot(47.5%) → DBpedia 도구 사용(67.5% 로 향상).
  • GPT-4o-mini 의 경우: DBpedia 사용 시 복잡한 제어 로직으로 인해 실패율이 높았으나, 단순한 Wikipedia 검색 구성에서는 경쟁력 있는 성능을 보였습니다.
• 지연 시간: 정확도 향상은 지연 시간의 급격한 증가를 동반했습니다.
  • GPT-4o (DBpedia): 약 8 초 (One-shot) → 약 317 초 (도구 사용).
• 결론: 복잡한 그래프 기반 작업에서는 고비용/고성능 모델 (GPT-4o) 이 도구 사용을 효과적으로 제어할 수 있어 정확도 향상이 가능하지만, 이는 상당한 시간 비용이 듭니다.

나. CMV (설득적 논증 작업)

• 성능: One-shot Baseline 이 도구 증강 방식보다 더 우수한 성능을 보였습니다.
  • GPT-4o-mini (One-shot): 약 75% 정확도, 약 6 초 지연.
  • 도구 사용 (PlanningSearch): 지연 시간이 150~216 초로 급증했으나 정확도는 오히려 떨어지거나 개선되지 않았습니다.
• 결론: 설득적 논증과 같은 작업은 모델의 내부 사전 지식 (priors) 이 충분하며, 외부 정보 검색이 오히려 노이즈를 유발하거나 논리의 흐름을 방해할 수 있습니다. 이 경우 작은 모델의 One-shot 접근이 가장 효율적입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **"무조건적인 도구 사용과 계획 수립이 항상 좋은 것은 아니다"**는 사실을 실증적으로 증명했습니다.

• 작업 의존성 (Task-Dependency):
  • 구조화된 데이터/복합 추론 (Event-QA): 도구와 계획이 필수적이며, 고사양 모델이 이를 효과적으로 활용해야 합니다.
  • 개방형 논증/창의적 작업 (CMV): 간단한 One-shot 프롬프팅이 가장 빠르고 정확하며, 도구 사용은 비효율적입니다.
• 배포 전략 제안:
  1. 먼저 저지연/저비용의 One-shot Baseline (소형 모델) 으로 시작합니다.
  2. 작업이 구조화된 증거 접근이나 다단계 조합을 요구할 때만 검색 및 계획을 추가합니다.
  3. 도구 오케스트레이션이 실패 지점이 될 경우에만 더 큰 모델로 확장합니다.

이 벤치마크는 LLM 시스템 설계 시 모델 크기, 도구 복잡성, 비용, 지연 시간을 종합적으로 고려한 비용 인식형 (Cost-aware) 의사결정의 중요성을 강조합니다.