Brief Is Better: Non-Monotonic Chain-of-Thought Budget Effects in Function-Calling Language Agents

1. 연구 문제 (Problem Statement)

• 배경: 언어 에이전트는 도구 (API) 를 사용할 때, 미리 정의된 함수 중 올바른 함수를 선택하고 인자를 채워야 합니다. 이 과정에서 CoT 를 사용하여 추론을 수행하는 것이 일반적입니다.
• 가정: 실무자들은 보통 고정된 추론 예산 (예: 512 토큰) 을 할당하며, "더 많은 추론이 정확도를 높일 것"이라고 가정합니다.
• 질문: 함수 호출 에이전트의 각 결정 단계에서 최적의 CoT 토큰 수는 얼마이며, 예산이 증가함에 따라 정확도가 어떻게 변하는가?

2. 방법론 (Methodology)

• 데이터셋: Berkeley Function Calling Leaderboard (BFCL) v3 Multiple-function 벤치마크의 200 개 태스크를 사용했습니다. 각 태스크는 2~4 개의 후보 함수 중 하나를 선택하고 JSON 형식으로 인자를 채우는 작업입니다.
• 모델:
  • 주 실험: Qwen2.5-1.5B-Instruct (작은 모델, 리소스 제약 환경 대표)
  • 검증 모델: Qwen2.5-7B-Instruct, Phi-3-mini-4k-instruct (다른 아키텍처)
• 실험 설계:
  • CoT 예산 ($d$) 을 0, 32, 64, 128, 256, 512 토큰으로 변화시키며 성능을 측정했습니다.
  • $d=0$은 직접 답변 (CoT 없음), $d>0$은 "단계별로 생각하라"는 프롬프트 후 최대 $d$토큰의 추론을 생성한 뒤 JSON 을 출력하는 방식입니다.
  • 오라클 (Oracle) 분석: 각 태스크마다 모델이 정답을 내는 데 필요한 최소 토큰 수를 분석하여 이상적인 예산 분포를 파악했습니다.
  • 오류 분해: 실패 원인을 (1) 환각된 함수 (존재하지 않는 함수 호출), (2) 잘못된 유효 함수 선택 (존재하지만 틀린 함수), (3) 잘못된 인자 입력으로 분류했습니다.

3. 주요 결과 및 발견 (Key Findings)

3.1 비단조적 (Non-Monotonic) CoT 효과

• 짧은 추론의 급격한 향상: Qwen2.5-1.5B 모델에서 32 토큰의 짧은 CoT 는 CoT 없음 (44.0%) 대비 **64.0%**의 정확도로 성능을 45% 이상 향상시켰습니다.
• 긴 추론의 성능 붕괴: 추론 예산을 256 토큰으로 늘리면 정확도가 **25.0%**까지 떨어졌으며, 이는 CoT 를 전혀 사용하지 않은 경우 (44.0%) 보다도 훨씬 나쁜 결과입니다 ($p<0.001$).
• 최적점: 정밀한 예산 스윕 (sweep) 을 통해 실제 최적점은 8~16 토큰임을 확인했습니다.

3.2 오라클 예산 분석

• 해결 가능한 태스크의 **88.6%**가 32 토큰 이하의 추론만으로도 정답을 낼 수 있었습니다.
• 오라클이 사용하는 평균 추론 토큰 수는 27.6 개에 불과했습니다. 이는 대부분의 함수 호출 작업이 긴 추론 체인을 필요로 하지 않음을 의미합니다.

3.3 오류 메커니즘 분석 (3 가지 분류)

• CoT 없음 ($d=0$): 가장 큰 오류는 **잘못된 유효 함수 선택 (30.5%)**이었습니다. 모델은 후보 함수 목록에서 올바른 함수를 고르지 못했습니다.
• 짧은 CoT ($d=32$): 함수 라우팅 (Function Routing) 역할을 수행하여 잘못된 함수 선택 오류를 **1.5%**까지 급감시켰습니다.
• 긴 CoT ($d=256$): 오히려 **잘못된 함수 선택 (28.0%)**과 **환각된 함수 (18.0%)**가 급증했습니다. 긴 추론 과정에서 모델이 올바른 초기 판단을 버리거나 (Misdirection), 존재하지 않는 함수를 만들어내는 (Hallucination) 현상이 발생했습니다.

3.4 모델 아키텍처별 차이

• Qwen2.5 (1.5B, 7B): 긴 예산에서 정확도가 기준선 (No-CoT) 아래로 떨어지는 급격한 붕괴를 보였습니다. 이는 모델이 할당된 모든 토큰을 채우려 하기 (EOS rate 0%) 때문입니다.
• Phi-3-mini: 긴 예산에서도 정확도가 서서히 감소하기는 했으나, 기준선 아래로 떨어지지는 않았습니다. 이는 Phi-3 이 긴 추론 시 자연스럽게 종료 (EOS) 를 생성하는 경향 (68% EOS rate at $d=256$) 이 있어 과도한 추론을 스스로 제한하기 때문입니다.

4. 제안된 방법: FR-CoT (Function-Routing CoT)

• 아이디어: 짧은 CoT 가 성공한 이유는 '함수 선택'을 명확히 했기 때문이므로, 추론 단계에서 유효한 함수 이름을 명시적으로 먼저 commit하는 구조를 도입했습니다.
• 구조:

  Function: [function_name]
  Key args: [arg=value, ...]
  Based on the above, the JSON function call is:
  JSON: ...
  

• 효과:
  • 환각 제거: 함수 이름을 먼저 확정하므로, 추론 과정에서 존재하지 않는 함수를 만들어내는 환각 (Hallucination) 을 **0.0%**로 완전히 차단했습니다.
  • 성능: 자유 형식 (Free-form) 의 32 토큰 CoT 와 동급의 정확도를 유지하면서도, 예산 튜닝 없이도 높은 신뢰성을 보장합니다.
  • 제약 디코딩 (Constrained Decoding) 대비 우위: 단순히 출력 시 함수 이름을 강제하는 것만으로는 정확도 향상이 제한적이었으나, FR-CoT 는 추론 구조 자체를 변경하여 7B 모델에서 +19.5%p의 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

1. 실무적 가이드라인: 함수 호출 에이전트 설계 시, 8~32 토큰의 짧은 CoT 예산을 고정하거나 FR-CoT를 사용하는 것이 최적입니다. 긴 추론은 오히려 성능을 해칩니다.
2. 이론적 통찰: 수학 추론 등 다른 영역에서는 '더 많은 계산 (Test-time compute)'이 성능을 높이지만, 구조화된 도구 사용 (Structured Tool-use) 환경에서는 **간결함 (Brevity)**과 명시적 라우팅이 핵심임을 증명했습니다.
3. 시스템 설계: 에이전트 시스템은 무조건 긴 추론을 허용하기보다, 초기 단계에서 올바른 도구를 선택하는 데 집중하는 구조 (라우팅) 를 설계해야 합니다.

요약: 이 논문은 "더 많이 생각하면 더 잘한다"는 통념을 깨뜨리고, 함수 호출 에이전트에게는 **짧고 명확한 추론 (Brief CoT)**이 가장 효과적임을 실증적으로 증명했습니다. 특히 FR-CoT는 구조적 개입을 통해 환각을 제거하고 높은 정확도를 달성하는 실용적인 솔루션을 제시합니다.