To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

"부름을 받을 것인가, 아닐 것인가: LLM 도구 호출을 평가하고 최적화하기 위한 프레임워크"에 대한 상세한 기술 요약입니다.

1. 문제 제기

에이전트형 AI 아키텍처는 대규모 언어 모델 (LLM) 이 외부 도구 (예: 웹 검색, 계산기) 를 호출하여 기능을 확장할 수 있게 합니다. 그러나 현재 LLM 에이전트는 언제 도구를 호출할지 결정하기 위한 원칙적인 메커니즘이 부족합니다.

• 핵심 문제: 도구 사용이 항상 유익한 것은 아닙니다. 호출이 불필요할 경우 (모델이 이미 정답을 알고 있는 경우) 나 해로울 경우 (도구가 노이즈나 지연을 유발하는 경우) 가 발생할 수 있습니다.
• 격차: 기존 평가는 전체 작업 정확도에 중점을 두어 개별 도구 호출 결정의 품질을 간과합니다. 진정한 필요성/유용성과 모델의 지각된 필요성/유용성을 구분할 수 있는 프레임워크가 부재합니다.
• 과제: 특히 웹 검색의 경우, 모델은 도구 호출 전에 도구의 '유용성 증가분 (utility gain)'을 추정하는 데 어려움을 겪어, 비용 제약을 위반하거나 성능 향상을 실패하는 비최적의 결정을 자주 내립니다.

2. 방법론: 원칙적인 프레임워크

저자들은 도구 호출을 평가하고 최적화하기 위해 의사결정 이론과 합리적 선택 이론에서 영감을 받은 프레임워크를 제안합니다. 이 프레임워크는 의사결정을 세 가지 차원으로 분해하고 세 가지 다른 렌즈를 통해 분석합니다.

A. 세 가지 핵심 차원

1. 필요성 (Necessity): 모델이 작업 $T$를 해결하기 위해 외부 도움이 필요한가? (매개변수 지식만으로도 만족스럽게 해결할 수 있는가?)
2. 유용성 (Utility): 함수 $F$를 호출하는 것이 작업 $T$의 성능을 향상시킬 것인가? (도구가 없었을 때보다 긍정적인 이득을 제공하는가?)
3. 부담 가능성 (Affordability): 유용성 증가분이 비용 (지연 시간, API 수수료) 을 감당할 만한 가치가 있는가? (모델이 예산 하에서 고이득 사례를 우선시할 수 있는가?)

B. 세 가지 분석 렌즈

1. 규범적 렌즈 (The "Oracle"): 이상적인 행동을 정의합니다.
   • 진정한 필요성: 도구 없음 (NO TOOL) 설정에서의 모델 성능을 품질 임계값과 비교하여 결정합니다.
   • 진정한 유용성: 항상 도구 (ALWAYS TOOL) 성능을 도구 없음 (NO TOOL) 성능과 비교하여 결정합니다.
   • 진정한 부담 가능성: 예산 하에서 한계 유용성 증가분 ($\Delta = s_{AT} - s_{NT}$) 이 가장 높은 상위-$K$개 사례를 선택합니다.
2. *기술적 렌즈 (The "Self-Decision"): 실제 모델 행동을 관찰합니다.
   • 지각된 필요성: 도구 접근 없이 (프롬프팅을 통해) 모델이 스스로 보고한 필요성입니다.
   • 지각된 유용성: 옵션이 주어졌을 때 모델이 실제로 도구를 호출한 결정입니다.
3. *처방적 렌즈 (The "Controller"): 잠재 표현 (latent representations) 을 사용하여 기술적 행동과 규범적 이상 사이의 격차를 해소하는 메커니즘을 제안합니다.

C. 컨트롤러 프레임워크 (잠재 추정기)

지각된 신호와 진정한 신호 사이의 불일치를 해결하기 위해, 저자들은 자연어 출력에 의존하는 대신 LLM 의 은닉 상태 (특히 최종 토큰 표현) 를 기반으로 경량 멀티레이어 퍼셉트론 (MLP) 분류기를 훈련하는 것을 제안합니다.

• 잠재 필요성 추정기 (LNE): 도구 없음 설정의 은닉 상태를 사용하여 진정한 필요성 ($N^\star$) 을 예측합니다.
• 잠재 유용성 추정기 (LUE): 도구 없음 또는 항상 도구 설정의 은닉 상태를 사용하여 진정한 유용성 ($U^\star$) 을 예측합니다.
• 메커니즘: 이러한 추정기는 외부 컨트롤러 역할을 하여 예측된 유용성/필요성에 따라 사례를 순위 매기고, 고정된 예산을 상위-$K$개 사례에 할당함으로써 모델의 결함 있는 자기 결정 과정을 우회합니다.

3. 실험 설정

• 모델: 3B 에서 120B 파라미터까지 다양한 6 개의 오픈 소스 LLM (GPT-OSS, Qwen3, Gemma3, Mistral, Llama3.2 포함) 으로, 지시 튜닝 및 추론 변형을 모두 포함합니다.
• 작업:
  1. 엔티티 작업: 엔티트에 대한 설명 문단 생성 (장형 사실성 평가).
  2. InVivoQuery 작업: 실제 사용자 요청에서 파생된 사실적 질문에 답변.
  3. BFCL 작업: 버클리 함수 호출 리더보드 (원자적 하위 질문).
• 도구: Google(SerpAPI), Perplexity, Brave, Tavily 를 통한 웹 검색.
• 지표: LLM 을 심사위원으로 활용하고 인간이 주석을 단 사실성 점수, 도구 호출 횟수, 다양한 예산 제약 하에서의 유용성 증가분.

4. 주요 결과 및 발견

A. 지각과 현실의 불일치

• 비최적 자기 결정: 모델은 일관되게 도구 호출 결정을 진정한 유용성과 일치시키지 못합니다.
  • 과도 호출: 모델은 내부적으로 해결할 수 있는 작업에 대해 종종 도구를 호출합니다 (부정적 유용성).
  • 부족 호출: 모델은 진정으로 지식이 부족할 때 도구를 호출하지 못합니다 (놓친 긍정적 유용성).
• 자기 일관성 vs 진실: 모델의 지각된 필요성과 지각된 유용성은 종종 상관관계가 있습니다 (모델이 내부적으로 일관됨). 그러나 이러한 지각은 근거 사실 (ground truth) 과 불일치합니다. 모델이 자신의 지식에 대해 갖는 '신념'은 신뢰할 수 없습니다.
• 비용 민감도: 모델은 예산 제약을 준수하는 데 어려움을 겪습니다. 호출당 비용과 남은 예산을 명시적으로 알려주더라도, 모델은 종종 한도를 초과하거나 고유용성 쿼리를 효과적으로 우선순위화하지 못합니다 (예산 제약 시나리오에서 낮은 NDCG 점수).

B. 잠재 추정기의 성능

• 우수한 예측: 잠재 필요성 추정기 (LNE) 와 잠재 유용성 추정기 (LUE) 는 모델의 명시적 자기 결정보다 진정한 필요성과 유용성을 예측하는 데 훨씬 뛰어납니다.
• 향상된 작업 성능: 추정기를 사용하여 도구 호출을 안내하는 것 ("최적화" 설정) 은 다음과 같은 결과를 가져옵니다.
  • "자기 결정"에 비해 더 높은 사실성 점수.
  • 불필요한 도구 호출 감소.
  • 엄격한 예산 제약 하에서 더 나은 성능 (종종 훨씬 더 큰 모델의 성능과 일치하거나 초과).
• 소형 모델의 이득: 개선 효과는 소형 모델 (예: Llama3.2-3B) 에서 가장 두드러지며, 이러한 모델은 잠재 신호의 외부 안내로부터 가장 큰 혜택을 받습니다.

C. "오라클" 격차

추정기를 사용하더라도 성능은 완전히 "오라클 (최적)" 수준에 도달하지는 않습니다. 저자들은 완벽한 도구 호출은 웹 검색 결과의 확률적 특성으로 인해 본질적으로 어렵지만, 도구 자체의 행동을 모델링해야 한다고 지적합니다.

5. 중요성과 기여

1. 이론적 프레임워크: 단순한 집계 정확도 지표를 넘어 필요성, 유용성, 부담 가능성에 기반하여 도구 호출을 평가하는 최초의 원칙적인 프레임워크를 도입합니다.
2. 경험적 통찰: 현대 LLM 은 자신의 지식과 외부 도구의 가치를 판단하는 신뢰할 수 없는 심판이며, 이로 인해 체계적인 비효율이 발생함을 보여줍니다.
3. 실용적 해결책: 기본 LLM 을 파인튜닝하지 않고 에이전트 의사결정을 개선하는 비침습적이고 경량인 제어 메커니즘 (잠재 추정기) 을 제안합니다. 이는 효과적인 에이전트 행동이 모델의 고유한 추론에만 의존하는 것이 아니라 명시적인 외부 컨트롤러를 필요로 할 수 있음을 시사합니다.
4. 비용 인식: 현재 모델들의 비용 - 편익 분석에 관한 심각한 격차를 강조하며, 명시적인 예산 프롬프트가 있더라도 모델이 도구 사용을 최적화하지 못하므로 외부 개입이 필요함을 보여줍니다.

결론

이 논문은 "부름을 받을 것인가, 아닐 것인가"라는 결정이 에이전트형 AI 의 근본적인 병목 현상이라고 주장합니다. 현재 모델은 중복적이거나 해로운 도구 사용으로 이어지는 결함 있는 자기 인식에 의존합니다. 잠재 표현을 활용하여 진정한 필요성과 유용성을 추정함으로써 연구자들은 작업 성능과 비용 효율성을 크게 향상시키는 컨트롤러를 구축할 수 있으며, 이는 더 합리적이고 신뢰할 수 있는 AI 에이전트의 길을 열어줄 것입니다.