Enhancing Tool Calling in LLMs with the International Tool Calling Dataset

이 논문은 실제 API 와 다국어 데이터를 기반으로 한 대규모 벤치마크 'International Tool Calling (ITC)'을 제안하여, 기존 도구 호출 연구의 한계를 극복하고 다양한 언어와 지역 환경에서 LLM 의 성능과 강건성을 향상시키는 방법을 제시합니다.

핵심

1. 문제: 비서가 가진 '국한된 시야'

지금까지 인공지능 비서들은 주로 영어로만 된 가상의 도구들을 사용해 훈련받았습니다.

• 비유: 마치 비서가 "미국에 있는 가상의 우체국"이나 "영어만 가능한 가상의 날씨 앱"만 알고 있는 상황입니다.
• 한계: 실제 세계는 훨씬 복잡합니다. 일본 여행객이 중국의 날씨를 일본어로 물어보거나, 아프리카의 특정 은행 서비스를 호출해야 할 수도 있습니다. 기존 데이터는 이런 **실제 세계의 다양성 (다국어, 다양한 국가, 실제 API)**을 제대로 반영하지 못했습니다.

2. 해결책: 'ITC'라는 거대한 글로벌 도구상자

연구팀은 이 문제를 해결하기 위해 **ITC(국제 도구 호출)**라는 새로운 데이터셋을 만들었습니다.

• 실제 도구 3,571 개: 가상의 도구가 아니라, 실제로 존재하는 웹사이트나 앱에서 데이터를 주고받는 실제 API(도구) 3,571 가지를 모았습니다.
• 40 개 국가, 29 개 언어: 미국이나 중국뿐만 아니라 전 세계 40 개 나라의 도구들을 포함하고, 영어뿐만 아니라 29 가지 언어로 질문과 답변을 만들었습니다.
• 비유: 이제 비서에게 전 세계 40 개 나라의 실제 지도와 29 개 언어로 된 전화번호부를 쥐여준 셈입니다. "파리에서 파리의 맛집을 찾는 것"뿐만 아니라 "베트남의 현지 택시 앱"이나 "스위스의 은행 계좌 조회"도 할 수 있게 된 거죠.

3. 실험 결과: 비서의 성장

연구팀은 이 새로운 데이터로 다양한 인공지능 비서들을 훈련시켜 보았습니다.

• 초기 상태: 기존 비서들은 영어로 된 복잡한 질문에는 잘했지만, 다른 언어로 된 질문이나 낯선 도구를 만나면 "도구가 없다"고 하거나 "잘못된 정보를 말"하는 실수를 많이 했습니다.
• 훈련 후: ITC 데이터로 훈련을 시키니, 비서들의 실력이 급격히 향상되었습니다.
  • 특히 영어以外的 언어로 질문했을 때, 도구를 고르는 능력과 파라미터 (설정값) 를 정확히 입력하는 능력이 크게 좋아졌습니다.
  • 마치 비서가 "아, 일본어로 '날씨'라고 하면 이 중국 날씨 앱을 써야구나!"라고 깨닫게 된 것과 같습니다.

4. 핵심 발견: "영어만 배우면 안 돼요"

가장 중요한 발견은 다국어 데이터의 중요성이었습니다.

• 비유: 비서를 훈련시킬 때 영어로 된 책만 읽게 하면, 영어 질문에는 잘 답하지만 다른 언어 질문에는 엉뚱한 답을 합니다. 하지만 전 세계의 다양한 언어 책을 모두 읽게 하면, 어떤 언어로 물어봐도 상황에 맞는 적절한 도구를 찾아냅니다.
• 연구 결과, 영어 데이터만 가지고 훈련한 모델보다 전 세계 언어 데이터를 모두 섞어서 훈련한 모델이 비영어권 질문에서 훨씬 뛰어난 성능을 보였습니다.

5. 결론: 더 똑똑하고 안전한 비서로

이 연구는 인공지능이 단순히 텍스트를 쓰는 것을 넘어, 실제 세계의 도구 (날씨, 금융, 여행 등) 를 올바르게 활용할 수 있도록 돕는 중요한 발걸음입니다.

• 핵심 메시지: 인공지능이 전 세계 어디서나, 어떤 언어로든 사용자의 요청을 들어주고 실제 서비스를 실행하려면, 다양한 문화와 언어, 실제 도구를 경험하게 하는 훈련이 필수적입니다.

이제 인공지능 비서는 더 이상 "영어만 아는 가상의 비서"가 아니라, 전 세계를 누비는 현실적인 도우미로 거듭날 수 있는 토대를 마련한 셈입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 외부 시스템 (API 등) 과 상호작용하여 '툴 호출 (Tool Calling)'을 수행하는 능력은 고객 지원, 데이터 분석, 동적 콘텐츠 생성 등 다양한 분야에서 필수적입니다. 그러나 기존 연구와 벤치마크는 다음과 같은 심각한 한계를 가지고 있습니다.

• 시뮬레이션 의존성: 많은 기존 벤치마크 (Seal-Tools, ToolSandbox 등) 가 실제 API 가 아닌 시뮬레이션된 API 나 합성 환경을 사용하여, 실제 세계의 복잡성과 변이성을 반영하지 못함.
• 재현성 및 접근성 부족: 실제 API 를 사용하는 경우 (ToolLLM 등) 도 유료 키, 사용 제한, 접근 권한 문제로 인해 재현성이 낮거나 배포가 제한됨.
• 문화적/지리적 편향: 기존 데이터셋이 영어와 특정 지역 (주로 미국) 에 치우쳐 있어, 전 세계 다양한 문화, 규제, 사용자 행동을 반영하는 글로벌 시나리오에서의 모델 성능을 평가하기 어려움.

2. 제안 방법론: 국제 툴 호출 데이터셋 (ITC)

이러한 한계를 극복하기 위해 저자들은 **International Tool Calling (ITC)**이라는 대규모 다국어 벤치마크를 제안했습니다.

데이터셋 구성 및 구축 파이프라인

• 규모: 3,571 개의 실제 REST API와 17,540 개의 툴 호출 태스크 (학습용 15,790 개, 테스트용 1,750 개) 로 구성.
• 다양성: 20 개의 기능 카테고리 (금융, 통신, 데이터 등) 와 40 개 국가에서 수집된 데이터를 포함.
  • 글로벌 API: 64.2% (기계 번역, 국제 날씨 등).
  • 지역 특화 API: 미국, 중국 및 38 개 국가의 로컬 서비스 포함.
  • 언어: 영어를 포함하여 총 29 개 언어 지원.
• 구축 프로세스 (4 단계):
  1. API 수집: RapidAPI, Juhe Data 등 5 개 글로벌 소스에서 49,937 개의 API 수집.
  2. API 정제 및 검증: 문서가 불완전한 API 에 대해 실제 실행 (Python/curl) 을 통해 응답을 분석하고 메타데이터를 수동으로 보완. 비정상 응답 (404, 500 등) 을 필터링하여 최종 3,571 개의 고품질 API 선별.
  3. 쿼리 생성: 단일 툴 호출, 반복 호출, 병렬 호출, 중첩 호출 (Nested) 등 다양한 시나리오를 고려하여 GPT-4o 등을 활용하여 쿼리 생성.
  4. 품질 관리 및 필터링:
     • 자동 점수화: Claude-3.5-Sonnet 과 Gemini-1.5-Pro 를 활용하여 관련성, 실용성, 언어적 적절성, 명확성, 구체성 (5 차원) 으로 점수화.
     • 인간 검증: 100 명의 크라우드소싱 애노테이터를 투입하여 '골드 스탠다드' 질문을 삽입하고 실시간 품질 관리를 통해 최종 데이터셋 완성.

3. 주요 기여 (Key Contributions)

1. 실제 세계 기반의 글로벌 벤치마크: 시뮬레이션이 아닌 실제 실행 가능한 3,571 개의 API 와 40 개 국가의 데이터를 포함하여 가장 포괄적인 툴 호출 평가 환경을 제공.
2. 다국어 및 문화적 다양성: 영어 중심의 기존 연구에서 벗어나 29 개 언어를 지원하며, 비영어권 쿼리에서의 모델 일반화 능력을 평가할 수 있는 기준 마련.
3. 고품질 데이터 구축 프로세스: LLM 과 인간 애노테이터의 협업 (Adversarial generation 및 검증) 을 통해 데이터의 정확성과 신뢰성을 극대화.

4. 실험 결과 (Results)

저자들은 ITC 테스트셋을 사용하여 16 개의 오픈소스 및 8 개의 폐쇄소스 LLM 을 평가하고 파인튜닝 효과를 검증했습니다.

• Zero-Shot 평가:
  • 성능 격차: 폐쇄소스 모델 (GPT-4o, Claude-3.5-Sonnet 등) 이 오픈소스 모델보다 전반적으로 우수한 성능을 보임. 특히 GPT-4o 는 언어 매칭 (LM) 97.95%, 포맷 매칭 (FM) 99.83% 의 높은 점수를 기록.
  • 주요 오류: 모델들은 존재하지 않는 툴을 생성 (Hallucination), 필수 툴 누락, 파라미터 오류, JSON 포맷 불일치 등의 문제를 빈번히 발생시킴.
• 파인튜닝 효과 (Fine-tuning):
  • ITC 전체 데이터셋으로 파인튜닝한 모델들은 모든 지표에서 획기적인 개선을 보임.
  • 성능 향상: Qwen2.5-7B-Instruct 의 경우 툴 선택 Recall 이 45.0% 상승, 툴 호출 정밀도가 47.9% 상승.
  • 비영어권 일반화: 영어 데이터만 학습한 모델에 비해 전 언어 (Multilingual) 데이터로 학습한 모델이 비영어 쿼리에서 훨씬 더 큰 성능 향상을 보임 (예: Qwen2.5-7B 의 툴 선택 Recall 향상 폭이 영어 전용 학습 대비 19.4% 더 큼). 이는 문화적 다양성이 포함된 데이터의 중요성을 입증.
• 외부 벤치마크 일반화: ITC 로 파인튜닝된 모델들은 Nexus Raven, Seal-Tools 등 외부 벤치마크에서도 툴 선택 및 호출 정밀도가 크게 향상되어, ITC 가 모델의 범용성을 높이는 데 효과적임을 확인.

5. 의의 및 결론 (Significance)

• LLM 의 글로벌 적용 가능성 증대: ITC 는 LLM 이 다양한 언어와 문화적 맥락에서 실제 API 를 정확히 호출하고 복잡한 다단계 작업을 수행할 수 있는 능력을 평가하는 새로운 표준을 제시함.
• 강건성 (Robustness) 강화: 실제 API 환경에서의 오류 (파라미터 누락, 잘못된 호출 등) 를 줄이고, 오프-도메인 (Out-of-domain) 상황에서도 모델이 견고하게 작동하도록 하는 데 기여.
• 향후 연구 방향: 오픈소스 LLM 의 툴 호출 능력을 폐쇄소스 모델 수준으로 끌어올리기 위한 필수적인 학습 자료로 작용하며, 향후 더 복잡하고 다양한 툴 생태계 (SOAP API, DB 커넥터 등) 로의 확장을 위한 기초를 마련함.

결론적으로, 본 논문은 기존 벤치마크의 한계를 지적하고, 실제 세계의 복잡성과 다양성을 반영한 ITC 데이터셋을 통해 LLM 의 툴 호출 능력을 획기적으로 향상시킬 수 있음을 실증적으로 증명했습니다. 이는 다국어 환경에서의 AI 에이전트 개발에 있어 중요한 이정표가 될 것입니다.