💬 NLP

Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models

이 논문은 작은 언어 모델의 도구 사용 능력을 향상시키기 위해 모델의 사전 학습 지식을 반영하도록 도구 스키마를 조정하는 훈련 없는 방법인 PA-Tool 을 제안하며, 이를 통해 스키마 불일치 오류를 대폭 줄이고 도구 사용 정확도를 높인다고 설명합니다.

원저자: Jonggeun Lee, Woojung Song, Jongwook Han, Haesung Pyun, Yohan Jo

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jonggeun Lee, Woojung Song, Jongwook Han, Haesung Pyun, Yohan Jo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"작은 인공지능 (SLM) 을 도구 사용 전문가로 만드는 새로운 방법"**에 대해 다룹니다.

기존의 방식은 "작은 AI 가 도구를 잘 쓰게 하려면, AI 를 다시 가르쳐야 (학습시켜야) 한다"는 것이었습니다. 하지만 이 논문은 **"아니요, AI 를 바꾸지 말고, AI 가 익숙한 언어로 도구를 소개해 주세요"**라고 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎬 비유: "외국인 관광객과 낯선 메뉴판"

상상해 보세요. 작은 AI는 한국에 처음 온 외국인 관광객입니다. 이 관광객은 한국어를 조금 할 줄 알지만, 완벽하지는 않죠.

이 관광객에게 **도구 (Tool)**를 사용하게 하려면, 식당의 **메뉴판 (Tool Schema)**을 보여줘야 합니다.

❌ 기존의 문제점: "나만의 메뉴판"

기존 연구자들은 메뉴판을 **한국인 요리사 (대형 AI)**가 만든 대로 그대로 주었습니다.

메뉴판 이름: get_weather_forecast (날씨 예보 가져오기)
하지만 외국인 관광객은 이 이름을 본 적이 없습니다.
관광객의 머릿속에는 check_weather나 tell_me_weather 같은 이름이 더 익숙합니다.

결과? 관광객은 메뉴판을 보고 **"아, 이거 get_weather_info 가 맞겠지!"**라고 추측해서 엉뚱한 것을 주문합니다. (실제로는 그런 메뉴가 없는데요). 이를 논문에서는 **'스키마 불일치 (Schema Misalignment)'**라고 부릅니다.

✅ 이 논문의 해결책: "관광객이 아는 이름으로 메뉴판 바꾸기"

이 논문은 **"메뉴판 이름을 바꾸자"**고 제안합니다.

원래 이름: get_weather_forecast
관광객이 가장 많이 들어본 이름으로 변경: check_weather

이렇게 하면 관광객은 메뉴판을 보고 "아! 이거 내가 아는 거네!"라고 바로 이해하고 정확하게 주문할 수 있습니다.

🔍 이 논문이 어떻게 했나요? (PA-Tool)

이 논문은 **"PA-Tool"**이라는 새로운 방법을 개발했습니다. 이 방법은 AI 를 다시 학습시키지 않고 (Training-free), 단순히 도구 이름만 바꿔줍니다.

어떻게 그 '익숙한 이름'을 찾았을까요? 바로 **' peakedness (뾰족함)'**라는 신호를 이용했습니다.

질문하기: "날씨를 알려주는 도구의 이름을 뭐라고 할까?"라고 AI 에게 32 번 물어봅니다.
모아보기: AI 가 내놓은 이름들을 모읍니다. (get_weather, check_weather, weather_info 등)
뾰족함 찾기:
- 만약 AI 가 check_weather 라는 이름을 여러 번 비슷한 형태로 내놓았다면? → "아, 이 AI 는 이 이름을 가장 많이 접했구나 (익숙하구나)!"라고 판단합니다.
- 만약 xyz123 같은 이름은 한 번만 나왔다면? → "이건 AI 가 잘 모르는 이름이네."
선택하기: AI 가 가장 많이, 그리고 비슷하게 내놓은 이름을 새로운 메뉴판 이름으로 정합니다.

이 과정을 통해 AI 가 학습할 때 가장 많이 봤던 이름으로 도구를 재정의하는 것입니다.

📈 어떤 효과가 있었나요?

이 방법을 적용하자 놀라운 결과가 나왔습니다.

성능 향상: 작은 AI 들의 도구 사용 정확도가 최대 17% 까지 올라갔습니다.
실수 감소: "없는 메뉴를 주문하는" 실수가 80% 나 줄었습니다.
비용 절감: AI 를 다시 학습시키는 데 드는 엄청난 돈과 시간을 아꼈습니다. 메뉴판 이름만 바꾸면 되니까요.
사람도 좋아함: 재미있게도, AI 가 익숙한 이름으로 바꾼 메뉴판은 사람들도 더 이해하기 쉽다고 평가했습니다. (예: Figlet → ascii_converter)

💡 핵심 요약

이 논문의 핵심 메시지는 이렇습니다:

"작은 AI 가 도구를 못 쓰는 건, AI 가 바보라서가 아니라, 도구를 소개하는 방식이 AI 에게 낯설기 때문입니다. AI 를 억지로 가르치지 말고, AI 가 아는 언어로 도구를 소개해 주세요. 그러면 작은 AI 도 큰 AI 못지않게 똑똑해질 수 있습니다."

이 방법은 앞으로 스마트폰이나 사물인터넷 (IoT) 기기처럼 자원이 부족한 곳에서 AI 를 쓸 때, 매우 효율적이고 실용적인 해결책이 될 것입니다.

논문 기술 요약: "Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models"

이 논문은 소형 언어 모델 (SLM, Small Language Models) 이 도구 사용 (Tool Use) 작업에서 겪는 근본적인 문제를 해결하기 위해, 모델 자체를 학습시키는 대신 도구 스키마 (Tool Schema) 를 모델의 사전 학습 지식에 맞춰 조정하는 새로운 접근법을 제안합니다.

1. 문제 정의 (Problem)

최근 다중 에이전트 시스템과 엣지 디바이스 배포에서 소형 언어 모델 (SLM) 의 도구 사용에 대한 관심이 높아지고 있습니다. 그러나 SLM 은 도구 선택 (Tool Selection) 과 매개변수 식별 (Parameter Identification) 작업에서 대형 모델에 비해 심각한 성능 저하를 보입니다.

주요 실패 원인: 스키마 불일치 (Schema Misalignment)
- SLM 은 컨텍스트에 제공된 도구 스키마의 이름과 모델이 사전 학습 (Pretraining) 과정에서 내면화한 명명 규칙 (Naming Convention) 이 다를 때, 존재하지 않는 그럴듯한 도구 이름을 생성하는 환각 (Hallucination) 현상을 보입니다.
- 예: 제공된 스키마에 get_weather_info 가 있는데, 모델은 학습 데이터에서 더 익숙한 get_weather_forecast 를 호출하려다 실패합니다.
기존 접근법의 한계: 기존 연구는 주로 모델의 성능을 높이기 위해 SLM 을 재학습 (Fine-tuning) 시키거나 복잡한 에이전트 아키텍처를 설계하는 데 초점을 맞추었으나, 이는 계산 비용이 크고 근본적인 명명 불일치 문제를 해결하지 못합니다.

2. 제안 방법: PA-Tool (Methodology)

저자들은 모델을 스키마에 적응시키는 대신, 스키마를 모델의 사전 학습 지식에 맞춰 조정하는 PA-Tool (Pretraining-Aligned Tool Schema Generation) 을 제안합니다. 이 방법은 학습이 필요 없는 (Training-free) 방식입니다.

핵심 아이디어: Peakedness (뾰족함)

데이터 오염 (Contamination) 탐지 연구에서 영감을 받아, 모델이 특정 패턴을 자주 접했을 때 출력 분포가 특정 값으로 집중되는 현상인 'Peakedness' 를 활용합니다. 이는 모델이 해당 명명 패턴에 얼마나 친숙한지를 나타내는 신호로 작용합니다.

3 단계 프로세스

후보 생성 (Candidate Generation):
- 도구 구성 요소 (도구 이름, 매개변수 이름) 에 대한 설명을 모델에 입력하고, 다양한 온도 (Temperature) 설정에서 $N$ 개의 후보 이름을 생성합니다.
Peakedness 계산 (Peakedness Computation):
- 각 후보 이름에 대해, 생성된 다른 후보들과의 문자 단위 편집 거리 (Levenshtein Distance) 를 계산합니다.
- 특정 후보 이름과 유사한 다른 후보들이 많이 모여 있다면 (높은 Peakedness), 이는 모델이 사전 학습 데이터에서 해당 패턴을 자주 접했다는 의미로 해석됩니다.
- 수식: $\phi(s_i) = \sum_{j \neq i} \mathbb{I}(d_{edit}(s_i, s_j) \leq \tau)$
스키마 선택 (Schema Selection):
- 가장 높은 Peakedness 점수를 가진 후보 이름을 새로운 도구 이름으로 선택합니다.
- 동점일 경우, 그리디 디코딩 (Greedy Decoding) 으로 생성된 참조 이름과의 거리가 가장 가까운 것을 선택합니다.

이 과정을 모든 도구와 매개변수에 적용하여, 모델이 가장 자연스럽게 인식할 수 있는 이름으로 스키마를 매핑합니다.

3. 주요 기여 (Key Contributions)

새로운 패러다임 제안: 모델 학습이 아닌 스키마 최적화를 통해 SLM 의 도구 사용 능력을 향상시키는 첫 번째 체계적인 방법론을 제시했습니다.
Peakedness 활용: 데이터 오염 탐지 기법인 'Peakedness'를 사전 학습 친숙도 신호로 재해석하여, 모델이 선호하는 명명 패턴을 자동으로 추출하는 알고리즘을 개발했습니다.
학습 불필요 (Training-free): 추가적인 학습 데이터나 계산 자원이 필요 없으며, 기존 모델에 즉시 적용 가능한 일회성 스키마 매핑만 수행하면 됩니다.

4. 실험 결과 (Results)

MetaTool 과 RoTBench 벤치마크에서 다양한 SLM (Qwen2.5, Llama3 시리즈 등) 을 대상으로 실험한 결과, PA-Tool 은 뛰어난 성능 향상을 보였습니다.

성능 향상:
- MetaTool: 신뢰성 (Reliability, 적절한 도구가 없을 때 '없음'을 인지하는 능력) 에서 최대 17% 향상, 멀티 도구 선택에서 9.6% 향상.
- RoTBench: 단일 턴 도구 선택에서 최대 10%, 멀티 턴에서 6% 향상. 매개변수 식별 능력에서도 일관된 개선을 보였습니다.
- 오류 감소: 스키마 불일치로 인한 오류가 80% 감소했습니다.
비교 우위:
- PA-Tool 만 적용한 SLM 은 일부 태스크에서 대형 폐쇄형 모델 (Claude-Sonnet-4.5 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다.
- 기존 학습 기반 (SFT) 방법론과 결합했을 때 추가적인 성능 향상을 보여주어, 상호 보완적임을 입증했습니다.
일반화 및 인간 평가:
- 다양한 모델 아키텍처와 규모에 걸쳐 효과적이었습니다.
- 인간 평가에서 PA-Tool 로 변경된 이름들은 원래 이름보다 이해하기 쉽고 기능에 부합한다는 평가를 받았습니다.

5. 의의 및 결론 (Significance)

이 연구는 SLM 의 도구 사용 잠재력을 unlocking하는 새로운 방향을 제시합니다.

자원 효율성: 모델 재학습 없이 스키마 레벨의 간단한 개입만으로 성능을 획기적으로 개선할 수 있어, 제한된 컴퓨팅 자원을 가진 엣지 환경이나 다중 에이전트 시스템에 매우 적합합니다.
근본적 해결: 모델이 외부 도구를 이해하는 방식의 불일치 (Misalignment) 를 해결함으로써, SLM 이 복잡한 도구 기반 작업에서도 신뢰할 수 있게 작동할 수 있는 기반을 마련했습니다.
실용성: 코드와 스키마 매핑 로직은 오픈소스로 제공되어, 실제 시스템에 쉽게 통합 및 배포될 수 있습니다.

결론적으로, "모델을 스키마에 맞추지 말고, 스키마를 모델에 맞추라"는 통찰을 통해 소형 언어 모델의 실용성을 크게 확장한 중요한 연구입니다.