💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

본 논문은 수작업으로 설계된 규칙에 의존하지 않고 언어적 및 논증적 다양성을 최적화하는 새로운 합성 학습 데이터 생성 방법을 제안하며, 이를 통해 함수 호출 에이전트가 최신 베이스라인 대비 BFCL 벤치마크에서 7.4%의 정확도 향상을 달성하고 우수한 분포 외(out-of-distribution) 성능을 확보하도록 한다.

원저자: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇 비서에게 거대한 도구 상자(날씨 앱, 주식 시장 추적기, 캘린더 스케줄러 등 수천 가지의 서로 다른 도구들로 가득 찬)를 사용하는 법을 가르치고 있다고 상상해 보세요. 로봇에게 가르치기 위해서는, 사람들이 도움을 요청하는 사례와 로봇이 적절한 도구를 올바르게 선택하는 사례를 보여주어야 합니다.

이 논문에 따르면, 문제는 이 로봇을 훈련시키는 데 사용되는 "교과서"(데이터셋)가 너무 반복적이라는 것입니다. 이는 마치 요리 수업에서 모든 학생에게 오직 페퍼로니를 올린 치즈 피자를 만드는 법만 가르치는 것과 같습니다. 만약 고객이 "바질을 추가한 비건 딥디쉬 피자"를 요청한다면, 로봇은 이런 구체적인 요청을 본 적이 없기 때문에 혼란에 빠지게 됩니다.

저자들은 다음과 같은 쉬운 비유를 사용하여 이 문제를 어떻게 해결했는지 설명합니다.

1. 문제점: 데이터의 "에코 체임버(Echo Chamber)" 현상

이전의 데이터 생성 방식은 로봇이 얼마나 많은 다양한 도구가 존재하는지는 잘 알게 해주었습니다. 하지만 두 가지 중요한 점에서는 실패했습니다:

언어적 다양성 (Linguistic Diversity): 사람들의 질문이 항상 똑같이 딱딱하고 격식 있는 방식으로만 들어올 때만 대답하도록 로봇을 가르쳤습니다. 슬랭(속어), 일상적인 대화, 혹은 특이한 문장 구조를 어떻게 처리해야 하는지는 가르치지 않았습니다.
인자 다양성 (Argument Diversity): 가장 인기 있는 옵션들에 대해서만 로봇을 가르쳤습니다. 예를 들어, 도구가 주식에 관한 것이라면, 훈련 데이터에는 항상 "애플(AAPL)"과 "마이크로소프트(MSFT)"만 등장했습니다. 로бо트는 누군가 아주 작고 생소한 회사에 대해 물었을 때 어떻게 해야 하는지 배우지 못했습니다.

2. 해결책: "다양성 셰프 (Diversity Chef)"

저자들은 합성 훈련 데이터를 생성하기 위해 새로운 방법인 "다양성 셰프"를 구축했습니다. 이 방법은 단순히 레시피 북을 따르는 요리사가 아닙니다. 대신, 이 셰프에게는 특별한 규칙이 있습니다: "내가 새로운 요리를 만들 때마다, 그것은 내가 만든 지난 100개의 요리와 맛이 달라야 한다."

엄격한 규칙 없음: 고정된 "사람의 유형"(예: "비즈니스맨", "학생") 목록에 의존하는 다른 방식들과 달리, 이 셰프는 미리 작성된 목록이 필요하지 않습니다. 이 셰프는 요청을 어떻게 다양하게 만들지 스스로 알아냅니다.
"한계 기여도 (Marginal Contribution)" 기술: 셰프는 이미 만들어진 요리 더미를 살펴봅니다. 새로운 요리를 고려할 때, 셰프는 이렇게 묻습니다: "이 새로운 요리를 더미에 추가했을 때, 전체 컬렉션이 더 흥미로워지는가?" 만약 답이 "예"라면, 셰프는 그 요리를 유지합니다. 만약 그 요리가 이미 있는 것의 복사본에 불과하다면, 셰프는 그것을 버립니다.

3. 그들이 실제로 한 일

연구진은 이 "다양성 셰프"를 사용하여 함수 호출 에이전트(function-calling agents)를 위한 새로운 훈련 사례 세트를 만들었습니다. 그들은 두 가지 주요 재료에 집중했습니다:

요청 (주문): 사용자 질문이 표현 방식(짧거나, 길거나, 격식 있거나, 슬랭을 쓰거나, 혼란스러운 방식 등)에서 매우 다양하게 생성되도록 했습니다.
인자 (재료): 요청에 사용되는 구체적인 값들이 다양해지도록 보장했습니다. 도시를 언급할 때 항상 "뉴욕"을 쓰는 대신 "나이로비", "레이캬비크", "부에노스아이레스"를 사용했습니다. 통화를 언급할 때 항상 "USD"를 쓰는 대신 "NOK", "RUB", "XRP"를 사용했습니다.

4. 결과: 더 나은 로봇

그들은 자신들의 "다양성 셰프" 데이터를 다른 최고 수준의 방법들(ToolAce 및 APIGen 등)과 비교 테스트했습니다.

다양성 점수: 그들의 데이터는 훨씬 더 다양했습니다. 단순히 조금 다른 수준이 아니라, 완전히 새로운 세상의 다양성을 보여주었습니다.
"분포 외 (Out-of-Distribution)" 테스트: 이것이 가장 중요한 부분입니다. 그들은 이 다양한 데이터로 로봇을 훈련시킨 후, 로봇이 본 적 없는 새로운 질문들(다른 데이터셋에서 가져온 질문들)로 테스트했습니다.
- 비유: 학생에게 2020년 수학 문제로만 훈련시킨 뒤, 2025년의 문제로 시험을 치르는 상황을 상상해 보세요.
- 결과: 저자들의 다양한 데이터로 훈련된 로봇은 이 새로운, 보지 못한 테스트에서 훨씬 더 좋은 성능을 보였습니다. 이 로봇은 기존의 덜 다양한 방식들로 훈련된 로봇들에 비해 주요 벤치마크(BFCL)에서 약 7.4% 더 많은 질문을 맞혔습니다.

요약

이 논문은 훈련 데이터가 언어적으로 다양하고(말하는 방식의 차이) 인자적으로 다양하게(구체적인 값의 차이) 자동화된 프로세스를 통해 구성될 때, 훨씬 더 강력한 AI 에이전트를 구축할 수 있다고 주장합니다. 이 에이전트는 특정 사례를 암기하는 것이 아니라, 실제 인간이 어떻게 말하고 무엇을 요청하는지에 대한 무질서하고 예측 불가능한 현실을 다루는 법을 배웁니다.

그들이 주장하지 않은 것:

이 방법이 멀티 턴 대화(긴 주고받기 대화)에 작동한다고 주장하지 않았습니다. 그들은 엄격하게 단일 턴(single-turn) 요청에 집중했습니다.
이 방법이 영어 이외의 언어에도 작동한다고 주장하지 않았습니다.
이것이 모든 AI 문제에 대한 "만능 해결책"이라고 주장하지 않았으며, 특히 에이전트가 도구를 올바르게 호출하도록 가르치는 작업에 초점을 맞추었습니다.

기술 요약: 함수 호출 에이전트를 위한 합성 데이터의 언어적 및 인자 다양성

문제 정의

대규모 언어 모델(LLM)이 외부 API 및 도구와 상호작용할 수 있게 하는 함수 호출(function-calling) 에이전트의 개발은 현재 고품질의 다양한 학습 데이터 부족으로 인해 어려움을 겪고 있다. 기존 연구들은 함수 자체의 다양성(다양한 도메인 커버리지), 호출 구조(단일 턴 대 다중 턴), 그리고 응답 유형(호출 여부)에 대한 필요성은 다루어 왔으나, 다음 두 가지 핵심 차원은 아직 충분히 탐구되지 않았다:

언어적 다양성 (Linguistic Diversity): 사용자 요청의 형태, 스타일, 의미적 표현의 변이. 기존 데이터셋은 주로 얕은 수준의 변형이나 고정된 프롬프트 템플릿에 의존하며, 동일한 의도를 표현하는 사용자의 광범위한 방식 전체를 포착하지 못한다.
인자 다양성 (Argument Diversity): 매개변수 값(예: 특정 도시 이름, 주식 티커, 날짜)의 변이. 생성된 데이터셋은 "헤드(head)" 값(예: "New York", "AAPL")에 집중되는 경며, 이로 인해 모델이 덜 흔한 "테일(tail)" 값을 만났을 때 준비되지 못하게 되어 분포 외(O-O-D) 시나리오에서의 강건성이 제한된다.

방법론

저자들은 수동으로 작성된 규칙, 사전 정의된 분류 체계, 또는 고정된 페르소나 풀에 의존하지 않고 다양성을 최적화하는 새로운 데이터 생성 파이프라인을 제안한다. 이들의 접근 방식의 핵심은 한계 다양성 기여도(marginal diversity contribution) 지표를 최대화하기 위해 아이템을 반복적으로 선택하는 **탐욕적 다양 생성 절차(greedy diverse generation procedure)**이다.

핵심 구성 요소

다양한 생성 프레임워크 (Diverse Generation Framework):
- 시스템은 라운드 단위로 작동하며, 후보군을 생성하고 기존 집합 $E$ 에 후보 $c$ 를 추가할 때 발생하는 집합 수준 다양성 지표 $\tilde{D}$ 의 한계 증가분인 $D(c; E)$ 를 기준으로 상위 $b$ 개의 후보를 선택한다.
- 프로세스는 지침(instructions) $I$ 와 기존 예시 $E$ 를 바탕으로 후보를 생성하기 위해 LLM을 사용한다.
- 결정적으로, 지침은 이전 후보들의 점수와 유효하지 않거나 잘못된 아이템을 제거하는 필터링 프로세스 $F$ 를 기반으로 후속 라운드에서 업데이트된다. 이는 생성 과정을 데이터 공간의 저대표 영역(underrepresented regions)으로 유도하는 피드백 루프를 형성한다.
인자 값 생성 (Argument Value Generation):
- 전처리: 서로 다른 API의 매개변수들을 의미적 유사성(임베딩 활용)을 기준으로 클러스터링하여 그룹(예: "도시 이름", "주식 티커")을 식별한다.
- 최적화: 수치 및 문자열 매개변수에 대해, 시스템은 "가상 증강(virtual augmentation)" 전략을 채택한다. LLM이 대량의 후보군(예: 25개)을 생성하면, 이 중 **클러스터 엔트로피(Cluster Entropy)**를 최대화하는 부분 집합을 선택한다. 이 지표는 의미적 클러스터 전반에 걸친 값의 분포 엔트로피를 측정하여, 빈번한 헤드 값보다는 테일 값을 선택하도록 장려한다.
- 일관성: 순차적인 API 호출의 경우, 논리적 결속력을 보장하기 위해 마지막 API로부터 역방향으로 매개변수를 생성하며, 병렬 호출의 경우 여러 API 간에 공유된 컨텍스트(예: 동일한 위치)를 유지한다.
쿼리(요청) 생성 (Query Generation):
- 대상 함수와 인자 값이 주어지면, 시스템은 자연어 쿼리를 생성한다.
- 다양성은 **상호 순위 융합(Reciprocal Rank Fusion, RRF)**을 통해 유도된 복합 지표를 사용하여 최적화된다. 이 지표는 여러 독립적인 지표로부터 랭킹을 융합한다:
  - 어휘적(Lexical): 유형-토큰 비율(TTR), 압축률.
  - 구문적(Syntactic): 파스 트리(Parse tree) 엔트로피, 쿼리 길이의 분산.
  - 의미적(Semantic): 패러프레이즈 다양성(임베딩 유사도), Chamfer 거리, Vendi 점수.
- LLM 판별기(judge)는 생성된 쿼리가 특정 API 호출과 매개변수를 논리적으로 정당화하는지 검증한다.
방해 요소 선택 (Distractor Selection):
- 현실적인 학습 예시를 만들기 위해, 시스템은 쿼리와 의미적으로는 가깝지만 정답은 아닌 "하드 네거티브(hard negative)" 방해 요소(관련 없는 API)를 검색한다. 이는 임베딩 기반 검색, LLM 기반 타당성 필터, 그리고 관련성 점수의 컷오프를 결정하기 위한 "엘보우 방법(elbow method)"을 통해 수행된다.

주요 기여

새로운 다양성 구성 요소: 한계 다양성 지표를 최적화함으로써 다양한 아이템을 생성하는 범용적이고 규칙이 필요 없는 메커니즘을 제공한다. 이 구성 요소는 수동 재설정 없이 새로운 도메인에 적응 가능하다.
합성 데이터 생성 기술: 함수 호출 데이터를 대상으로 하여, 쿼리의 언어적 변이와 매개변수의 인자 값 다양성을 목표로 하는 기능 호출 데이터 생성에 이 구성 요소를 적용하였다.
포괄적 분석: 이러한 특정 다양성 차원을 높이는 것이 모델 성능, 특히 OOD 설정에서의 성능을 향상시킨다는 것을 입증하는 철저한 평가를 수행하였다.

결과

저자들은 자신들의 방법을 ToolAce 및 APIGen과 같은 최첨단(SoTA) 베이스라인, 그리고 BFCL 벤치마크와 비교하여 평가하였다.

내재적 평가 (데이터 품질)

인자 다양성: 제안된 방법은 ToolAce 및 APIGen에 비해 현저히 높은 NCD 다양성 및 클러스터 엔트로피 점수를 달려냈다. 예를 들어, 통화 인자의 경우 베이스라인들이 "USD"에 지배되었던 반면, 제안된 방법은 다양한 통화에 걸쳐 균형 잡힌 분포를 생성했다.
언어적 다양성: 생성된 데이터셋은 거의 모든 언어적 지표(Simpson's Index, Tree Edit Distance, Semantic Spread, Vendi Score)에서 통계적으로 유의미하게 베이스라인을 능가했다. 유일한 예외는 쿼리 길이의 분산이었는데, 베이스라인에서 이상치가 발견되었다.
정확성: 수동 검사와 자동 판별 결과, 증가된 다양성이 데이터의 정확성을 저해하지 않았음을 확인했다. 생성된 예시들은 여전히 현실적이고 유효했다.

외재적 평가 (모델 성능)

저자들은 제안된 데이터셋을 사용하여 Llama-3.1-8B-Instruct를 미세 조정(fine-tuning)하였으며, 이를 ToolAce 및 APIGen 데이터로 미세 조정된 모델들과 비교하였다.

분포 외(OOD) 성능: 제안된 데이터셋으로 훈련된 모델은 학습하지 않은 데이터셋에 대해 테스트했을 때 우수한 일반화 능력을 보여주었다.
- APIGen 테스트 세트에서, 제안된 모델은 ToolAce로 훈련된 모델보다 4.2 포인트 높은 정확도를 기록했다.
- ToolAce 테스트 세트에서, 제안된 모델은 APIGen으로 훈련된 모델보다 3.8 포인트 높은 정확도를 기록했다.
BFCL 벤치마크: Berkeley Function-Calling Leaderboard(비-라이브 서브셋) 평가 시, 제안된 데이터셋으로 훈련된 모델은 85.2%의 정확도를 달성하여 ToolAce(77.8%) 및 APIGen(77.1%) 대비 성능이 크게 향상되었다. 이는 베이스라인 대비 약 7.4%의 정확도 상승을 의미한다.

의의 및 주장

본 논문은 현재의 합성 데이터셋에서 언어적 및 인자 다양성의 결여가 함수 호출 에이전트의 강건성을 저해하는 병목 현상이라고 주장한다. 이러한 차원들을 범용적이고 지표 중심적인 접근 방식으로 직접 최적화함으로써, 저자들은 다음을 입증하였다:

다양성이 일반화를 유도한다: 학습 데이터의 다양성 증가는 OOD 성능의 측정 가능한 개선으로 이어지며, 이는 다양한 데이터로 훈련된 모델이 보지 못한 사용자 표현과 희귀한 매개변수 값을 더 잘 처리할 수 있음을 시사한다.
수동 큐레이션보다 자동화: 제안된 방법은 수동 규칙 작성이나 고정된 페르소나 정의 없이도 우수한 다양성을 달성하며, 이는 확장 가능하고 새로운 도메인에 적응 가능하다.
실질적 영향: 이 기술은 합성 벤치마크와 실제 에이전트 성능 사이의 간극을 메울 수 있는 고품질 학습 데이터를 생성하는 경로를 제공하며, 이는 BFCL 벤치마크에서의 상당한 이득을 통해 입증되었다.

저자들은 현재의 분석이 영어에 국한되어 있고, 생성 과정이 필터링을 위해 강력한(따라서 비용이 많이 드는) LLM에 의존하며, 단일 턴 상호작용에 초점을 맞추고 있다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지하였다. 이는 향후 연구 과제로 다중 턴 다양성을 남겨두는 방향으로 제시되었다.