Enhancing Tool Calling in LLMs with the International Tool Calling Dataset

Dit paper introduceert het International Tool Calling (ITC)-dataset, een grootschalig meerlinguïstisch benchmark met duizenden echte API's uit veertig landen, dat de prestaties van grote taalmodellen verbetert bij het gebruik van tools in realistische, internationale scenario's.

De kern

Stel je voor dat een Grote Taalmodel (LLM) een superintelligente, maar iets verwarde assistent is. Deze assistent kan fantastisch praten, verhalen schrijven en vragen beantwoorden. Maar er is een groot probleem: hij zit vast in een kamer met alleen boeken. Hij kan niet naar buiten, geen bankafschriften bekijken, geen weerbericht opzoeken of een taxi bestellen. Hij kan alleen praten over die dingen, maar niet doen.

"Tool Calling" (het aanroepen van hulpmiddelen) is als het geven van een sleutelbos aan deze assistent. Plotseling kan hij de deur openen, naar de bank gaan, het weerchecken en een taxi bellen. Hij wordt niet alleen een prater, maar een doener.

Maar tot nu toe waren de "trainingssessies" voor deze assistenten een beetje nep. Ze oefenden met simulaties: denk aan een virtuele supermarkt waar de producten niet echt bestaan, of een weerapp die alleen maar fictieve data toont. Het is alsof je iemand leert zwemmen in een zwembad met plastic vissen. Als ze dan echt in de oceaan terechtkomen (de echte wereld), gaan ze onderuit.

Hier komt het nieuwe onderzoek van Zuoyu Zhang en Yancheng Zhu (van de Shenzhen Universiteit) om de hoek kijken. Ze hebben iets nieuws bedacht: ITC (International Tool Calling).

Wat is ITC eigenlijk?

Stel je voor dat je in plaats van een zwembad met plastic vissen, je assistent meeneemt naar 40 verschillende landen in de echte wereld.

• De "Gym" (De Dataset): Ze hebben 3.571 echte, werkende hulpmiddelen (API's) verzameld. Denk aan echte weerapps, echte vertalers, echte bank-API's en echte reisboekingssystemen.
• De "Oefeningen" (De Taken): Ze hebben 17.540 specifieke opdrachten gemaakt. Niet alleen in het Engels, maar in 29 verschillende talen.
  • Voorbeeld: Een Japanse toerist vraagt in het Japans om het weer in Lijiang (China) te checken. De assistent moet dan de Chinese weer-API vinden en het antwoord in het Japans geven.

Waarom is dit zo belangrijk?

Tot nu toe waren de tests voor deze AI's vaak:

1. Te makkelijk: Ze deden alleen maar in het Engels.
2. Te nep: Ze gebruikten gesimuleerde data.
3. Te beperkt: Ze keken niet naar culturele verschillen (bijvoorbeeld: hoe vraag je om een taxi in Tokio versus in New York?).

De auteurs zeggen: "Als we AI willen die de wereld kan helpen, moeten we ze trainen in de echte wereld, met echte problemen en echte talen."

Wat hebben ze ontdekt? (De resultaten)

Ze hebben 24 verschillende AI-modellen (zowel gratis open-source als dure gesloten modellen) getest op deze nieuwe "wereldreis".

1. Het gat is groot: De dure, gesloten modellen (zoals GPT-4o) deden het over het algemeen beter dan de gratis modellen. Maar zelfs de beste modellen maakten veel fouten, zoals het kiezen van het verkeerde hulpmiddel of het vergeten van belangrijke details.
2. Training werkt wonderen: Toen ze de gratis modellen trainden met hun nieuwe ITC-dataset, werden ze plotseling veel slimmer.
   • Het was alsof je de assistent een jaar lang hebt laten werken in 40 landen.
   • Ze konden nu veel beter omgaan met vragen in andere talen.
   • Ze maakten minder fouten bij het kiezen van de juiste knop (API).
   • Ze werden robuuster: als ze een hulpmiddel tegenkwamen dat ze nog nooit hadden gezien, konden ze het toch vaak goed gebruiken.

De Grootste Les

De belangrijkste ontdekking is dat taal en cultuur cruciaal zijn. Als je een AI alleen in het Engels traint, faalt hij vaak als hij in het Spaans, Chinees of Swahili moet werken. Door ze te trainen met een wereldwijd, meertalig dataset, worden ze niet alleen slimmer, maar ook eerlijker en betrouwbaarder voor iedereen, niet alleen voor Engelstaligen.

Samenvatting in één zin

De auteurs hebben een gigantische, wereldwijde "trainingscamp" gebouwd met echte hulpmiddelen en 29 talen, waardoor AI-assistenten leren om niet alleen te praten, maar daadwerkelijk te werken in onze complexe, multiculturele wereld.

Waarom zou je dit willen?
Omdat dit de stap is van "AI die een chatbot is" naar "AI die je echt kan helpen met je bankzaken, reisplannen en data-analyse, ongeacht waar je woont of welke taal je spreekt."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Enhancing Tool Calling in LLMs with the International Tool Calling Dataset" in het Nederlands.

Titel: Enhancing Tool Calling in LLMs with the International Tool Calling Dataset

Auteurs: Zuoyu Zhang en Yancheng Zhu (Shenzhen University)

---

1. Het Probleem

Hoewel Large Language Models (LLMs) steeds beter worden in het gebruik van externe tools (zoals API's) voor taken zoals klantenservice en data-analyse, kampen bestaande benchmarks met ernstige tekortkomingen die de voortgang in realistische scenario's beperken:

• Gebrek aan realisme: Veel datasets (zoals Seal-Tools en ToolSandbox) vertrouwen op gesimuleerde API's of synthetische omgevingen die de complexiteit en variabiliteit van de echte wereld niet weerspiegelen.
• Reproduceerbaarheid en toegang: Datasets met echte API's (zoals ToolLLM) zijn vaak afhankelijk van betaalde toegangssleutels, strikte gebruikslimieten of proprietary beperkingen, wat reproduceerbaarheid en praktische implementatie bemoeilijkt.
• Culturele en geografische bias: Bestaande benchmarks negeren bijna volledig culturele en regionale diversiteit. API's zijn vaak regionaal specifiek (bijv. lokale weervoorspellingen, wetgeving, diensten), maar de meeste datasets zijn gedomineerd door Engelstalige, US-gebaseerde API's. Dit beperkt de generalisatie van modellen voor internationale toepassingen.

2. Methodologie: De ITC Dataset

Om deze hiaten op te vullen, stellen de auteurs de International Tool Calling (ITC) dataset voor. Dit is een grootschalig, meertalig benchmark dat is ontworpen voor realistische, wereldwijd verspreide tool-calling scenario's.

Dataverzameling en Constructie:

• Bronnen: De dataset is opgebouwd uit 3.571 echte, werkende REST-API's die zijn verzameld uit vijf globale bronnen (waaronder RapidAPI, Juhe Data en GitHub-repositories).
• Filtering: Uit een initiële collectie van bijna 50.000 API's zijn er na strenge filtering (op stabiliteit, responsiviteit en validatie van parameters) 3.571 hoogwaardige API's overgehouden.
• Geografische Dekking: De API's komen uit 40 landen en omvatten zowel globale diensten (zoals vertaling) als regionaal specifieke diensten (bijv. lokale nieuwsbronnen uit China en de VS).
• Taakgeneratie: Er zijn 17.540 tool-calling taken gegenereerd (15.790 voor training, 1.750 voor testen). Deze taken omvatten:
  • Single Tool Calling: Het aanroepen van één API.
  • Multiple Tool Calling: Herhaald, parallel en geneste (gechainde) API-aanroepen.
• Meertaligheid: De dataset ondersteunt 29 talen, waarbij Engels dominant is (69,5%), maar met aanzienlijke vertegenwoordiging van andere talen zoals Chinees, Hindi, Frans en Japans.
• Kwaliteitsborging: Een vierstapsproces (API-documentatie normalisatie, query-generatie door LLMs, scoring door meerdere LLMs en menselijke validatie via crowdsourcing) garandeert hoge kwaliteit. Menselijke annotatoren verifieerden de data met een hoge onderlinge overeenstemming (Fleiss' κ = 0,68).

3. Belangrijkste Bijdragen

1. ITC Dataset: De eerste grote benchmark die zich specifiek richt op wereldwijde, meertalige tool-calling met een focus op echte, publiek toegankelijke API's zonder authenticatie-sleutels.
2. Uitgebreide Evaluatie: De dataset bevat complexe scenario's (geneste en parallelle aanroepen) en dekt 20 functionele categorieën (van financiën tot reizen).
3. Nieuwe Evaluatiemetrics: Naast traditionele metrics (Tool Selection, Tool Invocation, Format Matching) introduceren de auteurs Language Matching Accuracy (LM). Deze metric meet of het model zijn redenering (thought process) in dezelfde taal uitvoert als de gebruikersinput, wat cruciaal is voor meertalige consistentie.

4. Resultaten en Experimenten

De auteurs hebben 16 open-source en 8 gesloten-source LLMs (zoals GPT-4o, Claude-3.5, Qwen2.5, DeepSeek) getest op de ITC-testset.

Zero-Shot Prestaties:

• Gesloten vs. Open Source: Gesloten modellen (GPT-4o, Claude-3.5) presteerden over het algemeen beter, met name in het behoud van taalconsistentie (LM > 95%) en het volgen van JSON-schema's.
• Zwakke Punten: Veel open-source modellen worstelden met het genereren van correcte parameters en het vermijden van hallucinaties (het aanroepen van niet-bestaande tools). Modellen zoals o1-mini en o3-mini toonden sterke redeneervermogens maar faalden soms in het strikt volgen van het vereiste JSON-formaat.
• Foutanalyse: De meest voorkomende fouten waren het missen van benodigde tools (omissie) en het genereren van onjuiste parameters.

Fine-tuning Resultaten:

• Significante Verbetering: Fine-tuning op de volledige ITC-dataset leidde tot enorme prestatieverbeteringen voor open-source modellen (bijv. Qwen2.5).
  • Tool Selection Recall steeg met wel 45%.
  • Tool Invocation F1-score steeg met 47%.
• Meertalige Generalisatie: Een cruciale bevinding was dat fine-tuning op de volledige meertalige dataset aanzienlijk beter presteerde op niet-Engelse queries dan fine-tuning alleen op de Engelse subset. Modellen getraind op alle talen toonden een 19,4% hogere verbetering in recall voor niet-Engelse taken vergeleken met Engelstalige training.
• Out-of-Domain Generalisatie: Modellen die op ITC waren getraind, presteerden ook beter op externe benchmarks (zoals Seal-Tools en Tool-Alpaca), wat aantoont dat de dataset de robuustheid van modellen verbetert voor onbekende tools.

5. Betekenis en Conclusie

Deze studie onderstreept dat de huidige toestand van tool-calling benchmarks te beperkt is door een gebrek aan geografische en culturele diversiteit. De ITC-dataset biedt een essentiële basis voor het ontwikkelen van robuustere LLMs die kunnen opereren in complexe, internationale omgevingen.

Kerninzichten:

• Diversiteit is essentieel: Om modellen te laten generaliseren naar niet-Engelse en regionale scenario's, is training op meertalige data noodzakelijk; Engelstalige training alleen is ontoereikend.
• Realisme: Het gebruik van echte, stabiele API's is cruciaal voor het evalueren van de daadwerkelijke bruikbaarheid van LLMs in de praktijk.
• Toekomstperspectief: Hoewel IC een grote stap voorwaarts is, wijzen de auteurs op beperkingen, zoals de ondervertegenwoordiging van bepaalde regio's (Afrika, delen van Azië) en het gebrek aan ondersteuning voor andere tool-types dan REST-API's (bijv. SOAP). Toekomstig werk moet zich richten op het uitbreiden van deze dekking en het verbeteren van de stabiliteit van de datasets.

Samenvattend levert dit paper een waardevol, openbaar beschikbaar hulpmiddel dat de staat van de techniek voor tool-augmented taalmodellen aanzienlijk vooruit helpt, met name voor toepassingen die wereldwijd en meertalig zijn.