Technische Samenvatting: Wanneer de API de verkeerde taal spreekt

Probleemdefinitie: Argument Taalverschil (ALM)

Large Language Models (LLM's) interageren steeds vaker met externe systemen via gestructureerde API-aanroepen. Hoewel recente vooruitgang de vaardigheden voor tool-gebruik in het Engels heeft verbeterd, neemt de betrouwbaarheid in meertalige omgevingen aanzienlijk af. Een specifieke, onderbelichte foutmodus die in dit werk wordt geïdentificeerd, is Argument Language Mismatch (ALM).

ALM treedt op wanneer een model de intentie van de gebruiker correct identificeert en de juiste API-tool selecteert, maar argumentwaarden genereert in een taal die inconsistent is met de invoer van de gebruiker of de systeemvereisten. Bijvoorbeeld: een gebruiker die in het Spaans vraagt, kan een API-aanroep ontvangen met argumenten in het Engels. Hoewel deze outputs semantisch correct zijn, zijn ze operationeel ongeldig in systemen die strikte taalrestricties handhaven, wat leidt tot taalfalen. Standaard API-aanroepmetrieken (bijv. AST-matching) behandelen deze vaak als generieke aanroepfouten, waardoor de specifieke oorzaak van het falen wordt verborgen.

Methodologie

Constructie van de Benchmark

Om ALM te bestuderen, hebben de auteurs een meertalige uitbreiding van de Berkeley Function Calling (BFC) benchmark geconstrueerd.

• Talen: De dataset beslaat Spaans (training en evaluatie), Italiaans, Nederlands en Frans (alleen evaluatie).
• Vertalingsprotocol: Er is een regelgebaseerd vertalingsprotocol ontworpen om coherentie te waarborgen tussen de vertaalde gebruikersuitspraken en de resulterende argumentwaarden. Canonieke identifiers en door de API afgedongen formaten bleven ongewijzigd, terwijl door de gebruiker verstrekte natuurlijke taalargumenten werden vertaald.
• Evaluatiesplitsingen: Er zijn twee splitsingen gemaakt om verschillende capaciteiten te testen:
  • Split-1 (Leerbaarheid): Matige API-overlap tussen de trainings- en testsets.
  • Split-2 (Generalisatie): Minimale API-overlap, waarbij de transfer naar ongeziene API's en argumentstructuren wordt getest.

Evaluatiemetrieken

De auteurs stellen een hiërarchisch evaluatiekader voor om ALM te isoleren van andere fouten:

1. Tool Invocation Detection (TID): Correct vaststellen dat een API-aanroep nodig is.
2. Tool Selection Accuracy (TSA): Het selecteren van de juiste API-functie.
3. Argument Completion Accuracy (ACA): Het genereren van alle vereiste argumentnamen.
4. Argument Language Consistency (ALC): Ervoor zorgen dat tekstuele argumentwaarden overeenkomen met de taal van de gebruiker.
5. Function Call Match (FCM): Exacte of semantische match van de volledige API-aanroep.
   Deze metrieken vormen een strikte hiërarchie ($FCM \le ALC \le ACA \le TSA \le TID$), waardoor isolatie van taalspecifieke fouten mogelijk is.

Post-training Strategieën

De studie vergelijkt drie post-training benaderingen:

1. Supervised Fine-Tuning (SFT): Een baseline-benadering die de waarschijnlijkheid van de grondwaarheid (ground-truth) gestructureerde outputs maximaliseert.
2. Reinforcement Learning (RL): Specifiek Proximal Policy Optimization (PPO) en Group Relative Policy Optimization (GRPO).
   • Reward Design: De auteurs hebben drie beloningsmodellen (RM) ontworpen om de impact van beloningsgranulariteit te testen:
     • RM-1 (Spars): Binaire beloningen voor perfecte uitvoering versus falen.
     • RM-2 (Hiërarchisch): Tussenliggende beloningen gebaseerd op de diepte van de bereikte evaluatiehiërarchie.
     • RM-3 (Argument-gefactoriseerd): Continue, argument-niveau beloningen die specifieke scores toekennen aan individuele argumentwaarden op basis van de kwaliteit van de taalmatch.
   • Token Weighting: Een onderzoek naar het verhogen van het gewicht van argument-waarde tokens tijdens optimalisatie om de leer-signaal te focussen.
3. Warm-Start: RL-training werd geïnitialiseerd vanaf een model dat één epoch SFT had ondergaan om de generatie van structureel correcte kandidaten te waarborgen.

Belangrijkste Resultaten

1. SFT als een Sterke Baseline

Supervised Fine-Tuning alleen al lost een groot deel van de ALM-fouten op.

• SFT verbetert zowel de Argument Language Consistency (ALC) als de end-to-end Function Call Match (FCM) aanzienlijk ten opzichte van de basismodellen.
• Onder gecontroleerde omstandigheden (selectie van het beste validatie-checkpoint) bereikt SFT een prestatie die vergelijkbaar is met, en in sommige gevallen (Split-1 FCM) zelfs hoger is dan, complexere RL-gebaseerde benaderingen.
• Dit suggereert dat een groot deel van de prestaties in meertalige API-grounding kan worden bereikt door zorgvuldige supervised training en modelselectie, zonder dat complexe optimalisatiedoelen vereist zijn.

2. Incrementele Winsten door RL

Reinforcement Learning biedt aanvullende, maar incrementele voordelen ten opken SFT.

• Generalisatie: RL (met name GRPO) vertoont een sterkere generalisatie naar ongeziene API's en talen vergeleken met SFT. Het lijkt een abstracte regel te leren ("match argument taal met gebruikerslocatie") in plaats van oppervlaktevormen te memoriseren.
• Behoud van Redeneren: Een cruciale bevinding is de trade-off tussen taakprestaties en algemeen redeneren. Het best presterende SFT-model vertoonde een aanzienlijke daling in Engelse redeneervaardigheid (MGSM benchmark), terwijl RL-methoden (GRPO) de redeneervaardigheid behielden terwijl ze concurrerende API-nauwkeurigheid bereikten.
• Beloningsgranulariteit: De prestaties verbeterden monotoon naarmate de beloningsgranulariteit toenam van RM-1 naar RM-3. Argument-gefactoriseerde beloningen (RM-3) waren essentieel voor fijne credit assignment, waardoor het model het verschil kon zien tussen gedeeltelijk correcte en bijna perfecte outputs.

3. Optimalisatiedynamiek

• GRPO vs. PPO: GRPO presteerde consequent beter dan PPO in zowel ALC als FCM. De auteurs schrijven dit toe aan de groep-relatieve normalisatie van GRPO, die het leren stabiliseert wanneer beloningen spaars zijn of gelokaliseerd zijn bij specifieke tokens (argumentwaarden), terwijl de batch-niveau normalisatie van PPO gevoelig bleek voor hoog-variabele beloningen.
• Token Weighting: Het verhogen van het gewicht van argument-waarde tokens verbeterde de GRPO-prestaties, maar destabiliseerde PPO, wat wijst op een interactie tussen reward shaping en optimalisatiealgoritmen.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Formalisering van ALM: Het identificeert en formaliseert Argument Language Mismatch als een onderscheidende, praktisch belangrijke foutmodus in meertalige agentische systemen die vaak wordt gemaskeerd door standaard metrieken.
2. Herwaardering van Post-Training: Het daagt de aanname uit dat steeds complexere doelstellingen noodzakelijk zijn voor gestructureerde meertalige generatie. De resultaten laten zien dat sterke supervised baselines (SFT) het merendeel van de prestatiewinsten kunnen behalen, waarbij RL gerichte, incrementele verbeteringen biedt in plaats van fundamentele verschuivingen.
3. RL voor Multi-Objective Trade-offs: Hoewel SFT voldoende is voor veel gevallen, betoogt het artikel dat RL (met name met argument-bewuste beloningen en GRPO) waardevol is voor scenario's die robuuste generalisatie en het behoud van algemene redeneervaardigheden naast taakspecifieke prestaties vereisen.

De auteurs concluderen dat voor gestructureerde meertalige generatie het begrijpen van de grenzen van supervised learning cruciaal is. Niet alle alignment-problemen vereisen complexe optimalisatie; echter, wanneer generalisatie naar ongeziene structuren of het balanceren van meerdere doelstellingen vereist is, blijft gestructureerde reinforcement learning een noodzakelijk verfijningsinstrument.