R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling

Probleemstelling

Grote Taalmodellen (LLMs) zijn uitstekend in het genereren van open-domein tekst, maar missen betrouwbaarheid bij real-time gestructureerde interacties, zoals het aanroepen van externe tools (function calling). Bestaande methoden op basis van Versterkend Leren (RL) lijden vaak aan een misalignement tussen het redeneerproces en de uiteindelijke tool-aanroepbeslissing.

• Outcome-driven beperking: De meeste RL-methoden belonen alleen de finaliteit (de correctheid van de tool-aanroep). Dit leidt ertoe dat het gegenereerde redeneren (Chain-of-Thought of CoT) vaak slechts een post-hoc rationalisatie is in plaats van een gids voor de tool-selectie of parameterconstructie.
• Gebrek aan interpretatie: Zelfs als een model een correcte tool aanroept, kan het redeneren onnauwkeurig zijn of de specifieke vereisten van de tool (zoals parameterformaten of standaardwaarden) negeren. Dit maakt foutdiagnose moeilijk en ondermijnt de robuustheid van het systeem.
• Voorbeeld: Bij een vraag over het weer in San Francisco kan een basismodel de juiste tool (get_current_weather) kiezen, maar falen in het aanvullen van vereiste parameters (bijv. "San Francisco, CA" in plaats van alleen "San Francisco"), omdat het redeneren de specificaties van de tool niet correct volgt.

Methodologie: R2IF Framework

De auteurs stellen R2IF (Reasoning-aware Reinforcement Learning for Interpretable Function calling) voor. Dit is een RL-framework dat de alignatie tussen redeneren en beslissingen optimaliseert via een composiete beloningsfunctie, geoptimaliseerd met Grouped Proximal Policy Optimization (GRPO).

De kern van de methode is de integratie van drie specifieke beloningcomponenten:

1. Binary Reward ($R_{binary}$):

   • Functie: Dient als een harde poort (hard gate) om de structuur en correctheid te garanderen.
   • Bestaat uit:
     • Format Validity: Controleert of de output exact één <reason> en één <tool> blok bevat in de juiste volgorde.
     • Tool-call Correctness: Controleert of de gegenereerde tool-aanroep exact overeenkomt met de ground truth (inclusief argumenten).
   • Deze component heeft een hoog gewicht om te voorkomen dat de optimalisatie zich te veel richt op de zachtere beloningen.

2. Chain-of-Thought Effectiveness Reward ($R_{cer}$):

   • Doel: Meet de bruikbaarheid van het redeneren voor de uiteindelijke beslissing.
   • Mechanisme: Een "student" model (een model dat is gefinetuned op trouwheid) genereert continuaties op basis van het redeneringsprefix. De beloning is het verschil tussen het succespercentage van deze continuaties en een baseline succespercentage.
   • Effect: Het straalt het model aan om redeneren te produceren dat daadwerkelijk helpt bij het vinden van de juiste tool en parameters, in plaats van alleen verbaal rijk te zijn.

3. Specification-Modification-Value Reward ($R_{smv}$):

   • Doel: Zorgt voor parameter-niveau alignatie.
   • Mechanisme: Dit is een fijnmazige beloning die controleert of het redeneren drie stappen expliciet ondersteunt:
     • Specification: Herkent het model de specificatie van het argument (bijv. vereiste formaat)?
     • Modification: Beschrijft het redeneren de noodzakelijke transformatie van de gebruikersinvoer naar een geldige waarde?
     • Value: Wordt de waarde correct geïnstancieerd in de tool-aanroep?
   • Dit voorkomt dat het model alleen het eindresultaat "raadt" zonder de logica van de parameterconstructie te doorgronden.

Belangrijkste Bijdragen

1. Hybride Beloningsontwerp: Een nieuwe aanpak die redeneringskwaliteit en functionele correctheid gelijktijdig optimaliseert, waardoor het misalignement in RL-based function calling wordt aangepakt.
2. Distributie-gebaseerde CoT Effectiviteit (CER): Een methode om de stabiliteit van tool-aanroepen te verbeteren zonder afhankelijk te zijn van subjectieve beoordeling van redeneren.
3. Parameter-niveau Supervisie (SMV): Een innovatie ten opzichte van outcome-georiënteerde RL-methoden die expliciet toezicht houdt op parameterbeperkingen, transformaties en waarde-instantiatie, wat de interpretatie en precisie aanzienlijk verbetert.

Resultaten

Het framework is getest op de BFCL (Berkeley Function Calling Leaderboard) en ACEBench benchmarks met verschillende backbone-modellen (Qwen2.5 en Llama3.2).

• Prestatieverbetering: R2IF presteert over het algemeen beter dan bestaande baselines (zoals SFT, Binary Reward alleen, en ToolRL).
  • Op BFCL met Llama3.2-3B werd een verbetering van +34,62% in overall nauwkeurigheid behaald.
  • Op ACEBench met Qwen2.5-7B werd een verbetering van +15,4% behaald.
• Interpretatie en Redenering:
  • R2IF bereikt een positieve Average CoT Effectiveness (ACE) (bijv. 0,05 voor Llama3.2-3B op BFCL), terwijl baselines vaak negatieve waarden hebben. Dit betekent dat het redeneren van R2IF daadwerkelijk helpt bij het nemen van betere beslissingen.
  • Het model behoudt sterke prestaties bij het afwijzen van irrelevante tools (≥96% nauwkeurigheid), wat aantoont dat de verbeteringen niet komen door een conservatieve "alles-afwijzen"-strategie.
• Schaalbaarheid: De prestaties nemen monotoon toe met de modelgrootte (van 1.5B tot 7B parameters) en generaliseren goed over verschillende model-families.

Betekenis en Conclusie

R2IF is een doorbraak in het maken van tool-augmentatie voor LLMs betrouwbaarder en interpreteerbaar. Door het redeneren niet alleen als een bijproduct, maar als een fundamenteel onderdeel van de beslissingslogica te behandelen, lost het het probleem op van "correcte antwoorden met slechte redenering".

• Robuustheid: Het systeem is beter bestand tegen veranderingen in input (zoals real-user queries) omdat het de onderliggende specificaties van tools beter begrijpt.
• Toepassingsbereik: Hoewel de huidige evaluatie beperkt is tot single-turn taken, biedt de methode een solide basis voor complexere, multi-turn interacties in de toekomst.
• Kerninzicht: Voor betrouwbare tool-gebruik is het niet genoeg om alleen de juiste API aan te roepen; het model moet ook kunnen uitleggen waarom en hoe de parameters zijn afgeleid, wat essentieel is voor vertrouwen en foutoplossing in productiesystemen.