Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows

Technische Samenvatting: Voorbij Next-Token Predictie: Een RLVR Proof of Concept voor Tool-Use Agents op Atlassian Workflows

Probleemstelling
Large Language Models (LLM's) zijn fundamenteel geoptimaliseerd voor next-token predictie op tekst van internetschaal, een doelstelling die niet overeenkomt met de vereisten van niche enterprise SaaS-workflows. In deze omgevingen hangt succes af van het uitvoeren van specifieke API-aanroepen met precieze geneste argumenten in een strikte volgorde. Het artikel betoogt dat deze mismatch in doelstelling zich manifesteert als "stille fouten" (silent failures) in tool-use agents: ontbrekende verplichte velden, het hallucineren van niet-bestaande tools, of voortijdig stoppen na een enkele leesoperatie. Terwijl bestaande literatuur tool-invocatie behandelt via supervised fine-tuning of Reinforcement Learning (RL) op open-web of brede agentic benchmarks, is er een gebrek aan focus op smalle, schema-zware enterprise workflows die gedomineerd worden door "check-then-mutate"-patronen.

Methodologie
De auteurs stellen een proof of concept voor waarbij gebruik wordt gemaakt van Reinforcement Learning with Verifiable Rewards (RLVR), direct toegepast binnen synthetische, schema-getrouwe kopieën van doelomgevingen. Deze aanpak elimineert de noodzaak voor live API's, geleerde reward judges of human-in-the-loop labeling.

• Synthetische Omgevingen: Het team heeft vijf synthetische omgevingen geconstrueerd die de Jira REST v3 en Confluence v2 API's emuleren. Deze omgevingen behouden schema-getrouwheid (overeenkomend met publieke contracten), zijn stateful maar resetbaar tussen rollouts om vervuiling te voorkomen, en zijn volledig deterministisch.
• Verifieerbare Reward Functies: In plaats van te vertrouwen op een geleerd reward model, wordt correctheid bepaald door programmatische checkers die de tool-call trace inspecteren. De reward functie ($R \in [0, 1]$) is gedecomposeerd in drie additieve componenten:
  1. Per-argument correctheid (R1): Kleine constanten die worden toegekend voor het matchen van verwachte argumentwaarden (bijv. specifieke project keys, parent IDs).
  2. Structurele bonussen (R2): Beloningen voor het naleven van het validate–mutate–verify-patroon (bijv. het uitvoeren van een get_* call vóór een create_* call).
  3. Penaliteiten (R3): Aftrek voor destructief gedrag, zoals ontbrekende verplichte calls, ongeldige payload-vormen, duplicaten, gehallucineerde toolnamen of het overschrijden van call-budgetten.
• Trainingslus: De auteurs maken gebruik van Group Relative Policy Optimization (GRPO) op Qwen3-1.7B en Qwen3.5-4B modellen. De trainingslus omvat het genereren van meerdere rollouts per prompt, het scoren van deze tegen de verifieerbare reward functies, en het bijwerken van de policy parameters. De training draait op bescheiden hardware (één of twee Nvidia RTX PRO 6000 GPU's) en maakt gebruik van early stopping op basis van reward convergentie.

Belangrijkste Bijdragen

1. Synthetische Atlassian Suite: Een set van vijf schema-getrouwe omgevingen die Jira tickettransities, sub-task creatie, Confluence pagina creatie, pagina labeling en een cross-product scenario dekken.
2. Reward Design: Een framework om complexe tool-use correctheid te deconstrueren naar verifieerbare, programmatische signalen (argument matching, structurele ordening en penalty handhaving) die volledig berekenbaar zijn vanuit tool-call traces.
3. Baseline en Trainingsresultaten: Een uitgebreide evaluatie die geprompte baselines (Qwen3-1.7B en Qwen3.5-4B) vergelijkt met RLVR-getrainde policies met identieke reward checkers.
4. Trainingsrecept: Een end-to-end GRPO trainingsrecept dat convergentie bereikt in tientallen tot lage honderden generatie-batches op kleine modellen.

Resultaten
De studie evalueert prestaties op vijf scenario's, waarbij wordt opgemerkt dat het "ticket-transition" scenario een transparantiecontrole is waarbij de reward functie verzadigt (het geprompte 4B model bereikt al een perfecte score).

• Prestatiewinsten: In de vier niet-degeneratieve scenario's presteert de RL-getrainde policy aanzienlijk beter dan de geprompte baselines.
  • Confluence Page Creation: De meest dramatische verbetering, stijgend van een baseline van 0.35 naar 1.00 (+0.65).
  • Confluence Page Labeling: Verbeterd van 0.52 naar 0.95 (+0.43).
  • Jira Sub-task Creation: Verbeterd van 0.68 naar 1.00 (+0.32).
  • Cross-Product (Jira + Confluence): Verbeterd van 0.92 naar 1.00, waardoor de resterende kloof werd gedicht om perfect succes op alle 12 evaluatie-prompts te bereiken.
• Trainingsdynamiek: De modellen bereikten een gemiddelde reward van $\ge 0.95$ binnen 100 generatie-batches voor de scenario's vanaf nul. De reward variantie (min/max over de generatiegroep) kromp tijdens de training omdat de policy stopte met het emitteren van rollouts met een lage reward.

Significantie en Beperkingen
Het artikel positioneert dit werk als een voorlopige proof of concept die aantoont dat outcome-geoptimaliseerde kleine modellen getraind kunnen worden voor niche enterprise API's met behulp van goedkope, synthetische substraten en verifieerbare rewards.

De auteurs benadrukken expliciet twee beperkingen om verwachtingen te temperen:

1. Schaalbaarheid van Reward Design: Het handmatig ontwerpen van verifieerbare rewards schaalt momenteel niet naar de volledige oppervlakte van de Atlassian publieke API of bredere enterprise ecosystemen; het is alleen effectief voor de handvol gerapporteerde endpoints.
2. Reward Saturatie: Eén scenario (ticket-transition) bezit een reward-vorm die te eenvoudig is, waardoor het geprompte 4B model direct maximaal scoort, wat RL overbodig maakt voor die specifieke taak.

De auteurs concluderen dat hoewel het recept werkt op dit specifieke substraat, het nog niet een generaliseerbare oplossing vestigt voor alle enterprise tool-use taken zonder significante handmatige reward engineering.