Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL

Dit paper introduceert Agentic Jackal, een agentiek systeem dat live query-uitvoering en semantische zoekopdrachten combineert om de nauwkeurigheid van het vertalen van natuurlijke taal naar Jira Query Language (JQL) significant te verbeteren, ondersteund door de eerste open benchmark voor deze taak.

De kern

🕵️‍♂️ De Probleemstelling: De Verwarde Vertaler

Stel je voor dat je een vertaler hebt die heel slim is (een AI), maar die nog nooit in een specifieke bibliotheek is geweest. Je vraagt hem: "Zoek alle boeken over 'de grote oorlog' die in 2023 zijn uitgegeven."

De AI probeert een zoekopdracht te schrijven in de taal van de bibliotheek (in dit geval JQL, de taal van Jira, een software voor projectbeheer). Maar hier zitten twee grote struikelblokken:

1. De "Geheime Lijst" (Categorieën): De bibliotheek heeft misschien geen boek met de titel "De grote oorlog", maar wel "De Eerste Wereldoorlog" of "Grote Oorlog 1914-1918". De AI weet niet welke exacte titels er in deze specifieke bibliotheek staan. Hij raadt dus een titel, maar die bestaat niet. Het resultaat? Een lege kast.
2. Geen Terugkoppeling: De AI schrijft de zoekopdracht één keer op en hoopt dat het goed is. Hij kijkt niet of de bibliotheekmedewerker zegt: "Hé, die titel bestaat niet, probeer het anders." Hij geeft gewoon een antwoord, ook al is het fout.

In de echte wereld betekent dit dat mensen die Jira gebruiken (voor het beheren van software-projecten) vaak geen resultaten krijgen als ze in gewoon Nederlands vragen wat ze nodig hebben. De AI raadt verkeerd.

---

🚀 De Oplossing: "Agentic Jackal" (De Slimme Boekbode)

De auteurs van dit paper hebben een nieuwe, slimme oplossing bedacht: Agentic Jackal.

Stel je voor dat de AI niet langer alleen een vertaler is, maar een boekbode met een walkie-talkie die direct contact heeft met de bibliotheek.

1. De "Live" Check (Jira Search)

In plaats van één keer te raden, doet de AI dit:

• Hij schrijft een zoekopdracht.
• Hij stuurt die direct naar de bibliotheek (de live Jira-database).
• De bibliotheek zegt: "Geen boeken gevonden" of "Fout: je hebt de verkeerde categorie gebruikt".
• De AI hoort dit, denkt: "Ah, mijn gok was verkeerd!", en past de zoekopdracht aan.
• Hij probeert het opnieuw, totdat hij de juiste boeken vindt.

Dit is als een kind dat een raadsel oplost: het probeert een antwoord, krijgt feedback, en probeert het opnieuw tot het klopt.

2. De "Woordenboek-App" (JiraAnchor)

Dit is het tweede, heel belangrijke stukje. Soms vraagt iemand: "Zoek de taken voor versie 6.5."
In de database heet die versie misschien officieel "6.5.0 Beta3". De AI weet dit niet uit zijn hoofd.

Daarom heeft Agentic Jackal een speciaal hulpmiddel genaamd JiraAnchor.

• Vergelijking: Stel je voor dat je in een grote supermarkt naar "de grote rode appels" vraagt. JiraAnchor is de medewerker die naar de schappen loopt, alle appels bekijkt en zegt: "Ah, wij hebben 'Gala', 'Goudreinette' en 'Rode Delicaat'. Geen 'Grote Rode Appel'."
• De AI gebruikt dit hulpmiddel om te kijken welke namen er echt bestaan in de database, voordat hij de zoekopdracht schrijft. Hierdoor raadt hij niet meer, maar gebruikt hij de exacte namen.

---

🧪 Wat hebben ze getest?

De onderzoekers hebben 9 van de slimste AI's ter wereld getest (zoals GPT-4, Claude, Gemini) op een enorme lijst van 1.000 vragen.

• De "Dumme" AI (Zonder hulpmiddelen): Deze probeerde alles in één keer te raden. Ze hadden maar ongeveer 43% van de vragen goed, vooral als de vraag kort en vaag was.
• De "Slimme" AI (Met Agentic Jackal): Deze AI mocht de bibliotheek checken en de namen opzoeken. Ze werden veel beter!
  • Bij de moeilijkste vragen (korte, vaag geformuleerde zinnen) steeg het succespercentage met bijna 10%.
  • Bij het vinden van specifieke namen (zoals "componenten" of "versies") steeg het succes van 17% naar 66%. Dat is een gigantische sprong!

---

⚠️ Waar lopen ze nog vast? (De Grenzen)

Ondanks dat het systeem veel beter is, zijn er nog dingen die de AI niet kan oplossen. Soms is het probleem niet dat de AI de naam niet kent, maar dat de vraag zelf dubbelzinnig is.

• Voorbeeld: Iemand zegt: "Zoek de bugs."
  • Bedoelt hij: "Zoek alle taken waarvan het type 'Bug' is"?
  • Of bedoelt hij: "Zoek alle taken waarin het woord 'bug' in de beschrijving staat"?
  • Zelfs met de walkie-talkie en het woordenboek weet de AI dit niet zeker. Dit is een menselijk taalprobleem, geen technisch probleem. De AI kan niet weten wat de gebruiker echt bedoelt zonder dat de gebruiker het verduidelijkt.

---

💰 Wat kost het? (De Prijskaart)

Dit slimme systeem is niet gratis.

• De "Dumme" AI: Schrijft snel een zinnetje (binnen 2 seconden).
• De "Slimme" AI: Moet eerst praten met de bibliotheek, wachten op antwoord, misschien opnieuw zoeken, en namen opzoeken. Dit duurt ongeveer 30 seconden en kost meer rekenkracht.

Conclusie:
Als je snel een simpele vraag hebt, is de snelle AI misschien wel genoeg. Maar als je een complexe, vaag gestelde vraag hebt in een groot bedrijf, is het de moeite waard om even te wachten op de "Slimme Boekbode" (Agentic Jackal), omdat hij dan veel minder fouten maakt.

Kort samengevat:
Agentic Jackal is een AI die stopt met gokken en begint met checken. Hij kijkt in de database of de namen kloppen en vraagt om hulp als hij vastloopt. Hierdoor werkt hij veel beter voor mensen die Jira gebruiken, zolang ze maar bereid zijn om even langer te wachten op het antwoord.

Technische samenvatting

Probleemstelling

Het vertalen van natuurlijke taal naar Jira Query Language (JQL) is een complexe taak vanwege drie hoofdfactoren:

1. Ambiguïteit: Gebruikersreferenties naar velden zijn vaak vaag.
2. Instance-specifieke waarden: Categorieën zoals componentnamen, versies of labels zijn uniek voor elke Jira-installatie en kunnen duizenden variaties bevatten. Modellen die op algemene data zijn getraind, weten niet welke waarden daadwerkelijk bestaan in een specifieke omgeving.
3. Complexiteit: JQL ondersteunt complexe Booleaanse logica en tijdsgebonden predicaten.

Bestaande "single-pass" Large Language Models (LLM's) falen vaak omdat ze:

• Geen toegang hebben tot de live data om te verifiëren of een gegenereerde query correct is.
• Geen mechanisme hebben om te ontdekken welke exacte waarden (bijv. "versie 6.5" vs. "6.5.0") in de live instance bestaan.
• Hierdoor leiden ze tot queries die stilzwijgend lege resultaten opleveren of syntactische fouten bevatten, vooral bij parafraseerde of onvolledige gebruikersvragen.

Er bestond tot nu toe geen open, op uitvoering gebaseerde benchmark voor Text-to-JQL.

Methodologie: Agentic Jackal

De auteurs introduceren Agentic Jackal, een tool-verrijkte, multi-stap agent die LLM's in staat stelt om queries live te genereren, uit te voeren en iteratief te verfijnen. Het systeem bestaat uit drie kerncomponenten:

1. Agent Loop: Een gestructureerde workflow (geïmplementeerd als een gerichte graaf) waarbij het LLM een query genereert, deze uitvoert via tools, de feedback analyseert en de query aanpast totdat een geldig resultaat wordt verkregen.
2. Jira Search (Live Feedback): Een tool die de gegenereerde JQL-query uitvoert op de live Jira-instance via de MCP-server. De agent ontvangt drie soorten signalen:
   • Niet-lege resultaatset: De query is plausibel.
   • Lege resultaatset: De filter is te restrictief of de waarden zijn incorrect.
   • Foutmelding: Syntaxis- of schema-fouten worden direct gemeld.
3. JiraAnchor (Semantische Zoekopdracht): Een nieuw, speciaal ontwikkeld hulpmiddel dat het probleem van waarden-resolutie oplost.
   • Het haalt alle unieke waarden voor een specifiek veld (bijv. component) op uit de live Jira-instance.
   • Het gebruikt embedding-based similariteit (cosine similarity) en regex-matching om de natuurlijke taal van de gebruiker te koppelen aan de exacte, opgeslagen waarden in de database.
   • Dit voorkomt dat het model "gokt" op bestaande waarden.

Datasets:

• Jackal-1K: Een gestratificeerde subset van 1.000 queries (uit een benchmark van 100.000) met vier varianten van natuurlijke taal (van letterlijk tot semantisch vergelijkbaar).
• Field-Value Evaluation Set: Een specifieke set van 217 queries om de impact van JiraAnchor op het oplossen van categorie-waarden te isoleren.

Belangrijkste Bijdragen

1. Agentic Jackal: De eerste open, op uitvoering gebaseerde benchmark en agent-architectuur voor Text-to-JQL in een enterprise-omgeving.
2. JiraAnchor: Een innovatief hulpmiddel voor semantische retrieval dat natuurlijke taal koppelt aan instance-specifieke waarden via live zoekopdrachten.
3. Error Taxonomie: Een gedetailleerde analyse van fouten die aantoont dat de meeste mislukkingen niet door waarden-resolutie komen, maar door semantische ambiguïteit (bijv. onderscheid tussen "bug" als tekst of als issue-type).
4. Open Source: Publicatie van de benchmark, alle agent-transcripten en evaluatiecode voor reproduceerbaarheid.

Resultaten

De auteurs evalueerden 9 state-of-the-art LLM's (waaronder GPT-5, Claude, Gemini en Pixtral) op de Jackal-1K dataset.

• Algemene Prestaties:

  • Single-pass modellen (zonder agent) behaalden een gemiddelde uitvoeringsnauwkeurigheid van 43,4% op korte, natuurlijke taalqueries.
  • De Agentic Jackal-approach verbeterde 7 van de 9 modellen.
  • De grootste winst werd geboekt bij de meest taalkundig uitdagende varianten ("Short NL"), met een relatieve verbetering van 9,0%.

• Impact van JiraAnchor (Experiment 2):

  • Bij het isoleren van waarden-resolutie steeg de nauwkeurigheid van 48,7% naar 71,7%.
  • Voor het veld component (waarbij namen vaak complex en uniek zijn) steeg de nauwkeurigheid drastisch van 16,9% naar 66,2%.
  • Dit bevestigt dat live toegang tot waarden essentieel is voor accurate queries.

• Foutanalyse:

  • De dominante fouten (58% van Short NL en 68% van Semantisch Vergelijkbare queries) waren semantische interpretatieproblemen (bijv. verwarren van issue-types, tekstvelden of versies), niet het vinden van de juiste waarden.
  • Dit suggereert dat tools alleen niet alle problemen kunnen oplossen; meer context of gebruikersclarificatie is nodig voor deze specifieke ambiguïteiten.

• Kosten:

  • De agent-approach brengt een kostenplaatje met zich mee: de latentie neemt toe met een factor ~7 (van ~5s naar ~32s) en het token-gebruik met ~15x, voornamelijk door meerdere iteraties en tool-calls.

Significantie

Dit paper markeert een verschuiving in Text-to-SQL/JQL onderzoek van "single-shot" generatie naar agente, iteratieve systemen met live feedback.

• Het bewijst dat voor enterprise-toepassingen (zoals Jira) waar data dynamisch en instance-specifiek is, traditionele LLM's ontoereikend zijn zonder tooling.
• Het introduceert een nieuwe standaard voor evaluatie: uitvoeringsnauwkeurigheid op een live dataset in plaats van alleen syntactische correctheid.
• Het identificeert de grenzen van huidige technologie: terwijl tools het probleem van "welke waarde bestaat er?" effectief oplossen, blijft het probleem van "wat bedoelt de gebruiker precies?" (semantische ambiguïteit) een uitdaging die verder onderzoek vereist.

Samenvattend biedt Agentic Jackal een robuust raamwerk voor het bouwen van betrouwbare natuurlijke taalinterfaces voor complexe projectmanagement-systemen, waarbij live validatie en semantische zoekopdrachten cruciaal zijn voor succes.