Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL

Ce papier présente Jackal, le premier benchmark à grande échelle basé sur l'exécution pour la traduction du langage naturel en JQL, et propose Agentic Jackal, une approche agentique qui améliore significativement la précision des modèles en intégrant l'exécution en direct et la résolution sémantique des valeurs catégorielles via JiraAnchor.

L'essentiel

🕵️‍♂️ Le Problème : Le Traducteur Perdu

Imaginez que vous travaillez dans une immense bibliothèque (c'est Jira, l'outil utilisé par des millions d'entreprises pour gérer des projets). Cette bibliothèque a des règles très strictes pour trouver un livre : il faut utiliser un code secret appelé JQL.

Le problème, c'est que les humains ne parlent pas en code secret. Ils disent : "Montre-moi les livres sur les robots qui ont été publiés l'année dernière."

Si vous demandez cela à un traducteur automatique (une Intelligence Artificielle ou IA) :

1. Il ne connaît pas la bibliothèque : L'IA a lu des millions de livres, mais elle ne sait pas exactement quels titres existent dans cette bibliothèque précise. Elle pourrait inventer un titre comme "Robot 2023" qui n'existe pas, alors que le vrai titre est "Robot v2023.1".
2. Elle ne peut pas vérifier : Une fois qu'elle a écrit son code, elle ne peut pas le tester. Si elle se trompe, elle vous donne un résultat vide sans vous dire pourquoi. C'est comme si un cuisinier vous servait un plat sans jamais avoir goûté la sauce.

🤖 La Solution : Jackal, le Détective avec des Outils Magiques

Les auteurs de ce papier ont créé un nouveau système appelé Agentic Jackal. Au lieu de laisser l'IA deviner, ils lui ont donné deux super-pouvoirs (des outils) pour qu'elle agisse comme un détective :

1. Le Miroir Magique (Jira Search)

C'est comme si l'IA pouvait lancer sa requête dans la bibliothèque, voir ce qui ressort, et dire : "Ah, il n'y a rien ! Je dois changer ma phrase."

• Avant : L'IA écrivait une phrase et espérait que c'était juste.
• Maintenant : L'IA teste, voit le résultat, et si c'est faux, elle se corrige elle-même jusqu'à trouver la bonne réponse. C'est comme un joueur d'échecs qui simule plusieurs coups avant de jouer le vrai.

2. L'Annuaire des Noms (JiraAnchor)

C'est l'outil le plus important pour les noms spécifiques. Imaginez que vous cherchez "le livre sur les pommes". Dans cette bibliothèque, le vrai titre est "Les Pommes de Terre : Une Histoire".

• Avant : L'IA inventait "Pommes" et ne trouvait rien.
• Maintenant : Avant de répondre, l'IA consulte un annuaire réel de la bibliothèque. Elle tape "pommes" et l'annuaire lui dit : "Attends, ici on appelle ça 'Pommes de Terre'." Elle corrige donc son code pour utiliser le bon nom.

📊 Ce qu'ils ont découvert (Les Résultats)

Ils ont testé ce système avec 9 des meilleures IA du monde sur 1 000 questions difficiles.

• Le constat de départ : Les IA classiques (qui ne font que deviner) réussissaient seulement 43% des fois sur des questions courtes et ambiguës. C'est comme si un élève ratait plus de la moitié de son examen parce qu'il n'a pas vérifié ses réponses.
• L'amélioration : Avec les nouveaux outils (Jackal), les IA sont devenues beaucoup plus précises.
  • Pour les questions sur les "composants" (les noms complexes), la précision est passée de 17% à 66% ! C'est énorme. C'est comme passer d'un élève qui ne sait pas lire à un élève qui lit couramment.
  • Globalement, 7 IA sur 9 sont devenues meilleures.

🧠 Le Vrai Défi : Ce que les Outils ne peuvent pas résoudre

Malgré ces progrès, les chercheurs ont remarqué quelque chose d'intéressant. Parfois, l'IA échoue non pas parce qu'elle ne connaît pas le nom du livre, mais parce que la question est trop floue.

• Exemple : Si vous dites "Trouve les bugs", l'IA ne sait pas si vous voulez les bugs dans le code ou les bugs dans le texte.
• La leçon : Les outils magiques aident à trouver les bons noms et à vérifier les réponses, mais ils ne peuvent pas deviner ce que vous voulez dire si vous ne l'avez pas dit clairement. C'est comme avoir un GPS parfait, mais si vous ne lui dites pas "Je veux aller à Paris" et que vous dites juste "Je veux aller quelque part", le GPS ne peut pas vous aider.

🚀 En Résumé

Ce papier nous dit que pour que l'IA soit vraiment utile dans le monde réel (comme dans les entreprises), elle ne doit pas seulement parler, elle doit agir et vérifier.

• Avant : L'IA était un écrivain qui inventait des histoires sans jamais les lire à voix haute.
• Aujourd'hui (Agentic Jackal) : L'IA est un enquêteur qui teste ses hypothèses, consulte les registres réels et corrige ses erreurs avant de vous donner la réponse finale.

C'est une étape majeure pour rendre les outils de gestion de projet plus intelligents et plus faciles à utiliser pour tout le monde, même ceux qui ne connaissent pas le code secret !

Résumé technique

1. Problématique

La traduction du langage naturel en Jira Query Language (JQL) pose des défis uniques qui dépassent ceux des systèmes de requêtes SQL traditionnels. Les principaux obstacles identifiés sont :

• Ambiguïté des références aux champs : Les utilisateurs utilisent des termes naturels qui ne correspondent pas toujours aux noms techniques des champs Jira.
• Valeurs catégorielles spécifiques à l'instance : Les champs comme les composants, les versions de correction (fix versions) ou les étiquettes contiennent des milliers de valeurs spécifiques à une instance Jira donnée. Un modèle de langage (LLM) seul ne peut pas connaître ces valeurs existantes (ex: savoir si la version est "6.5" ou "6.5.0").
• Absence de boucle de rétroaction : Les approches "single-pass" (un seul passage) génèrent une requête sans pouvoir la vérifier contre la base de données réelle. Si une valeur n'existe pas, la requête échoue silencieusement en retournant un résultat vide.
• Manque de benchmarks : Il n'existait aucune évaluation basée sur l'exécution réelle pour le texte-vers-JQL, limitant la capacité à mesurer la précision réelle des modèles.

2. Méthodologie

Les auteurs proposent une approche agentique augmentée par des outils, baptisée Agentic Jackal, reposant sur deux piliers principaux :

A. Le Benchmark Jackal

Pour évaluer les systèmes, ils ont créé Jackal, le premier benchmark à grande échelle basé sur l'exécution pour le texte-vers-JQL.

• Données : 100 000 paires (Langage Naturel - JQL) validées sur une instance Jira réelle contenant plus de 200 000 problèmes (issues) répartis sur 22 projets.
• Évaluation : Utilisation d'un sous-ensemble stratifié de 1 000 requêtes (Jackal-1K) avec quatre variantes de formulation (Exacte, Longue, Courte, Sémantiquement similaire).

B. Architecture de l'Agent (Agentic Jackal)

L'agent est un système multi-étapes qui génère, exécute et affine itérativement les requêtes JQL. Il se compose de trois éléments :

1. Boucle d'Agent : Un graphe dirigé où un LLM génère une requête, puis l'exécute via un serveur Jira MCP (Model Context Protocol). L'agent reçoit trois signaux de rétroaction :

   • Un ensemble de résultats non vide (succès).
   • Un résultat nul (la requête est trop restrictive ou les valeurs sont incorrectes).
   • Un message d'erreur (problème de syntaxe ou de schéma).
     L'agent utilise ces signaux pour réviser la requête jusqu'à obtenir une réponse validée.

2. Jira Search : L'outil d'exécution qui interroge l'instance Jira en temps réel pour valider la syntaxe et la présence des résultats.

3. JiraAnchor (Nouvel outil) : Un outil de récupération sémantique conçu pour résoudre le problème des valeurs catégorielles.

   • Fonctionnement : Il interroge l'instance Jira via l'API REST pour récupérer toutes les valeurs uniques d'un champ donné.
   • Récupération : Il utilise une recherche par similarité sémantique (embeddings) et des correspondances regex pour mapper la mention du langage naturel (ex: "version 6.5") vers la valeur exacte stockée dans la base (ex: "6.5.0 Beta1").
   • Intégration : L'agent utilise JiraAnchor avant de construire la requête finale pour éviter les devinettes sur les valeurs.

3. Contributions Clés

1. Agentic Jackal : Le premier agent open-source basé sur des outils pour le texte-vers-JQL, établissant une nouvelle référence (baseline) pour les requêtes d'entreprise. Il combine l'exécution en direct et la récupération sémantique.
2. JiraAnchor : Un outil innovant de résolution de valeurs de champs qui élimine le besoin pour le LLM de mémoriser ou de deviner les valeurs spécifiques à l'instance, en s'appuyant sur une recherche sémantique en temps réel.
3. Taxonomie des Erreurs : Une analyse détaillée identifiant six catégories d'erreurs dominantes, révélant que les ambiguïtés sémantiques (interprétation du type de problème, sélection du champ texte, confusion de version) sont la cause principale des échecs, bien plus que la résolution des valeurs.
4. Ressources Publiques : Mise à disposition du benchmark, de tous les transcripts d'agents et du code d'évaluation pour assurer la reproductibilité.

4. Résultats

Les auteurs ont évalué 9 LLMs de pointe (GPT-5, Claude, Gemini, Pixtral) sur deux expériences :

• Expérience 1 (Agentic vs Naïf) :

  • Les modèles "naïfs" (single-pass) atteignent une précision d'exécution moyenne de 43,4 % sur les requêtes courtes et ambiguës.
  • L'approche agentique améliore 7 modèles sur 9, avec un gain relatif de 9,0 % sur la variante la plus difficile (Short NL).
  • La précision globale passe de 62,5 % (naïf) à 64,4 % (agentique), mais les gains sont massifs sur les requêtes mal spécifiées.

• Expérience 2 (Ablation de JiraAnchor) :

  • L'ajout de JiraAnchor améliore la précision moyenne de 48,7 % à 71,7 % (+23 points).
  • Gain majeur sur les Composants : La précision passe de 16,9 % à 66,2 %. Sans JiraAnchor, les modèles échouent presque systématiquement car ils ne peuvent pas deviner les noms complexes des composants (ex: "Core: Containers and Algorithms").
  • Tous les 9 modèles montrent une amélioration positive avec JiraAnchor.

• Analyse des Erreurs :

  • Les erreurs de résolution de valeurs ne sont plus le problème dominant.
  • Les échecs résiduels proviennent principalement d'ambiguïtés sémantiques inhérentes au langage naturel (ex: distinguer si "bugs" fait référence au type de problème ou à une recherche textuelle dans le résumé). Ces erreurs représentent 58 % des échecs sur les requêtes courtes.

• Coûts Opérationnels :

  • L'approche agentique augmente la latence d'environ 7x et la consommation de tokens d'environ 15x par rapport à la génération naïve, en raison des itérations et des appels d'outils. Cependant, la plupart des requêtes se résolvent en un seul cycle de génération-exécution.

5. Signification et Conclusion

Ce travail démontre que pour les applications d'entreprise complexes comme Jira, les modèles de langage seuls sont insuffisants. L'intégration d'une boucle d'exécution en direct et d'outils de récupération de valeurs contextuelles (JiraAnchor) est essentielle pour atteindre une précision opérationnelle viable.

Bien que l'approche agentique résolve efficacement les problèmes de valeurs inconnues et de vérification syntaxique, elle met en lumière une limite fondamentale : les ambiguïtés sémantiques du langage naturel (comme la confusion entre types de champs ou interprétation de termes vagues) ne peuvent être résolues uniquement par des outils techniques. Cela ouvre la voie à de futures recherches sur les mécanismes de clarification de l'intention utilisateur et sur des stratégies d'hybridation (génération naïve pour les requêtes claires, agentique pour les ambiguës) pour optimiser le rapport coût/précision.