Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL

Este artículo presenta "Agentic Jackal", un agente potenciado por herramientas que mejora la traducción de lenguaje natural a JQL mediante la ejecución en vivo y la recuperación semántica, junto con el primer benchmark a gran escala basado en ejecución para evaluar y superar las limitaciones de los modelos de lenguaje actuales en este dominio.

Lo esencial

¡Claro que sí! Imagina que este artículo es la historia de cómo enseñamos a un robot muy inteligente (un modelo de lenguaje o IA) a hablar el idioma de los gestores de proyectos, pero con un giro muy importante: le damos un "superpoder" para no cometer errores tontos.

Aquí tienes la explicación en español, usando analogías sencillas:

🎭 El Problema: El Traductor que se Pierde en la Traducción

Imagina que tienes un traductor automático (la IA) que debe convertir lo que dices en lenguaje normal ("Quiero ver las tareas de la versión 6.5 que tienen un error") a un código muy estricto llamado JQL (el lenguaje que usa el software Jira para buscar cosas).

El problema es que Jira es como una biblioteca gigante y desordenada con millones de libros (tareas).

1. El idioma es confuso: Si dices "versión 6.5", la biblioteca podría tener "6.5", "6.5.0", "6.5.0 Beta" o "6.5.1". El traductor, si solo lee un libro de instrucciones, adivina y suele equivocarse.
2. No puede verificar: El traductor tradicional escribe la dirección de la biblioteca, pero no va a comprobar si el libro existe realmente. Si se equivoca, la búsqueda devuelve "nada" y nadie se da cuenta hasta que el usuario se frustra.

En el pasado, estos traductores (IA de una sola pasada) acertaban mucho en preguntas literales, pero cuando la gente usaba sus propias palabras o frases cortas, fallaban estrepitosamente (menos del 30% de aciertos).

🦊 La Solución: "Agentic Jackal" (El Zorro Agente)

Los autores crearon algo llamado Agentic Jackal. Imagina que en lugar de darle al robot una sola orden y esperar el resultado, le das un kit de herramientas y le dices: "No te limites a escribir la dirección; ve, comprueba si el libro existe, y si no está, busca el nombre correcto antes de volver".

El sistema tiene dos partes principales:

1. El Zorro que Prueba y Corrige (El Bucle de Ejecución)

En lugar de escribir la búsqueda y listo, el robot:

• Escribe la búsqueda.
• La ejecuta en la biblioteca real (Jira).
• Escucha el resultado:
  • ¿Encontró libros? ¡Genial! ✅
  • ¿No encontró nada? "Ups, probablemente me equivoqué en el nombre, voy a cambiarlo". 🔄
  • ¿Dio un error? "Ah, usé una palabra prohibida, la corrijo". 🛠️
• Vuelve a intentarlo hasta que funcione.

Es como si un detective no solo escribiera una carta de búsqueda, sino que físicamente fuera a la oficina a ver si la persona existe antes de enviar la carta.

2. JiraAnchor: El "Buscador de Nombres Exactos"

Esta es la herramienta más genial. Imagina que el robot necesita buscar un componente llamado "Herramientas de Construcción". Pero en la biblioteca real, el nombre exacto es "Herramientas de Construcción: Otros".

• Sin la herramienta: El robot adivina "Herramientas de Construcción" y falla.
• Con JiraAnchor: El robot tiene un asistente mágico que va a la biblioteca, busca todos los nombres que empiezan por "Herramientas", y le dice al robot: "Oye, el nombre exacto que buscas es 'Herramientas de Construcción: Otros', úsalo".

Esto soluciona el problema de los nombres que nadie puede adivinar porque son específicos de cada empresa.

📊 ¿Qué descubrieron? (Los Resultados)

Probaron a 9 robots inteligentes (los más modernos del mundo) y compararon dos formas de trabajar:

1. El método "Antiguo" (Solo escribir): Fallaba mucho en preguntas confusas.
2. El método "Agente" (Con herramientas):
   • Mejoró a 7 de cada 9 robots.
   • En las preguntas más difíciles y cortas (donde la gente da poca información), la precisión subió un 9%.
   • El caso de los componentes: Sin la herramienta, los robots acertaban solo el 17% de las veces en nombres de componentes. ¡Con la herramienta, saltaron al 66%! Fue como pasar de adivinar al azar a saber exactamente qué buscar.

🧠 El Gran Descubrimiento: ¿Dónde fallan todavía?

Aunque la herramienta de nombres (JiraAnchor) arregló el problema de los nombres incorrectos, los autores descubrieron algo interesante: los robots siguen fallando por otra razón.

No fallan porque no encuentren el nombre, sino porque no entienden la intención.

• Ejemplo: Si el usuario dice "Busca los bugs", el robot no sabe si el usuario quiere buscar tareas que son errores (tipo de tarea) o tareas que mencionan la palabra "bug" en el texto.
• Es como si alguien te dijera "Busca el banco". ¿Quieres el banco donde se sientan o el banco donde se guarda el dinero? La herramienta no puede adivinar eso; necesita que el humano sea más claro.

💰 El Precio de la Inteligencia

¿Hay un truco? Sí, tiempo y dinero.

• El método antiguo es rápido (2 segundos) y barato.
• El método del "Zorro Agente" es más lento (unos 30 segundos) y consume más recursos, porque el robot tiene que pensar, preguntar, esperar respuesta y volver a pensar.

Conclusión:
Si quieres velocidad y las preguntas son simples, usa el método antiguo. Pero si quieres precisión en preguntas complejas o confusas, vale la pena esperar esos 30 segundos extra. El sistema "Agentic Jackal" demuestra que, para que la IA funcione bien en el mundo real, no basta con que sea inteligente; necesita poder interactuar con la realidad, comprobar sus errores y corregirlos sobre la marcha.

¡Es la diferencia entre un estudiante que memoriza un libro y uno que va a la biblioteca, busca los libros reales y verifica que la información es cierta! 📚🔍

Resumen técnico

1. El Problema

La traducción de lenguaje natural a Jira Query Language (JQL) presenta desafíos únicos que los modelos de lenguaje grandes (LLM) de un solo paso (single-pass) no pueden resolver eficazmente:

• Ambigüedad de Referencias: Los campos categóricos en Jira (como componentes, versiones de corrección o etiquetas) contienen valores específicos de cada instancia que no son predecibles por un modelo entrenado en corpus generales. Un usuario puede pedir la "versión 6.5", pero la instancia real podría tener "6.5.0" o "6.5.0 Beta1".
• Falta de Verificación en Vivo: Los modelos tradicionales generan consultas en un solo paso sin verificar si la consulta es válida o si devuelve resultados en la base de datos real. Esto lleva a que las consultas generadas devuelvan resultados vacíos silenciosamente o fallen por errores de sintaxis.
• Brecha de Rendimiento: Mientras que las traducciones literales tienen alta precisión (>90%), las consultas parafraseadas o ambiguas caen por debajo del 30% de precisión en ejecuciones reales. No existía un benchmark abierto basado en ejecución para evaluar esto.

2. Metodología

Los autores proponen Agentic Jackal, un agente multi-paso aumentado con herramientas, y un nuevo conjunto de datos de evaluación.

A. El Agente (Agentic Jackal)

El sistema utiliza un bucle iterativo basado en el servidor Jira MCP (Model Context Protocol) que consta de tres componentes principales:

1. Bucle del Agente: Genera una consulta JQL candidata, la ejecuta en la instancia de Jira en vivo y analiza la respuesta. Utiliza tres señales de retroalimentación para refinar la consulta:
   • Conjunto de resultados no vacío (éxito).
   • Respuesta de cero resultados (indica filtros demasiado restrictivos o valores incorrectos).
   • Mensaje de error (indica violación de sintaxis o esquema).
2. Jira Search: Herramienta que ejecuta la consulta JQL en vivo y devuelve los resultados o errores.
3. JiraAnchor (Herramienta Novel): Una herramienta de recuperación semántica diseñada para resolver la ambigüedad de valores.
   • Conecta directamente a la instancia de Jira.
   • Utiliza búsqueda por similitud de embeddings (y coincidencia aproximada) para mapear menciones en lenguaje natural (ej. "versiones beta") a los nombres exactos almacenados en la base de datos.
   • Separa la preocupación de la "grounding" de valores (resolución) de la construcción de la consulta.

B. Conjuntos de Datos

• Jackal-1K: Un subconjunto estratificado de 1,000 consultas del benchmark Jackal (que contiene 100,000 pares NL-JQL validados en una instancia con >200k issues). Incluye cuatro variantes de lenguaje natural: Exacto Semánticamente, Larga NL, Corta NL y Semánticamente Similar.
• Field-Value Evaluation Set: Un conjunto de 217 consultas mínimas de 2 cláusulas diseñado específicamente para aislar el impacto de la resolución de valores categóricos (Componentes, Versiones Afectadas, Versiones de Corrección).

3. Contribuciones Clave

1. Agentic Jackal: El primer agente abierto basado en herramientas para texto-a-JQL que integra ejecución en vivo y refinamiento iterativo, estableciendo una línea base para entornos empresariales.
2. JiraAnchor: Una herramienta de recuperación semántica que resuelve valores categóricos específicos de la instancia mediante búsqueda en vivo, abordando directamente la falla de "disambiguación de valores".
3. Benchmark y Evaluación: Publicación de un benchmark a gran escala (100k pares), todos los transcripciones de agentes, código de evaluación y una taxonomía de errores detallada.
4. Taxonomía de Errores: Identificación de que las ambigüedades semánticas (no la resolución de valores) son la causa principal de fallos en las consultas más difíciles.

4. Resultados Experimentales

Se evaluaron 9 LLMs de vanguardia (incluyendo GPT-5, Claude, Gemini, etc.) en dos experimentos:

Experimento 1: Enfoque Naive vs. Agente Completo

• Precisión de Ejecución: El enfoque agentic mejoró la precisión promedio de 62.5% a 64.4% (ganancia del 2.0%).
• Impacto por Variante: La mayor mejora se dio en consultas de Lenguaje Natural Corto (Short NL), con una ganancia relativa del 9.0% (de 43.4% a 47.3% en promedio, con picos mayores en modelos específicos como Gemini 3 Flash).
• Conclusión: La ejecución iterativa corrige suposiciones incorrectas en consultas con poco contexto, pero tiene un impacto marginal en consultas muy detalladas o literales.

Experimento 2: Ablación de JiraAnchor

• Resolución de Valores: Al aislar el impacto de JiraAnchor en consultas sensibles a valores categóricos, la precisión de ejecución aumentó drásticamente de 48.7% a 71.7% (+23.0 puntos porcentuales).
• Campo de Componentes: La mejora fue más dramática en los campos de "Componentes", donde la precisión sin la herramienta era de solo 16.9% (los modelos adivinaban nombres inexistentes) y subió a 66.2% con JiraAnchor.
• Todos los modelos mejoraron: Los 9 modelos evaluados mostraron ganancias positivas al usar JiraAnchor.

Análisis de Errores

El análisis manual reveló que los fallos dominantes no se debían a la incapacidad de encontrar valores, sino a ambigüedades semánticas intrínsecas:

• Interpretación de Tipo de Issue: Confundir "bugs" como búsqueda de texto vs. tipo de issue.
• Selección de Campo de Texto: Distinguir entre "summary" y "description".
• Confusión de Versiones: Diferenciar entre fixVersion y affectedVersion.
  Estas tres categorías representaron el 58% de los fallos en consultas cortas y el 68% en consultas semánticamente similares.

Costos Operativos

El enfoque agentic introduce un costo significativo:

• Latencia: Aumento de ~4.8s a ~32.4s por consulta (debido a múltiples iteraciones de inferencia del LLM).
• Tokens: Aumento de ~1.8K a ~27.2K tokens por consulta.
• Sin embargo, la mayoría de las consultas se resuelven en un solo ciclo de generación-ejecución (promedio de 1.3 llamadas a herramientas).

5. Significado e Implicaciones

• Validación de la Arquitectura Agentic: El estudio demuestra que para tareas de consulta empresarial complejas (como JQL), la retroalimentación en vivo y la recuperación de valores específicos de la instancia son esenciales para superar las limitaciones de los modelos estáticos.
• Límites de la Automatización: Aunque las herramientas resuelven problemas de "datos" (valores existentes), no pueden resolver problemas de "intención" (ambigüedad semántica del usuario). Esto sugiere que el futuro de las interfaces de texto a consulta debe incluir mecanismos de aclaración con el usuario o enriquecimiento contextual más allá de las herramientas de búsqueda.
• Reproducibilidad: La liberación del benchmark Jackal y el código del agente proporciona una base sólida para futuras investigaciones en interfaces de lenguaje natural para bases de datos empresariales.

En resumen, Agentic Jackal demuestra que transformar el texto a JQL en entornos reales requiere un cambio de paradigma: de la generación estática a la ejecución iterativa con anclaje semántico en vivo, aunque los desafíos de interpretación semántica profunda siguen siendo un obstáculo abierto.