Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL

O artigo apresenta o "Agentic Jackal", um novo benchmark em larga escala baseado em execução e uma abordagem de agente que utiliza ferramentas de busca semântica e execução ao vivo para superar as limitações dos modelos de linguagem na tradução precisa de linguagem natural para a linguagem de consulta do Jira (JQL).

O essencial

Imagine que você tem um assistente de escritório muito inteligente, capaz de entender o que você diz em linguagem natural. O problema é que ele precisa escrever pedidos para um sistema de gerenciamento de projetos chamado Jira, que usa uma linguagem técnica e complicada chamada JQL.

Pense no JQL como a "língua dos robôs" do Jira. Se você pedir: "Mostre-me os bugs do projeto X que foram corrigidos na versão 6.5", o assistente precisa traduzir isso perfeitamente para o código do Jira.

O artigo que você enviou descreve um novo projeto chamado Agentic Jackal (o "Chacal Agente"), criado por pesquisadores da PwC, para resolver os problemas que os assistentes atuais têm ao fazer essa tradução.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Assistente que Adivinha

Antes do "Jackal", os assistentes (chamados de modelos de IA) funcionavam como um estudante que tenta passar em uma prova sem consultar o livro.

• O Desafio: O Jira de cada empresa é diferente. Uma empresa pode chamar uma versão de "6.5", enquanto a outra chama "6.5.0 Beta". O assistente, sem acesso ao "livro" (o banco de dados real), apenas chuta.
• O Resultado: Se o assistente chutar o nome errado, o pedido falha silenciosamente (não mostra nada) ou dá erro. Eles acertavam em traduções literais, mas falhavam miseravelmente quando você mudava as palavras ou era um pouco vago.

2. A Solução: O "Chacal Agente" (Agentic Jackal)

Os pesquisadores criaram um novo tipo de assistente que não apenas "adivinha", mas age e verifica. Eles chamam isso de "agente".

Imagine que o antigo assistente era um cozinheiro que tenta fazer um prato sem provar a comida. O novo "Chacal Agente" é um cozinheiro que:

1. Prepara o prato (escreve o código).
2. Prova o prato (executa o código no Jira real).
3. Ajusta a receita se o sabor estiver errado (se o resultado estiver vazio ou der erro).

Ele faz isso em um ciclo rápido: Escrever -> Testar -> Corrigir -> Testar de novo, até acertar.

3. A Ferramenta Mágica: "JiraAnchor"

Existe um problema específico que o ciclo de "provar e ajustar" não resolve sozinho: nomes de coisas que não existem no seu cérebro.

Imagine que você pede: "Mostre-me as tarefas relacionadas a 'estruturas de dados'".

• No Jira, o nome oficial da categoria pode ser algo estranho como: "Core: Containers and Algorithms".
• O assistente não sabe que "estruturas de dados" é o mesmo que "Containers and Algorithms" a menos que ele olhe a lista oficial.

Aqui entra o JiraAnchor. Pense nele como um tradutor de gírias que consulta um dicionário vivo.

• Quando o assistente ouve "estruturas de dados", ele aciona o JiraAnchor.
• O JiraAnchor vai até o Jira real, procura por nomes parecidos (usando inteligência semântica, como um Google interno) e diz: "Ei, o nome oficial que você precisa é 'Core: Containers and Algorithms'".
• Isso evita que o assistente invente nomes que não existem.

4. O Que Eles Descobriram (Os Resultados)

Eles testaram 9 dos maiores "cérebros" de IA do mundo com esse novo sistema:

• Sem o Agente (O jeito antigo): A precisão era baixa, especialmente em pedidos vagos. Era como tentar adivinhar o código de barras de um produto sem olhar a etiqueta.
• Com o Agente (O jeito novo): A precisão subiu significativamente. O sistema conseguiu corrigir seus próprios erros ao ver que o pedido não retornava resultados.
• O Impacto do JiraAnchor: Quando o assistente usou o "dicionário vivo" (JiraAnchor) para encontrar os nomes corretos das categorias, a precisão em tarefas difíceis saltou de 48% para 71%. Foi como dar ao assistente um mapa atualizado em vez de um mapa de 1990.

5. Onde Ainda Dá Erro?

Apesar de tudo, o sistema não é perfeito. O estudo descobriu que a maioria dos erros não era por falta de dados, mas por ambiguidade humana.

• Exemplo: Se você diz "bugs", o sistema não sabe se você quer procurar pela palavra "bug" no texto do problema ou se quer filtrar apenas os itens marcados como "Tipo: Bug".
• Isso é como pedir "uma bebida gelada" em um bar. O garçom não sabe se você quer cerveja, suco ou água. O sistema precisa de mais contexto do usuário, não de mais ferramentas.

Resumo Final

O Agentic Jackal é como transformar um assistente que apenas "fala" em um assistente que faz e verifica.

• Ele usa ferramentas para provar se o pedido funciona no mundo real.
• Ele usa o JiraAnchor para olhar a lista oficial de nomes antes de escrever.
• O resultado é um sistema muito mais confiável para empresas que precisam transformar pedidos simples em comandos complexos de software, embora ainda precise de ajuda humana quando o pedido for muito confuso.

É um grande passo para fazer a tecnologia "conversar" de verdade com os sistemas que as empresas usam todos os dias.

Resumo técnico

1. O Problema

A tradução de linguagem natural para a Linguagem de Consulta Jira (JQL) enfrenta desafios significativos que os modelos de linguagem (LLMs) de "passada única" (single-pass) não conseguem resolver adequadamente:

• Ambiguidade e Referências Específicas: A JQL depende de campos categóricos (como nomes de componentes, versões de correção e rótulos) que variam drasticamente entre diferentes instâncias do Jira. Um LLM treinado em dados gerais não sabe quais valores existem realmente em uma instância específica.
• Falha na Validação: Modelos que geram consultas em uma única passada não podem verificar se a consulta gerada retorna resultados reais ou se os valores categóricos mencionados (ex: "versão 6.5") correspondem a valores existentes na base de dados (ex: "6.5.0" ou "6.5.0 Beta1").
• Ausência de Benchmarks Executáveis: Não existia um benchmark aberto baseado em execução para mapear linguagem natural para JQL, dificultando a avaliação precisa da eficácia em cenários do mundo real.

2. Metodologia

Os autores introduzem duas inovações principais para superar essas limitações:

A. Agentic Jackal (Agente Multi-etapa)

Um agente aumentado por ferramentas construído sobre o servidor Jira MCP (Model Context Protocol). Diferente de uma geração estática, o agente opera em um ciclo iterativo:

1. Geração: O LLM gera uma consulta JQL candidata.
2. Execução: A consulta é executada na instância Jira ao vivo.
3. Feedback: O sistema recebe três sinais distintos:
   • Conjunto de resultados não vazio: Confirma que a consulta é plausível.
   • Resultado zero: Indica filtros excessivamente restritivos ou valores incorretos.
   • Mensagem de erro: Aponta violações de sintaxe ou esquema.
4. Refinamento: Com base no feedback, o agente reescreve a consulta iterativamente até obter uma resposta válida ou atingir um limite de iterações.

B. JiraAnchor (Ferramenta de Ancoragem Semântica)

Uma ferramenta de recuperação semântica personalizada que resolve o problema de disambiguação de valores.

• Funcionamento: Quando o usuário menciona um valor (ex: "componente de estruturas de dados"), o JiraAnchor consulta a instância Jira ao vivo via API REST.
• Tecnologia: Utiliza busca baseada em embeddings (similaridade semântica) e correspondência de padrões (grep) para encontrar os nomes exatos dos valores armazenados na instância.
• Objetivo: Mapear menções em linguagem natural para os valores canônicos do sistema, evitando que o LLM "adivinhe" valores que não existem.

3. Contribuições Principais

1. Jackal Benchmark: O primeiro benchmark aberto, em larga escala e baseado em execução para Text-to-JQL. Contém 100.000 pares validados (Linguagem Natural – JQL) em uma instância real com mais de 200.000 issues.
2. Agentic Jackal: Estabelece a primeira linha de base agênica aberta para consultas corporativas, demonstrando que a iteração com feedback ao vivo supera a geração direta.
3. JiraAnchor: Uma nova ferramenta de recuperação de valores de campo semântica que resolve a ambiguidade de valores categóricos específicos da instância.
4. Taxonomia de Erros: Uma análise detalhada que categoriza as falhas, distinguindo entre erros de resolução de valores e ambiguidades semânticas intrínsecas.

4. Resultados Experimentais

Os autores avaliaram 9 LLMs de ponta (incluindo GPT-5, Claude, Gemini, etc.) em dois experimentos:

• Experimento 1 (Agente vs. Passada Única):

  • Modelos de passada única (naive) tiveram uma precisão média de 43,4% em consultas curtas e ambíguas.
  • A abordagem agênica melhorou a precisão de 7 dos 9 modelos.
  • O ganho foi mais significativo em consultas linguisticamente desafiadoras (Short NL), com uma melhoria relativa de 9,0%.
  • A precisão geral média subiu de 62,5% (naive) para 64,4% (agente).

• Experimento 2 (Ablação do JiraAnchor):

  • Isolando o impacto da ferramenta de valores, a precisão em consultas sensíveis a valores categóricos saltou de 48,7% para 71,7%.
  • Campo "Componentes": A precisão aumentou dramaticamente de 16,9% para 66,2%, demonstrando que sem acesso aos valores reais da instância, os modelos falham quase totalmente em nomes de componentes complexos.
  • Todos os 9 modelos mostraram ganhos positivos com o uso do JiraAnchor.

• Análise de Erros:

  • A maioria das falhas (58% em consultas curtas e 68% em consultas semanticamente similares) não se deveu à incapacidade de resolver valores, mas sim a ambiguidades de interpretação semântica (ex: distinguir entre "tipo de issue" e busca de texto, ou confusão entre versões afetadas e versões de correção). Isso indica que ferramentas sozinhas não resolvem ambiguidades de intenção do usuário.

5. Significado e Conclusão

O trabalho demonstra que, para sistemas de consulta corporativa complexos como o Jira, a execução ao vivo e a ancoragem semântica de valores são essenciais.

• Viabilidade: A abordagem agênica transforma a Text-to-JQL de um problema de geração de texto para um problema de interação com o sistema, permitindo correções direcionadas.
• Custo vs. Benefício: Embora a abordagem agênica aumente a latência (aprox. 7x) e o consumo de tokens (aprox. 15x) em comparação com a geração única, o ganho de precisão em consultas ambíguas justifica o custo em cenários críticos.
• Futuro: O estudo aponta que o próximo grande desafio não é a recuperação de valores (que o JiraAnchor resolve bem), mas a desambiguação de intenção (ex: pedir esclarecimentos ao usuário quando a linguagem natural é vaga), sugerindo que sistemas futuros devem combinar agentes executáveis com mecanismos de clarificação de intenção.

O artigo disponibiliza publicamente o benchmark, os registros (transcripts) dos agentes e o código de avaliação para garantir reprodutibilidade.