Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL

이 논문은 실제 Jira 인스턴스 기반의 대규모 실행형 벤치마크 'Jackal'과 이를 통해 자연어 대시보드 쿼리 (JQL) 생성 정확도를 획기적으로 개선한 에이전트 시스템 'Agentic Jackal'을 제안하며, 기존 단일 패스 LLM 의 한계를 극복하고 의미적 모호성을 해결하는 새로운 방향을 제시합니다.

핵심

📖 1. 문제: 왜 AI 는 도서관에서 책을 못 찾을까?

자바스크립트 쿼리 언어 (JQL) 는 프로젝트 관리 도구인 '자라 (Jira)'에서 데이터를 검색할 때 쓰는 복잡한 언어입니다. 일반 사용자는 "지난달에 버그가 생긴 '결제 시스템' 관련 티켓을 찾아줘"라고 말하지만, AI 는 이를 기계가 이해하는 언어로 바꿔야 합니다.

하지만 기존 AI 는 두 가지 큰 실수를 저지릅니다:

1. 실제 존재하지 않는 책을 찾는 실수 (가상의 값):

   • 상황: 사용자가 "버전 6.5"라고 말하면, AI 는 "아, 6.5 가 있겠지"라고 추측해서 검색어를 만듭니다.
   • 문제: 실제 도서관 (자라 시스템) 에는 '6.5'라는 책이 없고, '6.5.0'이나 '6.5.0 베타'만 있을 수 있습니다. AI 가 추측한 값은 존재하지 않으므로 검색 결과가 텅 비게 됩니다.
   • 비유: 친구에게 "내일 '새로운 커피'를 사줘"라고 했는데, 친구가 가상의 '새로운 커피'라는 메뉴를 상상해서 주문했다가 가게에서 "그런 건 없습니다"라고 하는 상황입니다.

2. 실수를 고치지 않는 실수 (한 번에 끝내기):

   • 상황: AI 가 잘못된 검색어를 만들어서 결과가 0 개가 나오면, 그냥 "아, 결과가 없네"라고 끝냅니다.
   • 문제: AI 는 "내가 잘못 썼구나"라고 깨닫고 다시 검색어를 수정할 기회를 가지지 못합니다.
   • 비유: 길 잃은 사람이 지도를 잘못 보고 헤매는데, "이 길이 아닌 것 같다"고 생각해서 다시 길을 물어보거나 지도를 다시 보는 대신, 그냥 그 자리에서 멈추는 것과 같습니다.

---

🚀 2. 해결책: '잭날 (Jackal)'이라는 새로운 AI 비서

연구팀은 이 문제를 해결하기 위해 **에이전틱 잭날 (Agentic Jackal)**이라는 새로운 시스템을 만들었습니다. 이는 단순한 번역기가 아니라, **직접 도서관을 돌아다니며 확인하는 '현실 감각이 있는 비서'**입니다.

이 비서는 두 가지 강력한 도구를 사용합니다:

🛠️ 도구 1: '자라 앵커 (JiraAnchor)' - 실제 목록 확인기

• 역할: 사용자가 "버전 6.5"라고 말하면, AI 는 바로 검색하지 않고 먼저 **실제 도서관 목록 (자라 데이터베이스)**을 뒤져봅니다.
• 작동 방식: "6.5"와 가장 비슷한 실제 책 제목 (예: '6.5.0 Beta1') 을 찾아내서 정확한 이름을 가져옵니다.
• 비유: 친구가 "새로운 커피"를 원할 때, AI 가 상상해서 주문하는 게 아니라, 카페 메뉴판 (실제 목록) 을 먼저 확인하고 "아, 메뉴판에는 '6.5.0 베타'라고 되어 있네요"라고 정확한 이름을 알려주는 것입니다.
• 효과: 이 도구 하나만으로도 AI 의 정확도가 **48% 에서 71%**로 크게 올랐습니다. 특히 '컴포넌트 (부품 이름)' 같은 복잡한 이름에서 효과가 뛰어났습니다.

🔄 도구 2: '실시간 실행 루프' - 실수 고치기

• 역할: AI 가 검색어를 만들어내면, 바로 자라 시스템에 실행해 봅니다.
• 작동 방식:
  • 결과가 나오면? 👉 "좋아, 이대로 제출!"
  • 결과가 0 개면? 👉 "아, 내가 너무 엄격하게 썼구나. 조건을 좀 풀어서 다시 검색해 볼게."
  • 오류가 나면? 👉 "문법 실수였네. 고쳐서 다시 해 볼게."
• 비유: 요리사가 레시피를 보고 요리를 만들 때, 맛을 보고 "소금이 너무 많네? 물을 좀 더 넣어야겠다"라고 실제 맛을 보고 수정하는 과정입니다.

---

📊 3. 실험 결과: 얼마나 잘할까?

연구팀은 최신 AI 모델 9 개를 테스트했습니다.

• 기존 AI (단순 번역기): 질문이 복잡하거나 애매하면 43% 만 정확했습니다. (대부분의 실수가 '가상 값 추측' 때문이었습니다.)
• 새로운 에이전트 (잭날): 질문이 애매할 때 (예: "버그가 있는 것 찾아줘"라고만 할 때) 정확도가 9% 이상 향상되었습니다.
• 가장 큰 성과: '컴포넌트'나 '버전' 같은 구체적인 값을 찾아야 할 때, 자라 앵커를 쓴 AI 는 정확도가 **16% 에서 66%**로 폭발적으로 늘어났습니다.

---

⚠️ 4. 여전히 해결되지 않은 문제 (한계점)

하지만 이 비서도 만능은 아닙니다. 연구팀은 AI 가 실패하는 가장 큰 원인이 **도구의 부족이 아니라 '의미의 모호함'**임을 발견했습니다.

• 예시: 사용자가 "버그 (bug)"라고 말했을 때, AI 는 이것이 "버그라는 이름의 티켓"을 의미하는지, 아니면 "요약란 (summary) 에 '버그'라는 글자가 있는 티켓"을 의미하는지 구분하지 못합니다.
• 비유: "내일 비가 오면 우산을 챙겨줘"라고 했을 때, AI 가 "우산이 비를 막아주니까 우산을 챙겨야지"라고 생각하지만, 실제로는 "우산이 아니라 방수 재킷이 필요할 수도 있다"는 맥락을 이해하지 못하는 것입니다.
• 결론: AI 가 값을 찾는 것은 잘하지만, **사용자가 진짜 무엇을 원하는지 (의도)**를 파악하는 것은 여전히 어렵습니다.

---

💡 5. 결론: 요약하자면

이 논문은 **"AI 가 복잡한 데이터베이스를 다룰 때는, 단순히 말을 번역하는 것만으로는 부족하고, 실제 데이터를 확인하고 실수를 수정할 수 있는 '현실 감각'이 필요하다"**는 것을 증명했습니다.

• 기존 방식: AI 가 혼자서 상상해서 답을 냄 → 자주 틀림.
• 새로운 방식 (잭날): AI 가 **실제 목록을 확인 (자라 앵커)**하고, **결과를 보고 수정 (실행 루프)**함 → 훨씬 정확해짐.

이 기술은 기업들이 복잡한 프로젝트 관리 시스템을 더 쉽고 정확하게 사용할 수 있게 도와주는 중요한 첫걸음입니다. 다만, AI 가 사람의 '뉘앙스'나 '의도'를 완벽히 이해하는 것은 아직 더 연구가 필요하다는 점도 함께 알려줍니다.

기술 요약

Agentic Jackal: 텍스트-to-JQL 을 위한 실행 기반 에이전트 및 의미적 가치 정합성 기술 요약

이 논문은 Atlassian Jira 의 쿼리 언어인 JQL(Jira Query Language) 을 자연어로 변환하는 작업 (Text-to-JQL) 에서 발생하는 근본적인 한계를 해결하기 위해 제안된 Agentic Jackal 프레임워크와 JiraAnchor 도구를 소개합니다. 저자들은 단일 회귀 (single-pass) LLM 모델이 실시간 데이터 소스를 검증하거나 인스턴스별 고유한 범주형 값을 파악하지 못해 정확도가 낮다는 문제를 지적하고, 이를 해결하기 위한 실행 기반 에이전트 접근법을 제시합니다.

1. 문제 정의 (Problem)

자연어에서 JQL 로의 변환은 다음과 같은 세 가지 주요 난제를 안고 있습니다:

• 모호한 필드 참조: "버그", "이슈"와 같은 자연어 표현이 실제 JQL 의 issuetype 필드를 의미하는지, 아니면 summary 텍스트 필드를 검색하는 것인지 구분이 어렵습니다.
• 인스턴스별 범주형 값 (Categorical Values): Jira 인스턴스마다 component(컴포넌트), fixVersion(수정 버전) 등의 값이 다릅니다. 모델은 훈련 데이터에 없는 특정 인스턴스의 실제 값 (예: "6.5"가 아닌 "6.5.0 Beta1") 을 알 수 없어, 존재하지 않는 값을 생성하여 빈 결과를 반환하는 오류를 범합니다.
• 복잡한 불리언 논리: JQL 은 복잡한 논리 연산과 시계열 예측을 지원하지만, 단일 회귀 LLM 은 이를 정확히 생성하고 검증하기 어렵습니다.

기존의 단일 회귀 (single-turn) LLM 은 실시간 피드백 루프가 없어 생성된 쿼리가 실제 데이터와 일치하는지 확인할 수 없으며, 이는 문맥이 모호하거나 재구성된 (paraphrased) 요청일 때 정확도가 30% 미만으로 급락하는 원인이 됩니다.

2. 방법론 (Methodology)

2.1. Agentic Jackal (에이전트 아키텍처)

저자는 Agentic Jackal을 제안했습니다. 이는 Jira MCP(Machine Control Protocol) 서버를 기반으로 한 도구 증강형 (tool-augmented) 다단계 에이전트입니다.

• 반복적 정제 루프: 에이전트는 자연어 요청을 받아 JQL 쿼리를 생성한 후, Jira Search 도구를 통해 실시간 Jira 인스턴스에 쿼리를 실행합니다.
• 피드백 신호: 실행 결과는 세 가지 신호로 에이전트에 반환됩니다.
  1. 비어있지 않은 결과: 쿼리가 유효함.
  2. 빈 결과 (Zero-result): 필터가 너무 엄격하거나 값이 잘못됨.
  3. 오류 메시지: 구문 오류 또는 스키마 위반.
• 동작: 에이전트는 이러한 피드백을 바탕으로 쿼리를 수정하거나 조건을 완화하여 최종적으로 검증된 JQL 을 반환합니다.

2.2. JiraAnchor (의미적 가치 정합성 도구)

인스턴스별 고유한 값을 해결하기 위해 JiraAnchor라는 새로운 의미 검색 도구를 개발했습니다.

• 기능: 자연어로 언급된 값 (예: "데이터 구조 관련") 을 실제 Jira 인스턴스에 저장된 정확한 값 (예: "Core: Containers and Algorithms") 으로 매핑합니다.
• 작동 방식:
  1. REST API 를 통해 해당 필드의 모든 고유 값을 실시간으로 가져옵니다.
  2. 임베딩 기반 유사도 검색 (Embedding-based similarity search) 및 정규식 매칭을 사용하여 사용자 요청과 가장 유사한 실제 값들을 랭킹합니다.
  3. 에이전트는 이 후보 값들 중 하나를 선택하여 JQL 에 삽입함으로써 "존재하지 않는 값" 오류를 방지합니다.

2.3. 벤치마크 (Jackal)

• Jackal-1K: 100,000 개의 유효한 NL-JQL 쌍을 포함한 대규모 벤치마크에서 선별된 1,000 개의 쿼리 세트로, 4 가지 자연어 변형 (Semantically Exact, Long NL, Short NL, Semantically Similar) 을 포함합니다.
• Field-Value Evaluation Set: JiraAnchor 의 효과를 격리하여 평가하기 위해 설계된 217 개의 2 절 (clause) 쿼리 세트입니다.

3. 주요 기여 (Key Contributions)

1. Agentic Jackal: Jira MCP 서버와 실시간 실행 피드백을 활용한 최초의 오픈 소스 에이전트 기반 Text-to-JQL 베이스라인을 구축했습니다.
2. JiraAnchor: 자연어 언급을 실시간 인스턴스 값으로 정합 (Grounding) 하는 새로운 의미 검색 도구를 제안했습니다.
3. 오류 분류 체계 (Error Taxonomy): 모델 실패 원인을 분석하여 '값 해결 오류'가 아닌 '의미적 해석 모호성 (Issue Type, Text Field, Version Confusion)'이 주된 실패 원인임을 규명했습니다.
4. 공개 자료: 벤치마크, 에이전트 트랜스크립트, 평가 코드를 공개하여 재현성을 보장합니다.

4. 실험 결과 (Results)

4.1. 실행 정확도 (Execution Accuracy)

9 개의 최첨단 LLM(GPT-5.2, Claude Opus, Gemini 등) 을 대상으로 평가한 결과:

• 전반적 개선: 에이전트 접근법은 9 개 모델 중 7 개에서 성능을 향상시켰습니다. 평균 실행 정확도는 **62.5% (Naive) → 64.4% (Agentic)**로 상승했습니다.
• Short NL 에서의 효과: 문맥이 가장 부족한 "Short NL" 변형에서 **3.9% (상대적 9.0% 향상)**의 큰 개선을 보였습니다. 이는 실행 피드백이 모호한 요청을 보정하는 데 효과적임을 의미합니다.
• JiraAnchor 의 영향 (Field-Value Evaluation):
  • 전체 평균 정확도: 48.7% → 71.7% (약 23% 향상).
  • Component 필드: 정확도가 **16.9% → 66.2%**로 폭발적으로 증가했습니다. 이는 모델이 컴포넌트 이름의 인스턴스별 규칙을 추론하지 못해 실패했으나, JiraAnchor 가 이를 해결했기 때문입니다.
  • Version 필드: fixVersion과 affectedVersion 에서도 일관된 개선을 보였습니다.

4.2. 오류 분석 (Error Analysis)

수동 오류 분석 결과, 에이전트의 실패 원인은 다음과 같이 분류되었습니다:

• 주된 실패 원인: 값 해결 (Value Resolution) 오류가 아니라 의미적 해석 모호성이 지배적이었습니다.
  • Issue Type 해석: "버그"를 issuetype=Bug로 해석해야 할지 summary~"bug"로 검색해야 할지 혼동 (Sem. Similar 실패의 41%).
  • 텍스트 필드 선택: summary와 description 중 어떤 필드를 검색할지 구분 불가 (Short NL 실패의 31%).
  • 버전 혼동: fixVersion과 affectedVersion 구분 실패.
• 결론: 도구 (Tool) 는 값 해결에는 탁월하지만, 자연어 자체의 모호성이나 벤치마크 구축 관행에서 오는 의미적 해석 문제는 추가적인 사용자 확인이나 richer context 가 필요함을 시사합니다.

4.3. 운영 비용 (Operational Cost)

• 지연 시간 (Latency): 에이전트 방식은 단일 회귀 방식보다 약 7 배 (평균 4.8s → 32.4s) 느립니다. 이는 여러 번의 LLM 추론과 도구 호출 때문입니다.
• 토큰 사용량: 약 15 배 증가합니다.
• 타당성: 모호한 쿼리에 대한 정확도 향상이 비용 증가를 상쇄할 수 있으므로, 중요한 엔터프라이즈 환경에서는 타당한 트레이드오프로 판단됩니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 Text-to-SQL 및 Text-to-JQL 분야에서 단순한 프롬프트 엔지니어링을 넘어, 실시간 실행 피드백과 도구 증강 (Tool Augmentation) 이 필수적임을 입증했습니다.

• 실시간 검증의 중요성: 생성된 쿼리가 실제 데이터베이스에서 실행 가능한지 확인하는 루프가 없으면, 특히 모호한 요청이나 인스턴스별 값이 필요한 경우 성능이 급격히 저하됩니다.
• 가치 정합성 (Value Grounding): JiraAnchor 와 같은 도구는 모델이 훈련 데이터에 없는 인스턴스별 값을 추측하는 대신, 실제 소스에서 값을 찾아오게 함으로써 정확도를 획기적으로 높입니다.
• 미래 방향: 도구 기반 접근이 값 해결 문제를 해결했지만, 의미적 모호성 (의도 파악) 문제는 여전히 남아있으므로, 사용자 확인 메커니즘이나 더 풍부한 컨텍스트 제공이 향후 연구 과제로 제시됩니다.

요약하자면, Agentic Jackal은 자연어 인터페이스가 복잡한 엔터프라이즈 시스템 (Jira) 에서 실제로 작동하기 위해서는 "생성"뿐만 아니라 "실행, 검증, 정합성 확보"를 위한 다단계 에이전트 아키텍처가 필요하다는 것을 보여주는 중요한 사례입니다.