Agentic SPARQL: Evaluating SPARQL-MCP-powered Intelligent Agents on the Federated KGQA Benchmark

이 논문은 SPARQL-MCP 기반의 지능형 에이전트가 분산 지식 그래프 질문 응답 (FKGQA) 을 수행할 수 있도록 기존 벤치마크를 확장하고, 엔드포인트 탐색 및 쿼리 구성 등 다양한 아키텍처를 평가하여 자동화된 SPARQL 페더레이션과 에이전트형 AI 의 융합 가능성을 탐구합니다.

핵심

🧐 핵심 비유: "전 세계 도서관을 연결하는 마법 사서"

상상해 보세요. 여러분이 **"팀 버너스리의 출판물 중 위키데이터에도 있는 것만 찾아줘"**라고 질문했다고 칩시다.

과거의 AI 는 이 질문에 답하기 위해 다음과 같은 문제를 겪었습니다:

1. 어디서 찾아야 할지 모름: DBLP(학술 데이터베이스) 와 위키데이터는 서로 다른 곳에 있습니다.
2. 언어가 다름: 각 도서관마다 질문하는 방식 (쿼리) 이 조금씩 다릅니다.
3. 혼란: AI 가 실수해서 엉뚱한 도서관을 찾거나, 문법 틀린 질문을 던져서 실패합니다.

이 논문은 **MCP(Model Context Protocol)**라는 새로운 '마법 도구'를 이용해, AI 가 스스로 이 모든 문제를 해결하도록 만들었습니다.

🚀 이 논문이 해결한 3 가지 주요 문제

1. "어디에 있는 책일까?" (엔드포인트 발견)

• 비유: 전 세계에 수만 개의 도서관이 있는데, AI 가 "어떤 도서관에 내가 원하는 책이 있을까?"를 스스로 찾아내야 합니다.
• 해결: 이 연구는 AI 가 자동으로 관련 도서관 (엔드포인트) 을 찾아내고, 그 도서관의 목록 (스키마) 을 훑어보는 능력을 길러주었습니다. 마치 AI 가 "아, 이 주제는 A 도서관과 B 도서관에 있을 것 같아"라고 스스로 판단하는 것입니다.

2. "여러 도서관을 한 번에 어떻게 연결하지?" (페더레이션)

• 비유: A 도서관에서 '저자' 정보를 찾고, B 도서관에서 'DOI(문서 번호)' 정보를 찾아야 할 때, AI 가 이 두 정보를 스스로 연결해야 합니다.
• 해결: AI 가 "A 도서관에서 이 책을 찾고, 그 결과를 B 도서관으로 보내서 비교해라"라는 복합 명령을 스스로 만들어냅니다. 이를 '페더레이션 (연계)'이라고 합니다.

3. "실수하지 않게 어떻게 도와줄까?" (메타데이터)

• 비유: 도서관에 들어가기 전에 "이 도서관은 자동차 관련 책이 많아요"라는 간단한 안내문을 주는 것과, 도서관 전체의 수천 페이지에 달하는 상세 목록을 주는 것 중 무엇이 더 도움이 될까요?
• 발견: 놀랍게도, AI 는 **간단한 안내문 (고수준 설명)**을 받는 것이 더 잘 작동했습니다. 너무 복잡한 상세 목록은 오히려 AI 를 혼란스럽게 만들었습니다.

---

🧪 실험 결과: 어떤 AI 가 잘할까?

연구진은 두 가지 AI 를 시험해 보았습니다.

1. GPT-5.2 (대형 모델):

   • 성격: 탐험가. "어디에 있을지 모르니까 여러 도서관을 하나씩 가보며 확인해 보자"라고 지혜롭게 접근합니다.
   • 결과: 정답률이 **약 45%**로 매우 훌륭했습니다. 기존에 사람이 만든 시스템과 비슷하거나 더 좋은 성능을 냈습니다.
   • 특징: 불필요한 도서관을 방문하지 않고, 필요한 곳만 정확히 찾았습니다.

2. Qwen3-8B (소형 모델):

   • 성격: 무작위 탐색자. "모든 도서관에 한 번에 질문을 던져보자"라고 무식하게 접근합니다.
   • 결과: 정답률이 **약 13%**로 낮았습니다.
   • 문제: 문법 실수가 많고, 모든 도서관을 다 뒤져서 시간만 낭비하는 '비효율적인' 행동을 보였습니다.

---

💡 결론 및 시사점

이 논문은 **"AI 가 스스로 여러 데이터 소스를 연결해서 복잡한 질문에 답할 수 있다"**는 것을 증명했습니다.

• 성공: 충분히 똑똑한 AI(GPT-5.2) 는 복잡한 데이터 연결도 잘 해냅니다.
• 한계: 아직 작은 AI 는 문법 실수가 많고, 모든 것을 다 뒤지는 비효율적인 행동을 합니다.
• 미래: 앞으로는 AI 가 더 똑똑해지고, 데이터 도서관들이 더 잘 정리된다면, 우리가 "오늘 날씨와 관련된 역사적 사건을 찾아줘"라고 말만 하면, AI 가 전 세계의 날씨 데이터와 역사 데이터를 자동으로 연결해서 완벽한 답을 줄 날이 올 것입니다.

한 줄 요약:

"이 연구는 AI 에게 '여러 도서관을 스스로 찾아서 연결해 답을 내놓는 능력'을 가르쳤고, 똑똑한 AI 는 이를 잘 해내지만, 아직 작은 AI 는 조금 더 훈련이 필요하다는 것을 발견했습니다."

기술 요약

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델 (LLM) 기반의 '에이전트 (Agentic)' AI 가 외부 도구와 데이터 소스에 접근하여 복잡한 작업을 수행하는 능력이 주목받고 있습니다. 특히 MCP(Model Context Protocol) 는 LLM 이 도구와 연결되는 표준 프로토콜로 부상했습니다. 그러나 지식 그래프 질문 응답 (KGQA) 분야에서 다음과 같은 주요 문제들이 존재합니다.

• 연결된 데이터 (Linked Data) 의 분산성: SPARQL 엔드포인트는 분산되어 있으며, 에이전트가 단일 엔드포인트가 아닌 여러 소스를 연결하여 (Federated Querying) 질의해야 하는 경우가 많습니다.
• 기존 에이전트 접근법의 한계: 현재 MCP 기반 에이전트 연구는 주로 단일 데이터베이스나 엔드포인트에 국한되어 있으며, 동적 엔드포인트 발견 (Discovery), 스키마 탐색 (Schema Exploration), 그리고 페더레이티드 (Federated) 질의 생성을 체계적으로 다루지 못했습니다.
• 실제 환경의 난제:
  • 인터페이스 이질성: 엔드포인트가 제공하는 SPARQL 지원 수준 (기능, 메타데이터 등) 이 제각각입니다.
  • 메타데이터 부재: 효율적인 소스 선정을 위한 표준화된 메타데이터 (VoID 등) 가 부족합니다.
  • 지연 및 가용성: 엔드포인트의 응답 지연, 타임아웃, 차단 (Blocking) 문제 등이 질의 계획 수립을 방해합니다.
  • 질의 정확도: 자연어 질문을 페더레이티드 SPARQL 질의로 변환할 때, 올바른 엔드포인트와 스키마 (접두사 등) 를 예측하는 것이 어렵습니다.

2. 방법론 (Methodology)

이 논문은 에이전트 AI 와 페더레이티드 SPARQL 을 결합한 "Agentic SPARQL" 을 제안하고 이를 평가하기 위한 체계적인 접근법을 제시합니다.

가. SPARQL-MCP 서버 구현

에이전트가 페더레이티드 SPARQL 을 실행할 수 있도록 SPARQL-MCP라는 새로운 MCP 서버를 개발했습니다.

• 기능:
  • 페더레이티드 질의 실행: run_sparql_query 도구를 통해 SPARQL 질의를 처리합니다. SERVICE 연산자가 포함된 질의는 로컬 페더레이션 엔진을 통해 분해되어 원격 엔드포인트로 전송됩니다.
  • 엔드포인트 발견 및 스키마 탐색: get_void_descriptions 도구를 통해 VoID (Vocabulary for Interlinking Datasets) 메타데이터를 동적으로 검색하고 캐싱하여 에이전트가 스키마를 이해하도록 돕습니다.
  • 프록시 아키텍처: Wikidata 와 같은 주요 엔드포인트의 SERVICE 호출 차단 문제를 해결하기 위해, 모든 다중 에이전트 SERVICE 질의를 프록시 페더레이션 엔진으로 리디렉션하여 처리합니다.

나. FKGQA 벤치마크 구축 (Federated KGQA Benchmark)

기존의 단일 지식 그래프 벤치마크인 Spider4SPARQL을 확장하여 페더레이티드 환경을 평가할 수 있는 FKGQA 벤치마크를 만들었습니다.

• 데이터 파티셔닝: 19 개의 RDF 데이터셋을 118 개의 샤드 (Shard) 로 분할하여 각각 별도의 엔드포인트로 호스팅했습니다.
• 분할 전략:
  • 수직 분할 (Predicate-based): 술어 (Predicate) 기반 분할.
  • 클래스 분할 (Class-based): 클래스 (Type) 기반 분할.
  • 수평 분할 (Horizontal): 인스턴스 (Subject) 해시 기반 분할.
• 특징: 에이전트가 질의 수행 전 어떤 엔드포인트가 필요한지 스스로 찾아내야 하도록 설계되었습니다. (기존 벤치마크는 엔드포인트 URL 을 미리 제공함)

다. 평가 설정

• 모델: 고성능 모델인 GPT-5.2와 오픈 가중치 경량 모델인 Qwen3-8B를 사용했습니다.
• 시나리오:
  1. Baseline: 엔드포인트 URL 만 제공, 페더레이션 툴 사용 가능.
  2. High-level: URL 과 간단한 자연어 설명 제공.
  3. VoID Tool: URL 과 VoID 메타데이터 검색 툴 사용 가능.
• 에이전트 구조: ReAct(Reason+Act) 패턴을 따르는 에이전트가 툴 호출과 LLM 추론을 반복하며 질의를 생성하고 수정합니다.

3. 주요 기여 (Key Contributions)

1. Agentic SPARQL 개념 정립 및 구현: MCP 프로토콜을 통해 에이전트가 페더레이티드 SPARQL 엔드포인트를 발견, 탐색, 질의하는 최초의 체계적인 프레임워크를 제시했습니다.
2. FKGQA 벤치마크 개발: 페더레이티드 환경에서의 에이전트 성능을 평가하기 위해, 엔드포인트 발견과 스키마 탐색이 필수적인 새로운 벤치마크를 구축하고 오픈했습니다.
3. SPARQL-MCP 서버: 페더레이션, 엔드포인트 등록, VoID 메타데이터 처리를 지원하는 오픈 소스 MCP 서버를 구현했습니다.
4. 광범위한 실증 평가: 5,814 회 이상의 에이전트 실행을 통해 다양한 아키텍처와 모델의 성능을 비교 분석했습니다.

4. 결과 (Results)

• 성능 정확도:
  • GPT-5.2: 베이스라인 (42.1%), 고수준 설명 (45.4%), VoID 툴 (43.5%) 에서 약 42~45% 의 정확도를 달성했습니다. 이는 기존 단일 그래프 벤치마크 (Spider4SPARQL) 에서의 최첨단 성능 (약 45%) 과 유사한 수준으로, 페더레이션의 복잡성에도 불구하고 고성능 모델이 효과적으로 작동함을 입증했습니다.
  • Qwen3-8B: 모든 설정에서 약 13% 대의 낮은 정확도를 보였으며, 구문 오류율이 매우 높았습니다 (41.5%~61.1%). 이는 모델의 규모와 SPARQL 전문성 부족이 주요 병목임을 시사합니다.
• 엔드포인트 선정 능력:
  • GPT-5.2: 고수준 설명 (High-level descriptions) 을 제공받았을 때 불필요한 모든 엔드포인트를 조회하는 '기피 (Trivial)' 질의 비율이 90.2% 에서 11.0% 로 크게 감소했습니다. 반면, 상세한 VoID 메타데이터는 오히려 성능 향상에 덜 효과적이었습니다.
  • Qwen3-8B: 거의 모든 경우 (68.5%~98.6%) 에 모든 엔드포인트를 동시에 조회하는 비효율적인 전략을 취했습니다.
• 행동 패턴:
  • GPT-5.2: 점진적인 탐색 (Exploration) 전략을 사용하여 엔드포인트를 하나씩 확인하고 질의를 수정했습니다.
  • Qwen3-8B: 탐색이 거의 없으며, 모든 엔드포인트를 동시에 질의하는 '브루트 포스' 방식에 의존했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 타당성 입증: 충분히 강력한 LLM 을 사용하면 에이전트가 페더레이티드 SPARQL 질의 (엔드포인트 발견, 스키마 탐색, 질의 생성) 를 성공적으로 수행할 수 있음을 증명했습니다.
• 메타데이터 설계의 통찰: 복잡한 VoID 메타데이터보다는 간결한 고수준 자연어 설명이 에이전트의 소스 선정에 더 효과적일 수 있음을 발견했습니다. 이는 에이전트 중심의 메타데이터 설계 방향을 제시합니다.
• 모델 규모의 중요성: 소형 모델은 SPARQL 구문 생성과 복잡한 페더레이션 계획 수립에 한계가 명확하므로, 생산 환경 적용을 위해서는 모델 규모 확장이나 SPARQL 특화 파인튜닝이 필수적입니다.
• 미래 작업:
  • 소형 모델을 위한 SPARQL 특화 파인튜닝 및 구조화된 질의 생성 파이프라인 개발.
  • 에이전트에게 더 적합한 메타데이터 구조 연구.
  • 실시간 엔드포인트 가용성 및 지연 시간을 고려한 동적 질의 최적화 (Registry 및 카탈로그 확장).

이 연구는 웹의 데이터 (Web of Data) 에 접근하는 에이전트 AI 의 새로운 패러다임을 제시하며, 분산된 지식 그래프를 활용한 지능형 애플리케이션 개발의 기초를 마련했다는 점에서 의미가 큽니다.