Towards Intelligent Geospatial Data Discovery: a knowledge graph-driven multi-agent framework powered by large language models

1. 연구 배경 및 문제 정의 (Problem)

• 데이터 환경의 복잡성: 빅데이터 시대에 지리공간 데이터의 양, 다양성, 속도가 급격히 증가하여 분산되고 이질적이며 의미론적으로 불일치하는 데이터 생태계가 형성되었습니다.
• 기존 시스템의 한계: 기존 데이터 카탈로그 및 포털은 주로 키워드 기반 검색에 의존하고 있습니다. 이는 사용자의 의도 (Intent) 를 정확히 파악하지 못하며, 의미론적 지원이 부족하여 검색 성능이 낮고, 사용자가 원하는 데이터를 찾기 위해 반복적인 시도를 강요하는 '시행착오' 과정을 유발합니다.
• 필요성: 자동화된 지리정보시스템 (Autonomous GIS) 의 핵심 구성 요소로서, 사용자의 자연어 질의를 이해하고 구조화된 검색 및 원칙적인 랭킹을 수행하는 지능형 데이터 발견 시스템의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

본 연구는 **대규모 언어 모델 (LLM)**과 **지식 그래프 (Knowledge Graph)**를 결합한 멀티 에이전트 협업 프레임워크를 제안합니다. 전체 아키텍처는 다음과 같은 세 가지 핵심 구성 요소로 이루어집니다.

가. 지리공간 메타데이터 지식 그래프 (Geospatial Metadata Knowledge Graph)

• 통합 온톨로지 설계: STAC, FGDC CSDGM, CKAN 등 다양한 메타데이터 표준을 하나의 공유 온톨로지로 매핑하는 '의미론적 중재 계층 (Semantic Mediation Layer)'을 구축했습니다.
  • 핵심 엔티티: Dataset, Topic, Keyword, Space, Time, License, Organization, Source, Resource, Format.
  • 관계: HAS_TOPIC, HAS_SPACE, PUBLISHED_BY 등 명시적인 의미 관계 정의.
• 그래프 구축 프로세스:
  1. 메타데이터 수집 및 정규화: 다양한 소스의 메타데이터를 온톨로지에 매핑.
  2. 임베딩 및 토픽 생성: LLM 을 활용하여 데이터셋 제목/설명에서 'Topic'을 자동 생성하고, 텍스트 임베딩 모델을 사용하여 벡터 표현 생성.
  3. 보완 및 인덱싱: 누락된 공간/시간 메타데이터를 LLM 을 통해 추론하여 보완하고, 벡터/공간/시간 인덱스를 생성하여 검색 성능 최적화.

나. 멀티 에이전트 협업 프레임워크 (Multi-Agent Framework)

사용자의 자연어 질의에서 결과 도출까지의 과정을 세 가지 에이전트가 순차적으로 처리합니다.

1. 의도 파싱 에이전트 (Intent Parsing Agent):
   • 사용자의 자연어 질의를 구조화된 '지리공간 의도 (GeoIntent)'로 변환합니다.
   • 토픽, 공간 범위, 시간 범위, 조직, 포맷, 라이선스 등의 제약 조건을 추출합니다.
   • 신뢰도 평가: 추출된 의도에 대한 신뢰도 점수를 산출하여 임계값 미만일 경우 인간 개입 (Human-in-the-loop) 을 통해 질의를 명확화합니다.
2. 그래프 검색 에이전트 (Graph Retrieval Agent):
   • GeoIntent 를 기반으로 지식 그래프에서 관련 데이터셋을 검색합니다.
   • 하드 필터링: 공간 및 시간 제약 조건을 엄격하게 적용하여 후보를 선별합니다.
   • 다차원 관련성 점수화: 토픽, 공간, 시간 등 다양한 차원의 가중치 합산 모델과 F1 점수 기반 메트릭을 사용하여 초기 랭킹을 수행합니다.
3. 답변 합성 에이전트 (Answer Synthesis Agent):
   • 검색 에이전트의 Top K 결과를 재랭킹 (Reranking) 하고 최종 Top N 결과를 생성합니다.
   • LLM 을 활용하여 각 데이터셋이 사용자의 의도와 어떻게 매칭되는지에 대한 **해석 가능한 설명 (Matching Rationale)**을 생성합니다.
   • 지식 그래프의 하위 그래프 (Subgraph) 를 시각화하여 발견 과정의 투명성을 제공합니다.

다. 시스템 오케스트레이션 및 메모리

• 전체 워크플로우를 조율하고, 대화 컨텍스트, 파싱된 의도, 중간 결과 등을 메모리 모듈에 저장하여 다중 턴 대화와 의도 진화를 지원합니다.

3. 주요 기여 (Key Contributions)

1. 통합 의미론적 모델링: 이질적인 메타데이터 표준을 통합 온톨로지로 매핑하여 플랫폼 간 의미 정렬을 가능하게 하고 지식 그래프 구축의 기반을 마련했습니다.
2. 해석 가능한 멀티 에이전트 워크플로우: 의도 파싱, 그래프 검색, 답변 합성을 모듈화된 파이프라인으로 통합하여, 자연어 질의부터 발견 결과까지의 전 과정을 투명하고 해석 가능하게 만들었습니다.
3. 성능 검증: 기존 시스템 대비 의도 매칭 정확도, 랭킹 품질, 재현율 (Recall), 그리고 발견 투명성이 크게 향상되었음을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: 100 개의 다양한 복잡도 (단일 제약부터 복합 제약까지) 를 가진 테스트 쿼리를 사용하여 평가했습니다. 평가 지표로는 의도 매칭 정확도 (EIMR), 랭킹 품질 (NDCG@10), 재현율 (Recall@20) 을 사용했습니다.
• 성능 비교:
  • 의도 파싱: 전체 EIMR 이 **99.27%**로 매우 높은 정확도를 보였습니다.
  • 랭킹 품질 (NDCG@10): 제안된 시스템 (IGDD-G&A) 은 **85.22%**를 기록하여, 기존 포털인 Data.gov(43.65%) 보다 약 41.57%p 향상되었습니다. 특히 답변 합성 에이전트 제거 시 성능이 크게 저하됨을 확인하여 해당 에이전트의 중요성을 입증했습니다.
  • 재현율 (Recall@20): 제안 시스템은 **66.54%**의 재현율을 보였으며, Data.gov(34.61%) 대비 31.93%p 향상되었습니다. 복잡한 쿼리일수록 성능 격차가 커지는 경향을 보였습니다.
• 사용 사례: 기후 데이터, 미국 인구조사 데이터, 공중보건 데이터 (HIV, 오피오이드), 위성 영상 (DEM, NDVI) 등 다양한 분야에서 다중 소스 통합 및 정밀한 매칭 능력을 입증했습니다. 특히 모호한 질의 ("South") 에 대해 인간 개입을 통해 구체화 ("Florida") 하는 다중 턴 대화 기능이 효과적으로 작동했습니다.

5. 의의 및 결론 (Significance)

• 지능형 데이터 발견의 패러다임 전환: 단순 키워드 검색을 넘어, 사용자의 의도를 이해하고 구조화된 지식을 활용하는 의미론적 (Semantic) 및 의도 인식 (Intent-aware) 패러다임으로의 전환을 제시했습니다.
• 자율 GIS (Autonomous GIS) 의 실현: Level 3 자율 GIS 의 핵심 요소인 데이터 수집 및 준비 단계를 자동화하는 실질적인 기반을 제공했습니다.
• 확장성: 이 프레임워크는 다양한 지리공간 데이터 생태계에 적용 가능하며, 향후 데이터 전처리 및 분석-ready 데이터 생성으로 범위를 확장하여 완전한 자율 분석 파이프라인을 구축할 수 있는 가능성을 열었습니다.

이 연구는 지리공간 데이터의 발견 과정을 더욱 지능화하고 투명하게 만들어, 차세대 지능형 공간 데이터 인프라 및 자율 GIS 구현에 중요한 방법론적 토대를 마련했다는 점에서 의의가 큽니다.