EmpiRE-Compass: A Neuro-Symbolic Dashboard for Sustainable and Dynamic Knowledge Exploration, Synthesis, and Reuse

논문 요약: EmpiRE-Compass

1. 문제 정의 (Problem)

소프트웨어 공학 (SE) 및 요구사항 공학 (RE) 분야는 과학적 출판물의 급증으로 인해 2 차 연구 (Literature Reviews, LRs) 가 폭발적으로 증가하고 있습니다. 특히 생성형 인공지능 (GenAI) 의 등장으로 LRs 가 빠르게 생성되지만, 이는 종종 품질, 엄밀성, 투명성의 저하로 이어집니다.
더 근본적인 문제는 기존 2 차 연구에서 추출된 데이터와 연구 산출물 (artifacts) 이 공개되지 않아 재현 (replication) 과 재사용 (reuse) 이 어렵다는 점입니다.

• 현황: 기존 오픈 사이언스 관행이 확대되고 있으나, 데이터의 31.5% 만 공유될 뿐이며, 그중 영구 저장소에 보관된 것은 12.1% 에 불과합니다.
• 기술적 장벽: 연구 데이터가 연구 지식 그래프 (RKG) 와 같은 의미적으로 구조화된 형태로 존재하더라도, 이를 활용하려면 SPARQL 쿼리 작성이나 복잡한 그래프 스키마 탐색과 같은 고급 기술적 능력이 필요하여 많은 연구자들이 접근에 어려움을 겪고 있습니다.

2. 방법론 (Methodology)

이 논문은 이러한 장벽을 해결하기 위해 신경 - 심볼릭 (Neuro-Symbolic) 접근법을 통합한 대시보드인 EmpiRE-Compass를 제안합니다. 이 시스템은 의미적으로 구조화된 데이터 (RKG) 와 자연어 처리를 통한 유연한 상호작용 (LLM) 을 결합합니다.

• 시스템 아키텍처:

  • 심볼릭 레이어 (Symbolic Layer): ORKG(Open Research Knowledge Graph) 와 연결하여 SPARQL 쿼리를 실행합니다. 이는 데이터의 투명성, 재현성, 신뢰성을 보장합니다.
  • 뉴럴 레이어 (Neural Layer): 대형 언어 모델 (LLM, 예: GPT-4o mini, LLaMA 등) 을 통합합니다. 사용자의 자연어 질문 (Competency Questions) 을 SPARQL 쿼리로 변환하고, 검색된 데이터를 해석하여 시각화 및 설명을 생성합니다.
  • 프론트엔드: 반응형 웹 인터페이스 (React, TypeScript 등) 를 제공하며, 사용자가 커리된 질문과 사용자 정의 질문을 통해 데이터를 탐색하고, 시각화를 수정하며, 결과를 내보낼 수 있도록 지원합니다.

• 주요 워크플로우:

  1. 커리된 역량 질문 (Curated Competency Questions): 미리 정의된 질문과 해당 SPARQL 쿼리를 선택하여 데이터를 조회하고, 사전 작성된 해석과 동적 시각화를 제공합니다.
  2. 사용자 정의 역량 질문 (Custom Competency Questions): 사용자가 자연어로 질문을 입력하면, LLM 이 해당 그래프 스키마에 맞는 SPARQL 쿼리를 생성합니다. 이후 쿼리 실행, 데이터 처리, LLM 에 의한 해석/시각화 생성, 그리고 사용자의 피드백을 통한 반복적 정제가 가능합니다.

• 사용 사례 (Use Cases):

  • KG-EmpiRE: RE 분야의 경험적 연구 상태와 진화에 관한 776 편의 논문을 기반으로 한 RKG.
  • NLP4RE ID Card: NLP4RE 분야의 50 개의 ID 카드를 기반으로 한 두 번째 사용 사례.

3. 주요 기여 (Key Contributions)

1. EmpiRE-Compass 대시보드 개발: 신경 - 심볼릭 접근법을 통합하여 LRs 데이터를 탐색, 종합, 재사용할 수 있는 시스템을 설계하고 구현했습니다.
2. 오픈 소스 공개: 전체 소스 코드와 문서를 오픈 소스로 공개하여 연구 커뮤니티의 재사용, 채택, 확장을 장려했습니다.
3. 세 가지 핵심 기능 제공:
   • 탐색적 시각 분석: 커리된 질문에 대한 시각화, 해석, 설명 제공.
   • 신경 - 심볼릭 종합: 사용자 정의 질문에 대한 동적 시각화, LLM 기반 해석, 원천 데이터 직접 접근.
   • 재사용 가능한 지식: 모든 쿼리, 분석, 결과를 공개하여 재현과 공유를 가능하게 함.

4. 결과 및 평가 계획 (Results & Evaluation Plan)

• 현재 상태: 시스템은 웹에서 무료로 이용 가능하며, 데모 비디오와 함께 제공됩니다. (기본 LLM 사용 시 IP 당 일일 25 회 요청 제한 적용).
• 평가 계획:
  • 단기: 두 사용 사례 (KG-EmpiRE, NLP4RE) 에 대한 콘텐츠의 관련성, 정확성, 유용성을 전문가 검토를 통해 검증.
  • 중기: 사용자 정의 질문을 통한 합성 작업 수행 시 완료 시간, 정보 범위, 사용자 경험을 측정하는 파일럿 연구 진행.
  • 장기: 대규모 커뮤니티 참여를 통해 수집된 사용자 정의 질문에 대한 LLM 의 시각화 및 해석 생성 성능을 정량적 (정확도, 정밀도 등) 및 정성적 지표로 평가.

5. 의의 (Significance)

EmpiRE-Compass 는 RKG(심볼릭) 과 LLM(뉴럴) 을 통합함으로써 다음과 같은 혁신을 이룹니다:

• 기술적 장벽 해소: SPARQL 등 고급 기술 없이도 자연어로 복잡한 연구 데이터를 탐색하고 분석할 수 있게 합니다.
• 투명성과 재현성 강화: 모든 쿼리, 데이터, 해석 과정이 공개되어 연구의 투명성을 높이고 재현을 용이하게 합니다.
• 지속 가능한 연구 생태계: 정적 파일 기반의 연구를 동적이고 협업 가능한 지식 그래프 기반으로 전환하여, 요구사항 공학 및 소프트웨어 공학 분야의 2 차 연구가 지속적으로 업데이트되고 재사용될 수 있는 기반을 마련합니다.
• 미래 지향성: 향후 SciD-QuESt 프로젝트를 통해 연구자가 ORKG 에 새로운 데이터를 기여할 수 있는 'Human-in-the-loop' 워크플로우로 확장될 예정이며, 이는 FAIR 데이터 원칙을 준수하는 지속 가능한 연구 환경을 조성합니다.