A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements

논문 요약: 온톨로지 요구사항을 위한 역량 질문 (CQ) 도출 방법의 비교 연구

1. 연구 배경 및 문제 제기 (Problem)

• 역량 질문 (Competency Questions, CQs) 의 중요성: CQ 는 온톨로지 공학 (OE) 수명주기의 핵심 요소로, 도메인 전문가와 지식 엔지니어 간의 격차를 해소하고, 온톨로지의 범위 설정, 설계, 검증 및 테스트를 안내하는 역할을 합니다.
• 현실적 한계: CQ 는 이론적으로 중요하지만, 실제 개발 현장에서는 작성의 어려움과 시간 소모성, 표준화된 도구 부재로 인해 자주 활용되지 못합니다.
• 평가 기준의 부재: 생성된 CQ 가 요구사항을 적절히 반영하는지 판단할 수 있는 명확하고 객관적인 평가 기준이 부족합니다.
• 기존 연구의 공백: 최근 제어된 자연어 (CNL), 패턴 (Patterns), 그리고 대규모 언어 모델 (LLM) 을 이용한 CQ 자동 생성 연구가 진행되었으나, 서로 다른 생성 방법 (수동, 패턴 기반, LLM 기반) 의 산출물을 체계적으로 비교 분석한 연구는 거의 없습니다.

2. 연구 방법론 (Methodology)

이 연구는 문화유산 (Cultural Heritage) 도메인의 단일 사용자 스토리 (User Story) 를 기반으로 세 가지 다른 CQ 도출 방법을 비교 분석했습니다.

• 데이터셋 (AskCQ): 동일한 온톨로지 요구사항 (사용자 스토리) 에서 도출된 총 204 개의 CQ 로 구성된 새로운 멀티 어노테이터 데이터셋을 구축했습니다.
  • 수동 (Manual): 5 년 이상 경력의 온톨로지 엔지니어 2 명 (HA-1, HA-2) 이 독립적으로 CQ 작성.
  • 패턴 기반 (Pattern-based): Ren et al. 의 CQ 템플릿 (아키타입) 을 사용하여 요구사항에 맞게 인스턴스화한 CQ (38 개).
  • LLM 기반 (LLM-based): GPT-4.1 과 Gemini 2.5 Pro 를 사용하여 마크다운 형식의 사용자 스토리에서 CQ 자동 생성.
• 평가 프레임워크:
  • 적합성 평가 (RQ1): 3 명의 온톨로지 엔지니어가 각 CQ 의 적합성을 평가 (수락/거부 및 점수 부여).
  • 특성 분석 (RQ2):
    • 모호성 (Ambiguity): 어노테이터 간 합의 부족 또는 불명확한 의미로 판단.
    • 관련성 (Relevance): LLM 을 사용하여 사용자 스토리 명시적 요구사항 vs. 추론 가능 요구사항 (도메인 지식 기반) 에 대한 정렬 정도를 4 점 리커트 척도로 평가.
    • 가독성 (Readability): Flesch-Kincaid Grade Level (FKGL) 및 Dale-Chall Readability Index (DCR) 사용.
    • 복잡도 (Complexity): 길이 (c0), 요구사항 복잡도 (c1, 온톨로지 원시 요소 수), 언어적 복잡도 (c2, NLP 기반), 구문적 복잡도 (c3, 의존 구문 분석) 의 4 차원 지표로 측정.
  • 의미적 중첩 분석 (RQ3): Sentence-BERT 임베딩을 사용하여 생성된 CQ 집합 간의 의미적 유사성 (Centroid Cosine Similarity) 과 커버리지 (Coverage) 를 분석.

3. 주요 기여 (Key Contributions)

1. AskCQ 데이터셋: 동일한 소스 (사용자 스토리) 에서 수동, 패턴, LLM 세 가지 방법으로 생성된 CQ 를 포함하는 최초의 멀티 어노테이터 공개 데이터셋 제공.
2. 체계적 비교 분석: 다양한 CQ 생성 방법의 산출물을 적합성, 모호성, 관련성, 가독성, 복잡도, 의미적 다양성 등 다각적인 차원에서 정량적 및 정성적으로 비교한 최초의 연구.
3. 실증적 통찰: LLM 기반 생성의 잠재력과 한계를 명확히 규명하여 향후 온톨로지 공학 도구 개발에 대한 방향성 제시.

4. 연구 결과 (Results)

• 적합성 및 전문가 평가 (RQ1):

  • 수동 생성 (Human): 가장 높은 적합성 점수와 수용률 (HA-2: 98%, HA-1: 91%) 을 기록했으며, 어노테이터의 부정적 피드백 (댓글) 이 가장 적었습니다.
  • LLM 생성: GPT 는 85%, Gemini 는 67% 의 수용률을 보였으나, 수동 생성에 비해 적합성 점수가 낮고 피드백이 많았습니다.
  • 패턴 기반: 가장 낮은 평균 적합성 점수 (0.11) 와 수용률 (50%) 을 기록했으며, 변동성이 컸습니다.

• 특성 분석 (RQ2):

  • 가독성: 수동 생성 CQ 가 가장 읽기 쉬웠음 (FKGL 점수 낮음). 반면 LLM 생성 CQ 는 고등학교 후기 또는 대학 초기 수준의 복잡한 문장을 사용하여 가독성이 현저히 낮았습니다.
  • 복잡도: LLM 생성 CQ 는 길이, 온톨로지 원시 요소 수, 언어적/구문적 복잡도 모든 면에서 수동 및 패턴 기반 CQ 보다 훨씬 복잡했습니다. 특히 GPT 는 평균 111 자로 가장 길었습니다.
  • 관련성 (Relevance): 수동 생성 CQ 는 명시적 요구사항뿐만 아니라 도메인 지식을 활용한 추론 가능 요구사항 (Inferential Requirements) 을 더 많이 포함했습니다 (HA-2: 27.8% 가 점수 3). 반면 LLM 은 명시적 요구사항에 치중하여 추론적 질문이 적었습니다.
  • 모호성: HA-1(수동) 이 가장 높은 모호성 비율을 보였으나, 논의 후 대부분 해결되었습니다.

• 의미적 중첩 (RQ3):

  • 전체적 주제: 모든 집합이 사용자 스토리의 핵심 주제와 일치함 (높은 Centroid 유사도).
  • 세부적 중첩: 구체적인 CQ 수준에서의 의미적 중첩 (Coverage) 은 매우 낮았습니다.
    • 두 전문가 (HA-1, HA-2) 간 양방향 커버리지는 15.3% 로 가장 높았습니다.
    • LLM 간 (GPT ↔ Gemini) 또는 LLM 과 인간 간 커버리지는 매우 낮았으며 (0~5%), 특히 Gemini 는 인간 생성 CQ 와 거의 겹치지 않았습니다.
  • 이는 서로 다른 생성 방법이 동일한 요구사항을 완전히 다른 방식으로 해석하고 표현함을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 전문가의 역할: 온톨로지 공학에서 고품질 CQ 도출을 위해서는 여전히 인간의 전문성 (도메인 지식, 추론 능력) 이 필수적입니다. 인간은 암묵적이고 기능적으로 필요한 요구사항을 포착하는 데 탁월합니다.
• LLM 의 위치: LLM 은 초기 아이디어 발상 (Brainstorming) 에 유용할 수 있지만, 생성된 CQ 는 복잡하고 가독성이 낮으며, 인간이 기대하는 추론적 요구사항을 놓칠 수 있습니다. 따라서 LLM 생성물은 추가적인 정제 (Refinement) 단계가 필수적입니다.
• 하이브리드 접근의 필요성: LLM 의 자동화와 인간의 전문성을 결합한 하이브리드 접근법이 가장 효과적일 것입니다.
• 향후 과제: 단일 도메인 (문화유산) 과 사용자 스토리에 국한된 연구이므로, 다른 도메인으로의 일반화 가능성 검증과 LLM 프롬프트 엔지니어링을 통한 출력 품질 개선 (인간 생성 CQ 의 특성을 모방하도록 유도) 이 필요합니다.

이 연구는 온톨로지 개발 과정에서 CQ 생성 방법론의 선택이 결과물의 품질과 특성에 결정적인 영향을 미친다는 것을 실증적으로 증명했습니다.