OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

기술 요약: OntoExtend: LLM을 이용한 요구사항 기반 및 확장 가능한 온톨로지 확장을 위한 프레임워크

문제 정의
온톨로지 확장(기존 온톨로지를 새로운 기능적 요구사항을 충족하도록 풍부하게 만드는 과정)은 전통적으로 자원이 많이 소모되고 오류가 발생하기 쉬운 작업이다. 대규모 언어 모델(LLM)이 처음부터 온톨로지를 생성하는 데서 유망한 성능을 보여주었으나, 현재의 접근 방식은 확장 작업을 특정 요구사항이나 재사용 가능한 핵심 모델에 명시적으로 연결하는 경우가 드물다. 또한, 기존 방법들은 LLM 출력물에 대한 체계적인 평가가 부족한 경우가 많다. 중요한 기술적 과제는 입력 온톨로지의 규모에서 발생한다. 온톨로지는 종종 수백 개의 클래스와 속성을 포함하고 있어 현재 LLM의 컨텍스트 창 제한을 초과한다. 설령 온톨로지가 큰 컨텍스트 창 안에 들어오더라도, LLM은 무관한 세부 사항에 의해 오도되어 목표에서 벗어나거나 일관성이 없는 출력을 생성할 수 있다. 문헌상에는 LLM이 경쟁 질문(Competency Questions, CQs)으로 제공된 추가 요구사항을 모델링하면서 기존 요소를 재사용하여 성숙한 입력 온톨로지를 어떻게 확장할 수 있는지에 대한 공백이 존재한다.

방법론: OntoExtend 프레임워크
저자들은 새로운 요구사항에 기반하여 온톨로지를 확장하도록 설계된 검색 증강 생성(RAG) 프레임워크인 OntoExtend를 제안한다. 이 시스템은 세 가지 주요 서브시스템을 통해 작동한다:

1. 온톨로지 리트리버(Ontology Retriever): 컨텍스트 제한 문제를 해결하기 위해, 이 모듈은 입력 온톨로지의 시맨틱 인덱스를 구축한다. 이 모듈은 OWL 엔티티(클래스, 속성, 어노테이션)를 파싱하고, 이를 URI, 레이블, 코멘트 및 구조적 관계(예: 도메인/레인지)를 포함하는 파이프 구분 문자열로 직렬화한다. 이러한 요소들은 설정 가능한 문장 임베딩 모델(주요 실험에서는 text-embedding-ada-002 사용)을 사용하여 밀집 벡터(dense vectors)로 임베딩되고 FAISS 인덱스에 저장된다. 사용자가 CQ를 제공하면, 해당 CQ는 동일한 벡터 공간으로 임베딩되며, 리트리버는 가장 관련성이 높은 상위-k개의 온톨로지 요소를 반환한다. 이는 생성이 기존의 용어와 모델링 패턴에 기반하도록 보장한다.
2. 온톨로지 익스텐더(Ontology Extender): 이 모듈은 LLM을 위한 프롬프트를 구성한다. 이 모듈은 검색된 요소들을 출처별로 그룹화하고, 이를 Turtle 스니펫으로 렌더링하며, 네임스페이스 충돌을 해결하기 위한 통합 접두사 블록을 생성한다. 결정적으로, 프롬프트에는 CQ와 검색된 컨텍스트가 포함되며, 특정 모델링 제약 조건(예: 산업적 사용을 위한 SHACL shape 요구 또는 EU 프로젝트 사용을 위한 OWL restriction 요구)이 함께 포함된다. LLM은 후보 TBox 단편(fragment)을 생성한다. 2단계 검증기가 구문적 정확성(Turtle 파서)과 모델링 관례 준수 여부(예: 명시적인 도메인/레인지 선언)를 확인한다.
3. 온톨로지 인티그레이터(Ontology Integrator): 이 모듈은 검증된 단편을 입력 온톨로지에 통합한다. 중복 제거(반복되는 액시오마, 클래스 및 접두사 제거)를 수행하고 정제된 단편을 결합한다. 선택적으로, 생성된 단편을 다시 인덱싱하여 후속 CQ를 위한 컨텍스트로 사용할 수 있으나, 독립적인 평가를 보장하기 위해 본 평가에서는 이 기능을 비활성화하였다.

실험 설정
프레임워크는 두 가지 실제 사용 사례에 대해 평가되었다:

• Onto-DESIDE: 순환 경제 데이터 상호 운용성에 초점을 맞춘 공개 EU 프로젝트 온톨로지 네트워크 (20개의 CQ).
• Bosch Industrial Ontology: 제조 프로파일을 따르는 내부 온톨로지 (19개의 CQ).

데이터셋은 원래의 온톨로지에서 클래스와 속성을 체계적으로 제거하고, 누락된 구성 요소를 조사하기 위한 CQ를 작성함으로써 생성되었다. 연구는 검색 구성(임베딩 모델 및 텍스트 구분자)과 LLM(o1-preview 및 GPT-5)을 비교하였다. 평가 지표에는 구조적 타당성(OOPS! pitfall scanner, Pellet reasoner, 구문 체크), 기능적 적절성(SPARQL을 통한 CQ 검증, 불필요한 요소 카운팅), 그리고 6명의 온톨로지 엔지니어가 정확성(Correctness)과 완전성(Completeness)을 5점 리커트 척도로 평가한 사용자 기반 설문이 포함되었다.

주요 결과

• 구조적 품질: 생성된 단편들은 구문 오류가 거의 없었다. OOPS!와의 통합 결과, OntoExtend는 심각하거나 중요한 결함을 보고하는 기존 연구들과 달리 매우 적은 수의 새로운 모델링 결함(pitfalls)만을 도입했다. 경미한 문제(예: 입력 스타일 복제로 인한 산업 사례에서의 어노테이션 누락)가 관찰되었으나, 이는 수정하기 쉬운 수준이었다.
• 기능적 적절성: 두 LLM 모두 100% CQ 검증을 달면서, 생성된 확장 모델이 요구사항을 올바르게 모델링했음을 입증했다. 불필요한 요소(불필요한 클래스 또는 속성)의 비율은 매우 낮았으며(<2%), 이는 약 30%를 보고했던 이전 연구들에 비해 상당한 개선이다.
• 인간 평가: 온톨로지 엔지니어들은 생성된 단편을 높게 평가했다. 산업용 온톨로지의 경우, 단편들은 미세한 수정 또는 수정이 거의 필요하지 않았다(평균 완전성 ~4.5). EU 프로젝트의 경우, CQ의 개방적인 특성으로 인해 도구가 더 많은 모델링 결정을 내려야 했기에 점수가 약간 낮았다(평균 완전성 ~3.1). 엔지니어들은 출력이 일반적으로 구문적, 의미적으로 정확하지만, 명명 규칙, 도메인/레인지 선언 또는 기존 요소와의 연결 측면에서 중간 정도의 수정이 필요할 때가 있다고 언급했다.

의의 및 주장
본 논문은 OntoExtend가 실제 온톨로지 확장에 있어 실질적으로 유용한 수준의 자동화를 제공한다고 주장한다. 이 연구의 주요 의의는 온톨로지 엔지니어의 역할을 수동적인 액시오마 작성에서 초안을 검토하고 가볍게 편집하는 역할로 전환하여, 도메인 전문가의 진입 장벽을 낮추는 데 있다. 저자들은 OntoExtend가 입력 CQ의 구체성과 모델링 프로파일에 민감하게 반응하는 "초안 작성 보조 도구(drafting assistant)"로서 효과적으로 작동한다고 상정한다.

또한 본 연구는 LLM의 성능이 요구사항 및 온톨로지 산출물의 품질을 나타내는 대리 지표 역할을 할 수 있음을 시사한다. 즉, CQ가 정밀하고 잘 구조화되어 있을 때, 결과적인 확장은 모델링 오류가 적고 품질이 더 높다. 반대로, 요구사항의 모호함은 낮은 점수로 이어지며, 이는 프레임워크의 성공이 입력 명세의 품질에 의존함을 강조한다. 저자들은 결론적으로, 프레임ке워크가 정밀한 요구사항에는 효과적이지만, 입력 CQ의 구성에 민로하며 통합을 위한 인간의 감독이 필요하다고 밝히고 있다.