기술 요약: 오픈 온톨로지

문제 정의

현재 온톨로지 엔지니어링은 두 가지 명확한 격차에 직면해 있습니다. 첫째, 대규모 언어 모델 (LLM) 은 문법적으로 유효한 OWL 을 생성하고 다단계 워크플로우를 조정할 수 있지만, 논리적 일관성을 보장하거나 생성된 공리들이 상호 일관성이 있는지 검증할 수는 없습니다. 둘째, 기존 온톨로지 정렬 시스템은 벤치마크에서 강력한 쌍별 매칭을 달성하지만, 구축 워크플로우 및 수명 주기 관리와 단절된 독립적인 파이프라인으로 작동합니다. 더 나아가 LLM 이 온톨로지 데이터와 어떻게 상호작용하는지에 대한 이해가 부족합니다. 구체적으로, 원시 구문 파일을 제공하는 것이 무방비 추론이나 구조화된 도구 접근보다 성능을 향상시키는지 여부에 대한 명확한 이해가 결여되어 있습니다.

방법론

저자들은 온톨로지 구축, 추론, 정렬, 수명 주기 관리를 단일 LLM 조정 워크플로우로 통합한 오픈소스 시스템인 Open Ontologies를 제시합니다. 이 시스템은 Rust(~17,400 줄의 코드) 로 구현되었으며, JVM 또는 Python 의존성 없이 단일 바이너리로 배포됩니다.

시스템 아키텍처

이 시스템은 **모델 컨텍스트 프로토콜 (MCP)**을 통해 도구를 노출하여, LLM 이 OWL 을 생성하고 형식적 제약 조건에 대해 검증하며 기호 피드백을 기반으로 이를 정제할 수 있도록 합니다.

• 코어 엔진: SPARQL 1.1 쿼리를 위한 Oxigraph 트라이어 스토어, 트라이어 물리화를 위한 OWL-RL 순방향 연쇄를 지원하는 네이티브 추론기, 일관성 검사를 위한 부분 SHIQ 테이블로, SHACL 유효성 검사기, 그리고 패턴 강제기를 활용합니다.
• 정렬 모듈: 라벨 유사성 (Jaro-Winkler + 토큰 자카드), 속성 중첩, 부모 중첩, 인스턴스 중첩, 제한 유사성, 그리고 이웃 유사성이라는 여섯 가지 신호를 사용하여 후보 클래스 쌍에 대한 가중 유사성 점수를 계산합니다.
  • 안정적 매칭 (Stable Matching): 중요한 구성 요소로, 후보들을 신뢰도에 따라 정렬한 후 다대다의 부자연스러운 매칭을 제거하기 위해 안정적인 1 대 1 매칭 알고리즘을 적용합니다.
  • 페널티 메커니즘: 구조적 신호가 0 인 경우, 구조적으로 지지되지 않는 매칭을 방지하기 위해 신뢰도가 라벨 유사성으로 회귀하며 15% 의 페널티가 부과됩니다.
• 수명 주기 관리: 계획 (폭발 반경 점수화가 포함된 diff), 강제, 안전한 적용, 모니터링, 그리고 드리프트 감지를 포함하는 인프라스트럭처-어스-코드 접근 방식을 구현하며, 모든 작업은 순차적 기록 (append-only lineage trail) 에 기록됩니다.

평가 설정

이 시스템은 다음을 사용하여 평가되었습니다:

1. OAEI 벤치마크: 해부학 트랙 (2,737 개의 생쥐 클래스, 3,304 개의 인간 클래스) 과 컨퍼런스 트랙 (7 개 온톨로지).
2. OntoAxiom 벤치마크: 세 가지 LLM 접근 모드를 평가하는 데 사용됨: (B) 이름 목록으로부터의 무방비 추론, (D) 원시 OWL/Turtle 파일 읽기, (C) 구조화된 MCP 도구 (SPARQL) 사용.
3. 추론 성능: LUBM 벤치마크에서 OWL-RL 순방향 연쇄를 HermiT 추론기와 비교.
4. 구축 작업: 맨체스터 피자 튜토리얼 온톨로지의 자동 구축.

주요 기여 및 결과

1. 안정적 매칭이 정렬 품질을 지배함

이 논문은 온톨로지 정렬에 관한 반직관적인 발견을 제시합니다: 매칭 제약 조건이 지배적인 요소이며, 안정적 매칭이 적용될 때 신호 가중치는 largely 무의미해집니다.

• OAEI 해부학 트랙: 이 시스템은 F1 점수 0.832(정밀도 = 0.963, 재현율 = 0.733) 를 달성했습니다. 이 정밀도는 AML(0.950), BERTMap(0.940) 등 모든 공개된 시스템을 능가합니다.
• Ablation 연구: 안정적 매칭이 활성화되었을 때, 여섯 가지 유사성 신호의 가중치를 변경해도 F1 변동은 0.004 미만 (0.830~0.834 범위) 이었습니다. 반면, 안정적 매칭을 제거하면 가중치 체계와 관계없이 F1 점수가 0.728로 하락했습니다.
• 컨퍼런스 트랙: 이 방법은 마이크로 평균 F1 0.438을 달성했습니다. 낮은 재현율 (0.320) 은 라벨 중첩이 최소화된 이질적인 모델링 스타일 때문입니다.

2. 도구 구조 대 정보 가용성

이 연구는 LLM 상호작용에서 도구 구조의 효과와 정보 가용성의 효과를 분리합니다.

• 원시 파일 성능 (조건 D): 원시 OWL 파일을 읽은 LLM 은 F1 0.323을 달성하여 무방비 추론 (조건 B, F1 = 0.431) 보다 현저히 낮은 성능을 보였습니다. 원시 구문은 속성과 클래스 IR I 간 혼동, 다중 줄 블록 누락과 같은 구문 분석 노이즈를 도입하여 모델의 추출 능력을 압도했습니다.
• 구조화된 도구 성능 (조건 C): MCP 도구 (SPARQL 접근) 를 사용한 경우 F1 0.717을 달성했습니다.
• 결론: 구조화된 도구 접근은 원시 구문이 복제할 수 없는 질적으로 다른 접근 방식을 제공합니다. 원시 파일에서 구조화된 도구로의 개선 (+122%) 은 단순히 더 많은 정보를 제공하는 것보다 더 큰 이점을 제공합니다.

3. 시스템 성능 및 구축

• 추론: OWL-RL 추론기는 HermiT(24,490 ms) 에 비해 상호작용 속도 (예: 50,000 개의 트라이어에 대해 15 ms) 로 작동하지만, 엔지니어링 워크플로우에 적합한 다른 불완전한 추론 프로파일을 다룹니다.
• 구축: 이 시스템은 맨체스터 피자 튜토리얼을 기반으로 91 개 클래스 온톨로지를 5 분 미만 내에 구축하여 96% 클래스 커버리지를 달성했습니다. 이는 수동 작업에 필요한 약 4 시간과 대조됩니다.

중요성 및 주장

이 논문은 해당 분야의 기존 가정에 도전하는 두 가지 주요 실증적 발견을 주장합니다:

1. 신호 엔지니어링보다 매칭 전략: 제한된 구조적 메타데이터를 가진 온톨로지의 경우, 할당 제약 조건 (안정적인 1 대 1 매칭) 이 정렬 품질의 결정적 요소입니다. 복잡한 유사성 함수를 엔지니어링하려는 노력은 안정적 매칭 제약 조건을 강제하는 것에 비해 체감 수익이 감소합니다.
2. 도구 접근의 질적 차이: LLM 에게 원시 구문을 제공하는 것은 단순히 "더 많은 정보"가 아닙니다. 오히려 적극적으로 해로울 수 있습니다. 고품질 추출을 위해서는 (MCP 를 통한) 구조화된 타입 지정 도구 접근이 필수적이며, 이는 제공된 정보의 내용보다 도구 접근의 구조가 더 중요함을 시사합니다.

저자들은 한계를 지적하며, OAEI 결과는 아직 공식 캠페인에서 독립적으로 평가되지 않았으며, 신호 제거 연구는 해부학 트랙으로 제한되었고, 시스템은 단일 주요 개발자와 특정 LLM 모델 (Claude) 에 의존한다고 언급합니다. 이 시스템은 MIT 라이선스로 배포됩니다.