Automatic Ontology Construction Using LLMs as an External Layer of Memory, Verification, and Planning for Hybrid Intelligent Systems

논문 요약: LLM 을 활용한 자동 온톨로지 구축 및 하이브리드 지능 시스템

1. 문제 제기 (Problem Statement)

• LLM 의 한계: 대규모 언어 모델 (LLM) 은 텍스트 생성, 요약, 설명에는 탁월하지만, 훈련 가중치와 현재 컨텍스트 윈도우를 넘어선 최신 지식을 신뢰성 있게 저장하거나 장기 기억 (Long-term Memory) 을 유지하는 데 한계가 있습니다.
• 기존 RAG 의 부족: 기존 검색 증강 생성 (RAG) 은 문서 조각을 벡터 유사도로 검색하여 컨텍스트에 주입하는 방식에 그칩니다. 이는 단순한 '검색 오버레이'일 뿐, 지식 간의 관계, 규칙, 인과관계를 구조화하여 재구성하지는 못합니다.
• 핵심 과제: 인간이 텍스트를 읽을 때 선형적 문장 대신 관계, 역할, 제약 조건 등의 구조화된 지식으로 변환하듯, AI 도 명시적인 그래프 형태의 외부 기억 장치를 필요로 합니다. 특히 에이전트 기반 시스템이나 로봇 공학에서 장기적인 상태 누적, 검증 가능한 행동, 그리고 복잡한 계획 수립을 위해서는 LLM 만으로는 부족합니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

이 논문은 LLM 을 독립적인 지식 저장소가 아닌, 외부 메모리, 검증, 계획 계층을 오케스트레이션하는 인터페이스로 활용하는 신경-기호 (Neuro-symbolic) 아키텍처를 제안합니다.

• 하이브리드 아키텍처 구성 요소:

  • MCP (Model Context Protocol): LLM, 온톨로지 그래프, 벡터 DB, 외부 API 등을 연결하는 범용 통신 버스 역할을 수행합니다.
  • 이중 메모리 시스템:
    1. 벡터 RAG 저장소: 텍스트 조각과 임베딩을 기반으로 한 빠른 검색 및 문맥 회수 (Recall) 담당.
    2. RDF/OWL 온톨로지 그래프: 엔티티, 관계, 타입, 제약 조건을 명시적으로 저장하는 구조화된 장기 기억 담당.
  • 검증 및 추론: SPARQL(쿼리), SHACL(제약 조건 검증), 추론 엔진을 통해 지식의 논리적 일관성과 구조적 정확성을 보장합니다.
  • 에이전트 레이어: 검색, 검증, 계획, 실행을 담당하는 전문 에이전트들이 MCP 를 통해 협업합니다.

• 자동 온톨로지 빌더 파이프라인 (Ontology Builder Pipeline):

  1. 수집 및 분할: 문서, 대화 로그, API 응답 등을 입력받아 청크화합니다.
  2. 개체명 인식 (NER) 및 타입 지정: 후보 개체 추출 및 타입 할당.
  3. 관계 추출: 개체 간의 관계 (부분 - 전체, 위치, 인과 등) 를 예측합니다.
  4. 정규화 및 정렬: 동의어 통합, 중복 제거, 식별자 매핑을 수행합니다.
  5. 트리플 구성: (주어, 술어, 목적어) 형태의 RDF 트리플 생성.
  6. 검증 (Validation): SHACL(구조적 제약) 과 OWL 추론기(논리적 일관성) 를 통해 오류를 필터링합니다.
  7. 저장 및 피드백: 검증된 데이터는 TTL/RDF 형식으로 그래프 DB 에 저장되며, LLM 의 응답에서 추출된 새로운 사실은 다시 파이프라인으로 피드백되어 온톨로지를 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 공식화: LLM 을 외부 구조화 메모리 (온톨로지) 와 연결하는 하이브리드 시스템의 전체적인 아키텍처를 재구성하고 공식화했습니다.
2. 자동 온톨로지 빌더 파이프라인 정의: 텍스트/대화로부터 온톨로지 델타 (Delta) 를 생성하고 검증하는 엔지니어링 파이프라인을 구체적으로 제시했습니다.
3. 검증 가능한 지식 모델: 단순한 텍스트 검색을 넘어, 제약 조건이 적용되고 검증 가능한 '세계 모델 (World Model)'을 구축하여 설명 가능성 (Explainability) 과 모순 제어 기능을 강화했습니다.
4. 실증적 분석: 타워 오브 해노이 (Tower of Hanoi) 벤치마크와 Fact Analyzer 사례를 통해 온톨로지 계층의 효과를 정량적/정성적으로 분석했습니다.

4. 실험 결과 (Results)

• 정량적 결과 (타워 오브 해노이 벤치마크):
  • 3 디스크: 성공률 26.3% → 33.3% (약 7%p 향상).
  • 4 디스크: 33.3% → 33.3% (차이 없음).
  • 5 디스크: 33.3% → 45.5% (약 12.2%p 향상, 가장 큰 효과).
  • 6 디스크: 0.0% → 0.0% (두 모델 모두 실패).
  • 해석: 온톨로지 기반 증강은 단순한 국소 검색을 넘어선 '중간 복잡도'의 계획 작업에서 LLM 의 성능을 유의미하게 향상시킵니다. 하지만 너무 복잡한 문제 (6 디스크) 에서는 여전히 한계가 있습니다.
• 정성적 결과 (Fact Analyzer 사례):
  • 규제 질문 (IND 제출 후 30 일 경과 시 임상 시험 개시 가능 여부) 에 대해, 일반 LLM 은 부정확한 답변을 생성했으나, 온톨로지와 검증 계층을 거친 시스템은 규칙과 조건을 정확히 매칭하여 정답을 도출하고 '반박 (Contradicted)' 여부를 명확히 판별했습니다.
  • 이는 온톨로지가 '답변 생성'과 '규칙 기반 검증'을 분리하여 신뢰성을 높임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 이 연구는 LLM 을 '지식 저장소'가 아닌 '지식 생성 및 오케스트레이터'로 재정의하고, 온톨로지를 '장기적이고 검증 가능한 외부 기억 장치'로 활용함으로써 하이브리드 지능 시스템의 새로운 방향을 제시합니다.
• 실용적 가치:
  • 구조화된 기억: 대화 기록을 단순 텍스트가 아닌 상태, 관계, 제약 조건이 포함된 그래프로 누적하여 장기적인 에이전트 행동을 가능하게 합니다.
  • 검증 가능성: 생성된 답변이 규칙과 논리에 부합하는지 SHACL/OWL 을 통해 검증함으로써 할루시네이션을 줄이고 신뢰성을 높입니다.
  • 계획 능력 향상: 복잡한 계획 수립 시 외부 모델 기반 검증기를 통해 계획의 일관성을 유지할 수 있습니다.
• 한계 및 향후 과제: 자동 온톨로지 구축은 여전히 오류 (할루시네이션, 스키마 드리프트) 가 발생할 수 있으며, 지속적인 정규화와 인간 개입 (Human-in-the-loop) 이 필요합니다. 또한, 실험 데이터의 재현성 확보와 더 넓은 벤치마크 검증이 필요합니다.

결론적으로, 이 논문은 LLM 과 온톨로지의 결합이 단순한 검색 성능 향상을 넘어, 설명 가능하고 검증 가능하며 장기 기억을 가진 강건한 지능 시스템을 구축하는 핵심 열쇠임을 주장합니다.