기술 요약: 대규모 언어 모델 에이전트에 기반한 동적 지식 그래프 온톨로지 점진적 정렬을 위한 프레임워크

문제 정의

리스크 관리, 컴플라이언스 모니터링, 산업 안전과 같은 도메인에서 사용되는 동적 지식 그래프(KG)는 새로운 엔티티의 등장, 규칙의 수정, 스트리밍 이벤트의 유입을 통해 지속적으로 진화한다. 그러나 기존의 온톨로지 정렬 방법론은 의미적 정밀도와 업데이트 지연 시간 사이에서 지속적인 트레이드오프에 직면해 있다. 기존의 정적 정렬 방식은 업데이트가 발생할 때마다 전체 정렬 파이프라인을 다시 실행해야 하므로 계산 비용이 많이 들며, 스트리밍 환경에는 부적합하다. 전통적인 점진적 접근 방식은 재계산을 줄여주기는 하지만, 주로 구조적 업데이트에 집중하여 풍부한 텍스트 설명이나 의미적 맥락의 변화를 해석하는 데 실패하는 경우가 많다. 또한, 대규모 언어 모델(LLM)이 의미적 매칭 능력을 향상시켰음에도 불구하고, 현재 대부분의 LLM 기반 방법론은 지속적이고 연속적인 그래프 진화보다는 정적 또는 배치(batch) 정렬을 위해 설계되었다. 이러한 격차는 효율성과 정확성을 모두 희생하지 않으면서도 지속적으로 진화하는 그래프에서 의미적 일관성을 유지할 수 있는 솔루션을 필요로 한다.

방법론: DOKA-Agent

본 논문은 인지-계획-실행(perceive-plan-act) 워크플로 내에서 작동하는 대규모 언어 모델(LLM) 에이전트를 활용하는 동적 온톨로지 점진적 정렬 프레임워크인 DOKA-Agent를 제안한다. 이 프레임워크는 그래프의 변화를 포착하고, 의미적 맥락을 풍부하게 하며, 실시간으로 검증된 정렬 결정을 생성하도록 설계되었다.

핵심 아키텍처

프레임워크는 세 가지 주요 모듈로 구성된다:

1. 동적 인지 모듈 (Dynamic Perception Module):

   • 입력: 운영 메타데이터, 타임스탬프, 변경된 그래프 객체를 포함하는 원시 데이터베이스 이벤트($E_{raw}$) 스트림.
   • 기능: 저수준 연산을 구조화된 의미적 이벤트(예: 엔티티 생성, 관계 수정)로 변환한다. 이를 엔티티 ID, 유형, 구조적 세부 정보를 포함하는 작업 설명($T$)으로 직렬화한다.
   • 품질 제어: 이벤트 커버리지와 작업 완결성을 측정한다. 만약 작업에 충분한 속성이나 이웃 맥락이 부족할 경우, 모듈은 작업을 에이전트에게 전달하기 전에 누락된 정보를 보충하기 위해 **그래프 쿼리 도구(Graph Query Tool)**를 호출한다.

2. 에이전트 의사결정 코어 (Agent Decision-Making Core):

   • 계획 단계 (Planning Phase): LLM은 들어오는 작업을 실행 가능한 하위 작업($P$)으로 분해하며, 이벤트 유형과 의미적 복잡성에 따라 도구 호출 순서를 조정한다. 에이전트는 그래프 맥락($C$)을 쿼리하여 기술적 텍스트, 이웃 엔티티 및 관계를 검색한다.
   • 실행 단계 (Action Phase):
     • 인코딩: LLM은 풍부해진 맥락으로부터 통합된 의미적 설명($d'$)과 임베딩($v$)을 생성한다.
     • 하이브리드 검색: 밀집-희소(dense-sparse) 전략을 사용하여 벡터 인덱스에서 후보군을 검색한다.
     • 하이브리드 유사도 점수 산출: 각 후보에 대해 다음을 결합한 가중 유사도 점수를 계산한다:
       • 의미적 유사도: LLM 생성 임베딩 기반.
       • 구조적 유사도: 관계 집합의 교집합 대비 합집합 비율($|R \cap sR,i| / |R \cup sR,i|$)을 통해 계산.
       • 어휘적 유사도: 정규화된 편집 거리(normalized edit distance)를 사용하여 추정.
     • 관계 결정: LLM은 후보군과 그 유사도 점수를 평가하여 관계 유형(예: 동등, 상위, 하위)과 신뢰도 점수($\theta$)를 예측한다.
   • 확정 (Commitment): 시스템은 가장 높은 신뢰도를 가진 결정을 선택한다. 정렬 결과는 신뢰도가 임계값($\theta_{thresh} = 0.7$)을 초과하는 경우에만 그래프에 반영되며, 신뢰도가 낮은 매치는 거부된다.

3. 도구 및 지식 베이스 (Tools and Knowledge Base):

   • 프레임워크는 이웃 맥락 추출을 위한 그래프 쿼리 도구와 점진적 벡터 인덱스에 대한 효율적인 유사도 검색을 위한 벡터 검색 도구에 의존한다.
   • 이중 계층 지식 베이스(Graph DB 및 IndexDB)는 의미적 검색과 지속적인 그래프 업데이트를 지원한다.
   • 최적화: 하이브리드 유사도 가중치는 의미적, 구조적, 어휘적 기여도를 균형 있게 맞추기 위해 교차 엔트로피와 L2 정규화를 결합한 총 손실 함수를 사용하여 최적화된다.

주요 기여

본 논문은 세 가지 구체적인 기여를 명시한다:

1. DOKA-Agent 프레임워크: 정적 스냅샷을 넘어 진화하는 지식 그래프에 특화된 동적 온톨로지 정렬 프레임워크.
2. 점진적 인지-계획-실행 워크플로: 맥락 완성, 하이브리드 검색(밀집-희소), 그리고 관계 인지적 의사결정을 통합하여 에이전트가 이벤트 유형과 의미적 복잡성에 적응할 수 있도록 하는 새로운 워크플로.
3. 실증적 검증: 동적 지식 그래프 벤치마크를 통한 종합적인 검증을 통해, 기존의 정적 및 동적 베이스라인 모델들과 비교하여 정렬 품질과 운영 효율성 모두에서 개선된 성능을 입증함.

실험 결과

프레임워크는 세 가지 타임스텝($t_0, t_1, t_2$)에 걸쳐 그래프 진화를 시뮬레이션한 DBP15K 동적 파티션(ZH-EN, JA-EN, FR-EN)에서 평가되었다.

• 정적 정렬 성능: DOKA-Agent는 모든 서브셋에서 최고의 전반적 성능을 달야, DINGAL-B, HGCN-JE, LLM-Static과 같은 강력한 베이스라인들을 능가했다. 예를 들어, DBP15K-FR-EN에서 Hit@1 93.5%, F1 96.2%를 달성하여 차순위 방법론인 LLM-Static보다 Hit@1에서 0.9% 앞섰다.
• 동적 정렬 성능: 점진적 설정($t_1, t_2$)에서 DOKA-Agent는 동적 베이스라인(DINGAL-O, DINGAL-U) 및 직접적인 LLM 접근 방식(LLM-Direct)을 지속적으로 상회했다. 이는 결과적으로 이벤트 캡처와 업데이트된 맥락을 통한 관계 재추정이 순수 구조적 업데이트나 직접 매칭보다 더 효과적임을 시사한다.
• 운영 효율성: DOKA-Agent는 상당한 효율성 이득을 보여주었다. DBP15K-ZH-EN 데이터셋의 $t_1$ 시점에서, 이벤트당 평균 처리 시간은 0.9초, 총 정렬 시간은 3.8초를 기록하여 정적 베이스라인인 DINGAL-B(102.5초) 대비 96.3%의 효율성 향상을 나타냈다.
• 절제 연구 (Ablation Study): 핵심 구성 요소(계획 모듈, 의미적 유사도, 또는 정보 완성)를 제거했을 때 측정 가능한 성능 저하가 발생하였으며, 이는 계획, 의미적 인코딩, 맥락 보강의 통합이 프레임워크의 성공에 필수적임을 확인시켜 준다.

의의 및 주장

본 논문은 **에이전트 오케스트레이션(agentic orchestration)**이 지속적으로 진화하는 지식 그래프에서 의미적 일관성을 유지하기 위한 실질적인 메커니즘을 제공한다고 주장한다. 온톨로지 정렬을 단일한 예측 단계가 아니라 인지, 계획, 도구 사용을 포함하는 동적인 워크플로로 프레임링함으로써, DOKA-Agent는 (의미적 깊이가 부족한) 전통적인 점진적 방법론과 (스트리밍 변화에 대한 대응력이 부족한) 정적 LLM 방법론의 한계를 해결한다.

저자들은 이 접근 방식이 더 강력한 제약 조건 검사나 산업 안전 및 교육과 같은 도메별 적응을 위한 유연한 인터페이스를 제공한다고 강조한다. 다만, 본 논문은 현재 구현이 그래프 측의 이벤트 캡처 품질과 LLM 출력의 안정성에 의존한다는 점을 인정하며 한계점에 대해 신중한 입장을 유지한다. 또한 LLM 기반 매칭이 환각(hallucination)에 취약할 수 있으며, DBP15K에 대한 평가가 도메인 특화 제약 조건이나 실제 산업 현장의 업데이트 노이즈를 완전히 포괄하지 못함을 언급한다. 향후 연구로는 멀티 에이전트 협업 및 더 큰 규모의 스트리밍 벤치마크 탐구를 제안한다.