기술 요약: 지식 그래프 생성을 위한 에이전트 기반 하이브리드 탑다운 및 바텀업 접근 방식

문제 정의

Malt와 같은 유럽의 프리랜서 마켓플레이스인 HR 플랫폼은 수천 개의 비표준화된 다국어 전문성 선언을 정리하는 데 있어 지속적인 과제에 직면해 있습니다. 이러한 자유 형식의 텍스트 입력은 다국어 파편화, 니치(niche) 전문 용어, 복합 기술, 그리고 직업의 진화에 따른 급격한 시간적 변화(temporal drift)로 인해 어려움을 겪습니다. 대규모 언어 모델(LLM)은 수작업으로 만든 분류 체계보다 확장성이 뛰어나지만, 환각된 기술 생성, 포맷팅 불안정성, 검증 가능한 메타데이터 기반의 부재와 같은 상당한 위험을 초래합니다.

기존의 생성 방식은 두 가지 제한적인 패러다임에 머물러 있습니다:

1. 경직된 탑다운(Rigid Top-Down): 구조적 일관성을 보장하기 위해 사전 정의된 온톨로지(예: ESCO)에 의존하지만, 새롭게 등장하거나 국지적인 개념을 포착하는 데 실패합니다.
2. 혼란스러운 바텀업(Chaotic Bottom-Up): 생성적 클러스터링을 통해 새로운 트렌드를 유연하게 식별하지만, 구조적 제약이 부족하여 의미론적 파편화(중복 클러스터)와 링크 환각 현상이 발생합니다.

본 논문은 인식된 개념을 안정적인 지식 그래프(KG) 엔티티에 고정하는 동시에, 인식되지 않은 기술을 위해 새로운 노드를 동적으로 생성함으로써 이 간극을 메우는 솔루션을 제안합니다.

방법론

저자들은 선형적인 프로세스가 아닌 반복적인 루프로 작동하는 완전 자동화된 에이전트 기반 하이브리드 파이프라인을 제안합니다. 이 시스템은 검증 가능성을 확보하기 위해 LLM(특히 Gemini 1.5 Flash)을 Wikidata 다국어 지식 그래프에 접지(grounding)시키는 한편, **에이전트 성찰 패턴(agentic reflexion pattern)**을 사용하여 신흥 개념을 합성합니다.

파이프라인은 다섯 가지 별도의 단계로 구성됩니다:

1. 의미론적 화해 (Semantic Reconciliation - Grounding):

   • 노이즈가 섞인 비표준화된 기술 언급을 안정적인 Wikidata 엔티티 식별자(QID)에 매핑합니다.
   • 시스템은 플랫폼의 사용자 프로필 그래프에서 공통으로 나타나는 동료 기술 및 전문 카테고리를 쿼리하여 원시 입력을 도메인 특화 컨텍스트로 풍부하게 만듭니다.
   • LLM은 선택된 QID, 신뢰도 점수, 불리언 플래그(예: is_skill, is_compound)를 포함하는 JSON 페이로드를 출력하며 디앰비규에이션(disambiguation)을 수행합니다.

2. 정형화 (Canonicalization - Clustering):

   • 검증된 입력값들을 고유한 QID 조합별로 그룹화합니다.
   • LLM은 5개 대상 언어(영어, 프랑스어, 독일어, 네덜란드어, 스페인어)에 대해 국지적이고 선호되는 라벨을 합성합니다.
   • 엄격한 폴백(fallback) 계층 구조가 강제됩니다: 플랫폼의 경험적 사용 사례를 우선시하고, 그다음 공식 온톨로지 타이틀을, 마지막으로 필요할 때만 새로운 라벨을 생성합니다. 각 라벨에는 출처(provenance)가 태깅됩니다.

3. 능동적 큐레이션 (Active Curation - Reflexion):

   • LLM 기반 에이전트가 원시 기술과 그들의 더 넓은 엔티티 그룹 간의 엄격한 등가성을 검증합니다.
   • 비등가 기술은 7가지 세밀한 기준(예: SPECIALIZATION, SEMANTIC_MISMATCH)에 따라 거부됩니다.
   • 결정적으로, 거부된 개념은 폐기되지 않습니다. 에이전트는 suggested_pref_label을 생성하고 해당 개념을 "아웃라이어(outlier)"로 표시하여 다음 단계에서 처리되도록 합니다. 거부율(>50%)이 높은 노드는 인간 참여형 검토(human-in-the-loop review)를 트리거합니다.

4. 통합 (Consolidation - Deduplication):

   • 증분 실행 시 글로벌 일관성을 유지하기 위해 중복되는 서브 그래프를 병합합니다.
   • 비대칭 부트스트래핑 전략을 채택합니다: 새로운 노드는 지속적으로 성장하는 베이스라인과 비교됩니다.
   • 가벼운 휴리스틱(멤버 교집합, 어휘 유사성)이 잠재적 병합을 플래그하면, LLM이 이를 평가하여 MERGE 또는 KEEP_SEPARATE를 결정합니다.

5. 반복 (Iteration - Orphan Recovery):

   • 거부된 "고아(orphan)" 개념(예: 앵커가 "Project Management"일 때의 "Web Project Management")은 suggested_pref_label에서 유도된 합성 식별자를 할당받습니다.
   • 이러한 고아들은 다음 생성 주기(Epoch)로 재주입됩니다. 동일한 개념은 동일한 제안된 라벨을 받게 되므로 자연스럽게 통합된 서브 그래프로 그룹화됩니다.
   • 이 루프는 고아 큐가 비워질 때까지 반복되어, 의미론적 수렴을 달ach하고 베이스라인 Wikidata가 갖지 못한 미세한 관계적 엣지를 생성합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

• 하이브리드 기술 추출: 구조화된 KG 통합과 동적인 바텀업 파싱을 결합하여, 확립된 글로벌 표준과 새롭게 등장하는 롱테일 전문성을 모두 포착하고 도메인 특화 메타데이터로 풍부하게 만듭니다.
• 다국어 표준화: 5개 언어에 대해 일관된 표현을 지원하도록 구조적 스키마 제약을 강제하여, 환각된 출력을 크게 줄입니다.
• 반복적 자기 정제: 에이전트가 중간 출력을 반복적으로 분석하고 수정하는 성찰 기반 멀티 에이전트 루프를 도입하여, 파편화된 개념의 점진적인 통합과 분류 체계의 일관성을 향상시킵니다.

결과

파이프라인은 Malt 플랫폼의 36,037개 원시 전문성 문자열로 구성된 독점 데이터셋을 통해 평가되었습니다.

• 어휘 커버리지 및 압축:

  • 글로벌 커버리지: 입력값의 77%가 성공적으로 KG 노드에 매핑되었습니다 (27,743개 해결).
  • 의미론적 압축: 27,743개의 변형된 입력이 13,298개의 정형 기술 노드로 통합되었으며, 이는 52.1%의 압축률을 나타냅니다.
  • 교차 언어 대칭성: 13,298개의 정형 노드 전체가 5개 대상 로케일에서 완전히 지원되며, 66,490개의 표준화된 선호 라벨을 생성합니다.
  • 효율성: 노드당 평균 기술 수(ASpN)는 2.08로, 효과적인 어휘 통합을 입증했습니다.

• 정밀도:

  • 수작업으로 주석을 단 골드 스탠다드(gold standard)와 비교했을 때, 통합 전 파이프라인은 **79.7%의 글로벌 정렬 커버리지(Global Alignment Coverage)**와 **84.9%의 발견 커버리지(Found Coverage)**를 달성했습니다.
  • 성능은 도메인마다 차이가 있었는데, 비디오 게임(찾은 커버리지 91.8%)과 같이 구조화된 분야가 커뮤니케이션(81.0%)과 같은 주관적인 분야보다 우수한 성능을 보였습니다.
  • 잘못된 추측률(WGR)은 19.1%였으며, 이는 관리되지 않은 사용자 입력의 의미론적 모호함에 기인합니다.

• 출처 및 순도:

  • 지식 그래프의 **80.65%**가 사실적 데이터에 엄격히 앵커링되어 있습니다 (경험적 플랫폼 사용 67.28%, Wikidata 타이틀 22.08%).
  • 오직 **19.35%**만이 신흥 개념을 해결하기 위해 생성적으로 합성되었습니다. 이는 구조가 경험적 현실에 뿌리를 두고 있음을 증명합니다.
  • 구조적 일관성은 높으며, 서브 그래프당 오차율은 미미합니다 (0.01 ~ 0.06개의 아웃라이어). 또한 능동적 큐레이션 에이전트는 13.7%의 입력을 NOT_A_SKILL로 성공적으로 차단했습니다.

의의 및 주장

본 논문은 이 하이브리드 접근 방식이 구조화되지 않고 노이즈가 많은 텍스트로부터 포괄적인 기술 지식 그래프를 생성하기 위한 매우 확장 가능하고, 설명 가능하며, 자가 치유가 가능한 프레임워크를 제공한다고 주장합니다.

• 간극 해소: 시스템은 탑다운 온톨로지의 정밀도와 바텀업 생성의 유연성 사이에서 균형을 성공적으로 맞춥니다. 인식된 개념을 안정적인 Wikidata 엔티티에 고정하는 동시에, 빠르게 진화하고 노이즈가 많은 기술 언급에 자율적으로 적응합니다.
• 책임 있는 AI: 인식된 엔티티를 결정론적인 KG에 엄격히 접지하고, 제약 없는 생성적 성찰을 매핑되지 않은 기술에만 국한함으로써 환각과 편향을 완화합니다.
• 실용적 유용성: 결과물인 구조화된 분류 체계는 이미 Malt의 후보자 매칭 알고리즘에 통합되어, 자동화된 HR 시스템의 해석 가능성과 감사 가능성을 개선하고 있습니다.
• 확장성: 이 아키텍처는 단일한 의미 구조에 얽매이지 않으며 대체 가능한 외부 데이터베이스를 통합할 수 있습니다. 저자들은 외부 접지에 의존하고 복잡한 내부 추론에 의존하지 않기 때문에, 결과가 유사한 오픈 소스 소규모 언어 모델(SLM)을 사용하더라도 재현될 수 있을 것이라고 언급했습니다.

저자들은 이것이 현대 노동 시장의 복잡성을 모델링하기 위한 초기 단계임을 인정하며 겸허한 어조를 유지합니다. 그들은 굴절어(inflected languages)에서의 성별 언어 표현과 관련된 표상 편향 문제를 해결하고, ESCO와 같은 다른 AI 접근 방식 및 표준에 대한 확장된 평가를 수행하는 것을 향후 과제로 꼽았습니다.