기술 요약: KG-HTC

문제 정의

계층적 텍스트 분류 (HTC) 는 다중 레벨 분류 체계 내에서 조직화된 레이블에 문서를 할당하는 작업으로, 전자상거래 카테고리 분류 및 문헌 관리와 같은 분야에서 중요한 과제입니다. 이전 연구는 지도 학습 방법이 지배적이었으나, 실제 산업 응용 분야에서는 다음과 같은 중대한 장벽에 직면해 있습니다:

1. 데이터 부족: 다중 계층 레벨에 걸쳐 데이터를 수동으로 주석하는 것은 과도하게 비용이 듭니다.
2. 대규모 레이블 공간: 분류 체계는 수백에서 수천 개의 말단 카테고리를 포함하는 경우가 많습니다 (예: 아마존 데이터셋은 500 개 이상의 말단 카테고리를 가짐).
3. 긴 꼬리 분포: 데이터셋은 종종 극도로 불균형하여, 소수의 빈번한 카테고리가 지배하는 반면 대부분의 클래스는 과소 대표됩니다.

이러한 요인들은 표준 지도 접근 방식을 많은 산업 환경에 부적합하게 만들어, 엄격한 제로샷 학습 (strict zero-shot learning) 방법으로의 전환을 필요로 합니다. 기존 제로샷 접근법들 (예: 문맥 학습을 활용한 Halder 등, 또는 임베딩 기반 유사도 전파를 활용한 Z-STC, HiLA) 은 계층이 깊어질수록 성능 저하에 시달리며, 방대하고 희소한 레이블 공간을 효과적으로 탐색하지 못합니다.

방법론: KG-HTC

저자들은 HTC 의 제로샷 환경에서의 과제를 해결하기 위해 지식 그래프 (KG) 와 대규모 언어 모델 (LLM) 을 통합한 새로운 프레임워크인 KG-HTC를 제안합니다. 이 방법은 레이블 분류 체계를 방향성 비순환 그래프 (DAG) 로 간주하고, LLM 에 구조화된 의미적 컨텍스트를 제공하기 위해 검색 증강 생성 (RAG) 파이프라인을 활용합니다.

시스템 아키텍처는 다음과 같은 단계를 통해 작동합니다:

1. 저장 및 표현:

   • 레이블 분류 체계는 계층적 부모 - 자식 관계를 보존하기 위해 그래프 데이터베이스(Neo4j) 와 모든 레이블의 임베딩을 포함하는 벡터 데이터베이스(ChromaDB) 에 모두 저장됩니다.
   • 이러한 이중 저장 방식은 시스템이 의미적 모호성 해소를 위해 위상적制약을 활용할 수 있게 합니다.

2. 서브그래프 검색 (RAG):

   • 입력 텍스트 $x$가 주어지면, 시스템은 해당 텍스트의 임베딩 $\Psi(x)$를 계산합니다.
   • 각 계층 레벨 $l$에 대해, 시스템은 입력과 해당 레벨의 모든 레이블 간의 코사인 유사도를 계산합니다.
   • 유사도 임계값 $\tau_l$을 기반으로 후보 레이블 $Q_l$을 검색합니다.
   • 알고리즘 1은 레벨 간 의존성을 검증합니다: 레벨 $l$의 후보 레이블은 레벨 $l-1$의 후보 집합에 부모 레이블이 존재할 때만 유지됩니다. 이 과정은 전체 지식 그래프에서 관련 없는 노이즈를 필터링하여 관련 서브그래프(또는 서브트리) 를 구성합니다.

3. 프롬프트 구성:

   • 검색된 서브그래프는 알고리즘 2를 사용하여 구조화된 프롬프트로 변환됩니다.
   • 시스템은 말단 노드에서 루트까지 모든 유효한 경로를 열거하는 상향 전파 탐색을 수행합니다.
   • 이러한 경로는 시퀀스 (예: Level 1 -> Level 2 -> Level 3) 로 직렬화되어 프롬프트에 연결됩니다. 이 체인 기반 표현은 전체 분류 체계에 압도되지 않으면서도 LLM 이 계층적制약을 이해하도록 보장합니다.

4. 레벨별 분류:

   • LLM 은 레벨 1 에서 레벨 $L$까지 반복적으로 분류를 수행합니다.
   • 첫 번째 레벨의 경우, 모든 최상위 레이블이 프롬프트에 포함됩니다.
   • 이후 레벨들의 경우, 후보 집합은 이전 레벨의 예측 레이블 ($y_{l-1}$) 과 새로 검색된 후보 ($Q_l$) 를 결합하여 제한됩니다. 이 전략은 오류 전파를 완화하고 대규모 레이블 공간을 효율적으로 처리합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 통합: 엄격한 제로샷 계층적 텍스트 분류를 위해 LLM 에 지식 그래프를 통합하는 KG-HTC 방법의 도입.
2. 의미적 검색 파이프라인: 코사인 유사도를 기반으로 의미적으로 관련 있는 서브그래프를 동적으로 검색하고 이를 구조화된 계층적 프롬프트로 변환하는 파이프라인 구현으로, LLM 이 복잡한 분류 체계에 대해 추론할 수 있도록 함.
3. 종합적 평가: KG-HTC 가 세 개의 오픈소스 데이터셋에서, 특히 더 깊은 계층 레벨에서 이전 최첨단 제로샷 방법 (Z-STC 및 HiLA) 보다 우수한 성능을 보임을 입증하는 심층 평가.

실험 결과

저자들은 세 개의 데이터셋에서 KG-HTC 를 평가했습니다: 아마존 제품 리뷰(3 레벨), 웹 오브 사이언스 (WoS)(2 레벨), DBpedia(3 레벨). 주요 지표는 클래스 불균형을 고려하기 위해 선택된 F1-macro였습니다.

• 성능 향상: KG-HTC 는 약한 베이스라인 (직접 LLM 분류) 과 강력한 베이스라인 (Z-STC 및 HiLA) 모두보다 현저히 우수한 성능을 보였습니다.
  • 아마존 데이터셋에서 KG-HTC 는 레벨 3 에서 F1-macro 0.445를 달성했으며, 이는 HiLA 의 0.249와 Z-STC 의 0.173보다 높습니다.
  • WoS에서 KG-HTC 는 레벨 2 에서 0.630을 달성하여 HiLA(0.371) 와 Z-STC(0.462) 를 능가했습니다.
• 감쇠 분석: 논문은 분류 체계가 깊어짐에 따른 성능 손실을 측정하기 위해 "평균 감쇠율" 지표를 도입했습니다. KG-HTC 는 가장 낮은 감쇠율(예: 아마존에서 0.15 대 HiLA 의 0.43) 을 보였으며, 이는 다른 방법들이 실패하는 깊고 희소한 계층에서도 이 방법이 견고성을 유지함을 나타냅니다.
• 절대 연구 (Ablation Studies):
  • 서브그래프 검색: RAG 기반 서브그래프 검색을 전체 지식 그래프 (Full-KG) 로 대체하면 깊은 레벨에서 성능이 저하되어, 관련 컨텍스트를 필터링하는 것이 대규모 레이블 공간 처리에 중요함을 확인했습니다.
  • 모델 일반화: 이 방법은 GPT-3.5-turbo 와 같은 독점 모델을 넘어 오픈소스 LLM(Qwen2.5-8b) 의 성능을 베이스라인 대비 성공적으로 향상시켜 일반화 가능성을 입증했습니다.

중요성 및 주장

이 논문은 KG-HTC 가 산업 환경에서 HTC 의 핵심 과제인 주석 데이터 부족, 대규모 레이블 공간, 그리고 긴 꼬리 분포를 효과적으로 해결한다고 주장합니다. 구조화된 지식 (서브그래프 검색을 통해) 과 LLM 의 생성 능력을 통합함으로써, 이 방법은 미세 조정 (fine-tuning) 없이도 정확한 제로샷 분류를 가능하게 합니다.

저자들은 명시적인 위상적制약을 제공함으로써 LLM 이 "다양한 계층 레벨에서 레이블 의미를 이해"할 수 있게 한다고 강조합니다. 결과는 구조화된 지식을 통합하는 것이 현재 제로샷 HTC 방법의 한계를 극복할 수 있는 실현 가능한 경로임을 시사하며, 특히 레이블 분포가 극도로 불균형하고 분류 체계가 깊은 시나리오에서 그렇습니다.

한계점: 저자들은 이 방법이 완전하고 정확한 레이블 분류 체계의 가용성을 전제한다고 지적합니다. underlying 지식 그래프의 부정확성은 성능을 저하시킬 수 있습니다. 향후 연구는 더 견고한 지식 그래프를 구축하기 위해 LLM 을 활용하는 데 초점을 맞출 것으로 제안됩니다.