기술 요약: 연구 주제 온톨로지 생성을 위한 대규모 언어 모델(LLM)의 활용

문제 정의

온톨로지와 택소노미(Taxonomy)는 과학적 지식을 체계화하여 연구 성과물(예: 논문, 특허, 데이터셋)의 분류, 보급 및 검색을 용이하게 하는 데 필수적이다. 그러나 이러한 지식 조직 시스템(KOS)을 구축하고 유지하는 작업은 비용과 시간이 많이 소요되며, 해당 분야 전문가들의 조율된 노력이 필요하다. 결과적으로 기존 온톨로지는 학문적 범위가 불균형하거나, 학제 간 연결성이 약하며, 급격한 과학적 발전을 반영하지 못해 업데이트가 뜸하다는 문제를 안고 있다. 기존의 온톨로지 자동 생성 시도는 언어 도구와 머신러닝을 활용해 왔으나, 연구 영역의 본질적인 복잡성과 전문성으로 인해 대규모의 세밀한 표현을 생성하는 데 어려움을 겪고 있다. 본 연구는 연구 주제 간의 의미론적 관계를 식별하는 능력, 즉 학술 온톨로지를 구축하고 정교화하는 핵심 과제에 있어 대규모 언어 모델(LLM)의 역량을 체계적으로 평가하는 공백을 다룬다.

방법론

본 연구는 30억 개에서 270억 개의 파라미터 범위를 가진 12개의 오픈 웨이트(open-weight) LLM을 대상으로 세 가지 차별화된 최적화 전략을 조사한다:

1. 제로샷 학습 (Zero-Shot Learning, ZSL): 특정 작업에 대한 사전 훈련 없이 모델을 평가하며, 두 가지 프롬프팅 전략을 사용한다:
   • 표준 프롬프팅 (Standard Prompting): 작업과 출력 형식을 정의한 사전 정의된 템플릿을 사용한다.
   • 양방향 사고 사슬 (Bidirectional Chain-of-Thought, CoT): 모델이 먼저 주제를 정의하고 문장을 구성한 다음 관계를 분류하는 2단계 프롬프팅 기법이며, 불일치를 해결하기 위해 주제의 위치를 바꾸어 이 과정을 반복한다.
2. 미세 조정 (Fine-Tuning): 새로운 데이터셋을 사용하여 저차원 적응(Low-Rank Adaptation, LoRA) 방식으로 모델을 적응시킨다.
3. 평가 시나리오: 다음과 같은 모듈형 실험 설계를 통해 테스트를 수행한다:
   • 학문 특정적 (Discipline-specific): 동일한 도메인 내에서 훈련 및 테스트.
   • 교차 학문적 (Cross-discipline): 한 도메인에서 훈련하고 다른 도메인에서 테스트.
   • 다학제적 (Multidisciplinary): 결합된 데이터셋에서 훈련 및 테스트.

PEM-Rel-8K 데이터셋

이 분석을 지원하기 위해 저자들은 세 가지 주요 택소노미에서 추출한 8,000개 이상의 의미론적 관계로 구성된 새로운 벤치마크인 PEM-Rel-8K를 도입했다:

• IEEE Thesaurus: 공학 및 컴퓨터 과학 (~3,200개 관계).
• PhySH (Physics Subject Headings): 물리학 (~875개 관계).
• MeSH (Medical Subject Headings): 의생명과학 (~4,000개 관계).

데이터셋은 관계를 네 가지 상호 배타적인 클래스로 분류한다:

• 상위 개념 (Broader): 주제 A가 주제 B를 포괄함.
• 하위 개념 (Narrower): 주제 A가 주제 B에 의해 포괄됨.
• 동일 개념 (Same-as): 두 주제가 의미론적으로 동등함.
• 기타 (Other): 의미론적 관계가 존재하지 않음 (부정적 예시).

데이터셋 구축 과정에는 특히 소스 택소노미에 명시적으로 정의되지 않은 "동일 개념" 관계(예: 동의어와 대체 레이블의 구분)를 식별하기 위해 전문가의 수동 감독이 포함되었다.

주요 기여

1. 포괄적인 LLM 분석: 연구 주제 간의 의미론적 관계를 식별하기 위해 세 가지 과학 분야(공학, 물리학, 의생명과학)에 걸쳐 12개의 LLM을 체계적으로 평가하였다.
2. 방법론적 비교: 온톨로지 생성 작업을 위한 제로샷, 사고 사슬(CoT), 미세 조정 접근 방식에 대한 엄격한 비교를 수행하였다.
3. 교차 학문적 전이 가능성 연구: 한 학문 분야에서 미세 조정된 모델이 다른 분야로 일반화될 수 있는지 조사하여, 통합된 다학제 모델의 가능성을 밝혀냈다.
4. PEM-Rel-8K 벤치마크: 연구 주제 관계 식별을 위한 훈련 및 평가에 특화된 모듈형 다학제 데이터셋을 도입하고 공개하였다.
5. 오픈 소스 공개: 재현성을 보장하기 위해 전체 코드베이스, 데이터셋 및 프롬프트 템플릿을 제공한다.

결과

실험을 통해 다음과 같은 주요 결과를 얻었다:

• 미세 조정의 우수성: PEM-Rel-8K를 통한 LLM 미세 조정은 제로샷 및 사고 사슬(CoT) 프롬프팅보다 성능이 크게 뛰어났다. 가장 우수한 성능을 보인 모델인 gemma-2-27b-it는 다학제 테스트 세트에서 **93.5%**의 F1-점수를 달성했다.
• CoT의 성능: 양방향 CoT는 제로샷 설정에서 표준 프롬프팅보다 우수한 성능을 보였으나(F1 점수 약 5.1% 향상), 미세 조정된 모델에 비해서는 여전히 크게 뒤처졌다.
• 교차 학문적 일반화: 단일 학문 분야에서 미세 조정된 모델은 강력한 전이 가능성을 보여주었다. 예를 들어, 물리학 데이터로 훈련된 모델은 의생명과학 데이터 테스트 시에도 경쟁력 있는 결과를 얻었다. 결정적으로, 결합된 PEM-Rel-8K 데이터셋으로 미세 조정된 모델은 학문 특정적 데이터셋으로만 미세 조정된 모델보다 평균 F1-점수가 단 1.2% 낮았다.
• 모델 변동성: gemma-27b가 전반적으로 최고의 성능을 보였으나, phi-4 및 mistral-22b와 같은 다른 모델들도 강력한 능력을 보여주었으며, 학문에 따라 성능 차이가 나타났다(예: phi-4는 MeSH에서 가장 좋은 성능을 보였고, gemma-9b는 PhySH에서 탁월했다).
• 오류 분석: 분류하기 가장 어려운 관계는 "동일 개념" (평균 F1: 88.5%)이었으며, 이는 어휘적 중복과 온톨로지 간의 일관되지 않은 정의로 인해 계층적 관계와 혼동되는 경우가 많았다. "기타" 카테고리(관계가 없는 쌍)는 식별하기 가장 쉬웠다.

의의 및 주장

본 논문은 이 연구가 광범위한 과학 분야에서 연구 주제 간의 의미론적 관계를 식별하기 위해 LLM을 사용하는 것에 대한 첫 번째 대규모 조사라고 주장한다. 주요 의의는 정제된 다학제 데이터셋을 통해 LLM을 미세 조정함으로써 서로 다른 과학 분야로 일반화할 수 있는 강력한 모델을 생성할 수 있음을 입증한 데 있다.

저자들은 이 접근 방식이 현재 연구 온톨로지의 파편화와 불균형한 범위를 극복할 수 있는 실행 가능한 경로를 제시한다고 단언한다. 하나의 모델이 별도의 전문 모델과 비교했을 때 최소한의 성능 손실만으로 공학, 물리학, 의생명과학을 효과적으로 처리할 수 있음을 보여줌으로써, 본 연구는 개별 온톨로지를 수동으로 구축하고 관리하는 비용이 많이 드는 방식에서 자동화되고 통합된 지식 조직 시스템으로의 전환을 시사한다. 결과는 LLM이 고품질의 최신 온톨로지를 구축하고 유지하는 데 드는 장벽을 크게 낮출 수 있음을 나타낸다.

저자들은 현재의 한계에 대해 겸허한 태도를 유지하며, LLM이 강력한 보조 도구이기는 하지만 복잡한 의미론적 관계(예: "동일 개념")와 같이 인간의 감독이 필요한 일관성 및 정확도 측면에서 여전히 과제에 직면해 있다고 언급했다. 향후 연구로는 사회과학 및 인문학으로의 확장과 온톨로지 매칭 및 진화를 위한 시스템 개발이 제안되었다.