From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

기술 요약: 프롬프트에서 그래프로: 도메인 특화 온톨로지 개발을 위한 LLM 기반 정보 추출 전략 비교

문제 정의
온톨로지는 복잡한 산업 분야, 특히 주조 제조와 같은 분야에서 상호 운용성, 데이터 공유 및 추론을 용이하게 하기 위해 지식을 구조화하는 데 매우 중요하다. 그러나 전통적인 온톨로지 구축은 노동 집약적이고 비용이 많이 들며, 파편화되고 비정형적인 문서에 대한 수동 주석 작업에 크게 의존한다. 거대 언어 모델(LLM)은 지식 추출을 자동화할 수 있는 잠재력을 제공하지만, 기존 연구들은 서로 다른 LLM 기반 접근 방식에 대한 병렬 비교가 부족하다. 또한, 기존의 많은 제조 온톨로지는 개념-관계 트리플(concept-relation triples)이 완전하지 않은 비형식적인 경우가 많으며, 이전 연구들은 전통적인 제조 환경에서는 일반적이지 않은 대규모의 잘 구조화된 데이터셋에 대한 접근을 가정하는 경향이 있다.

연구 방법론
본 연구는 제한된 데이터를 사용하여 도메인 특화 텍스트(학술 논문 및 기술 서적)로부터 용어와 관계를 추출하기 위한 반자동 온톨로지 학습 프레임워크를 제안한다. 본 연구는 세 가지 뚜리한 LLM 기반 전략을 평가하고 비교한다:

1. 사전 학습된 LLM 구동 방식 (Pre-trained LLM-driven Method): Chain-of-Thought(CoT) 방법론에 기반하여 최적화된 프롬프트를 활용하는 일반 사전 학습 모델(ChatGPT 4.1 mini)을 사용한다. 이 방식은 인간이 주석을 달은 예시 없이 모델의 내재된 지식에 의존하여 용어와 관계를 직접 추출한다.
2. 인컨텍스트 학습 방식 (In-Context Learning, ICL Method): 소규모 훈련 세트로부터 $k$-shot 예시를 사용하여 용어 추출 후 관계 추출을 수행하는 2단계 과정이다. 의미론적 관련성을 보장하기 위해, 본 연구는 Universal AnglE Embedding (UAE)-Large-V1 모델을 사용하여 각 테스트 입력에 대해 가장 유사한 상위 $k$(16개로 설정) 개의 훈련 샘플을 검색한다.
3. 미세 조정 방식 (Fine-tuning Method): 전체 라벨링된 데이터셋을 바탕으로 두 개의 맞춤형 모델(하나의 용어 추출용, 하나의 유의어/관계 추출용)을 사용하는 2단계 지도 미세 조정 방식이다. 이 방식은 추론 시 $k$-shot 예시를 필요로 하지 않고, 베이스 모델(OpenAI GPT-4.1-mini)을 특정 주조 도메인에 적응시키기 위해 모델 파라미터를 업데이트한다.

실험 설정
본 연구는 재료, 주조 공정, 제품 특성, 주조 파라미터, 주조 결함, 주조 장비라는 6가지 상위 개념을 가이드로 하여 주조 도메인에 집중하였다.

• 데이터: 173개의 짧은 텍스트로 구성된 훈련 데이터셋과 30개의 긴 단락으로 구성된 테스트 데이터셋을 큐레이션하였다.
• 주석(Annotation): 인적 전문가가 훈련 세트에서 538개의 용어와 321개의 관계 트리플을 수동으로 라벨링하였고, 테스트 세트에서는 590개의 용어와 481개의 관계를 라벨링하였다.
• 평가: 성능은 정밀도(Precision), 재현율(Recall), F1-score를 사용하여 측정되었다. 추출된 지식은 트리플(주체, 객체, 관계) 형태로 구조화되었으며 Neo4j 그래프 데이터베이스에 구현되었다.

주요 결과

• 사전 학습된 LLM: 용어 추출에서 약 77.3%, 관계 추출에서 79.5%의 정밀도를 달了. 그러나 실제 정답(ground truth)에 비해 현저히 적은 수의 엔티티(용어 142개, 관계 36개)를 추출하였으며, 위치 정보가 누락되어 재현율과 F1-score 계산이 불가능했다. 또한 환각(hallucination) 및 부적절한 분류 현상이 나타났다.
• ICL 방식: 421개의 용어(정밀도: 79.8%, 재현율: 56.9%, F1: 66.4%)와 424개의 관계 트리플(정밀도: 63.9%, 재현율: 56.3%, F1: 59.9%)을 추출하였다. 긴 텍스트 처리에 효과적이었으나, 일관되지 않은 관계 명명(예: 동일한 관계에 대해 서로 다른 유의어 사용)과 낮은 유의어 인식 능력(주석 처리된 22개 쌍 중 1개만 식별) 문제를 보였다.
• 미세 조정 방식: 모든 지표에서 가장 우수한 성능을 입증하였다. 용어 추출 F1-score 90.6%(정밀도: 93.8%, 재현율: 87.6%)와 관계 추출 F1-score 79.5%(정밀도: 86.7%, 재현율: 73.4%)를 달성하였다. 관계 명명의 일관성이 더 높았으며 유의어 인식 능력(22개 쌍 중 10개 식별)도 현저히 개선되었다.

온톨로지 구축
최종 주조 온톨로지를 구축하기 위해 미세 조정 방식이 선택되었다. 유의어를 통합하고 중복을 제거한 후, 273개의 고유 개념과 6로 검증된 관계가 유지되었다. 전문가 검증 결과, 개념 정밀도는 97%, 관계 정밀도는 93%로 확인되었다. 결과물인 온톨로지는 Neo4j에서 시각화되었으며, 주조 용어의 계층적 구조를 보여주었다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 제한된 데이터 환경에서 도메인 특화 용어 및 관계 추출을 위한 세 가지 LLM 기반 방식(사전 학습된 프롬프팅, ICL, 미세 조정)에 대한 비교 평가.
2. 제조 애플리케이션의 온톨로지 구축을 개선하기 위해 설계된 프롬프트 기반 관계 추출 전략 제안.
3. 학술 및 기술 문헌으로부터 도출된, 고품질의 검증된 주조 온톨로지 개발을 통해 제조 분야의 비형식적 온톨로지 문제를 해결함.

본 연구는 사전 학습된 모델이 유용한 시작점이 될 수 있고 ICL이 비용 효율성을 제공할 수 있지만, 자원이 허용되는 경우 고품질 온톨로지 개발에는 미세 조정 방식이 가장 효과적이라고 결론짓는다. 저자들은 본 연구가 작은 데이터셋 규모에 의해 제한된다는 점을 언급하며, 향후 연구에서는 실제 산업 환경에서의 확장성을 평가하기 위해 더 크고 다양한 코퍼스(corpus)를 통해 이러한 방법들을 검증해야 한다고 제언한다.