Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 학술 논문의 키워드는 연구의 핵심을 파악하고 정보 검색 효율성을 높이는 데 필수적입니다. 그러나 모든 논문에 저자가 직접 부여한 키워드가 있는 것은 아니며, 이를 자동 추출하는 연구가 활발히 진행되고 있습니다.
• 기존 연구의 한계: 기존의 무감독 (Unsupervised) 키워드 추출 연구는 주로 **초록 (Abstract)**이나 전체 텍스트를 입력으로 사용했습니다. 초록은 핵심 내용을 간결하게 요약하지만, 때로는 배경 설명이나 불필요한 정보 (노이즈) 를 포함하고 있어 추출 성능의 상한선을 제한할 수 있습니다.
• 문제 정의: 학술지 (특히 Elsevier 등) 에 increasingly 도입되고 있는 '하이라이트 (Highlights)' 섹션은 논문의 핵심 기여도와 혁신점을 3~5 문장으로 요약한 것입니다. 하이라이트에는 초록에는 없는 중요한 키워드 정보가 포함되어 있을 가능성이 높지만, 이를 키워드 추출에 활용한 연구는 부족합니다.
• 연구 목표: 초록과 하이라이트를 통합하여 무감독 키워드 추출 성능을 향상시킬 수 있는지, 그리고 어떤 통합 방식이 가장 효과적인지 규명하는 것.

2. 연구 방법론 (Methodology)

2.1 데이터셋 구축

• 출처: Elsevier 의 학술지 (LIS: 도서관 및 정보과학, CS: 컴퓨터과학 분야) 에서 2012~2023 년에 게재된 논문을 수집.
• 규모: LIS 2,590 편, CS 2,996 편 (총 5,586 편).
• 구성: 각 논문의 초록 (Abstract), 저자가 부여한 키워드 (Ground Truth), **하이라이트 (Highlights)**를 포함.
• 전처리: 키워드 수가 3~6 개 사이인 논문만 선별, 하이라이트가 없는 논문은 제거.

2.2 입력 텍스트 통합 전략 (Integration Strategies)

초록과 하이라이트를 결합하여 7 가지 입력 시나리오를 구성하고 비교 평가했습니다:

1. A (Abstract): 초록만 사용 (기저선).
2. H (Highlights): 하이라이트만 사용.
3. FA (Filtered Abstract): 하이라이트와의 의미적 유사도를 기준으로 초록 문장을 필터링하여 핵심 문장만 추출.
4. A+H: 초록 + 하이라이트 직접 연결.
5. H+A: 하이라이트 + 초록 직접 연결 (순서 변경).
6. FA+H: 필터링된 초록 + 하이라이트.
7. H+FA: 하이라이트 + 필터링된 초록.

• 필터링 기법: Sentence-Transformer (all-MiniLM-L6-v2) 를 사용하여 하이라이트와 초록 문장 간의 코사인 유사도를 계산하고, 상위 k 개 (k=4) 문장만 선별하여 필터링된 초록을 생성.

2.3 평가 모델 (Unsupervised Models)

다음 4 가지 무감독 키워드 추출 모델을 사용했습니다:

• 그래프 기반: TextRank, PositionRank (단어 빈도, 위치, 공발현 기반).
• 임베딩 기반 (Pre-trained Language Models): MDERank (의미적 유사도), PromptRank (생성 기반).
• LLM 평가: GPT-4o 와 LLaMA-3 를 사용하여 대규모 언어 모델에서의 일반성도 검증.

2.4 평가 지표

• F1 점수: F1@5, F1@10, F1@15 (추출된 상위 k 개 키워드와 정답 키워드의 일치도).
• 통계적 유의성: 페어드 t-test 를 통해 기저선 (A) 대비 성능 향상의 유의성 확인.

3. 주요 결과 (Key Results)

3.1 성능 향상

• 통합의 효과: 초록만 사용한 경우보다 초록과 하이라이트를 결합한 경우 (A+H, H+A 등) 모든 모델에서 성능이 유의미하게 향상되었습니다.
  • 예시 (LIS 데이터, MDERank, F1@5): 초록만 사용 시 19.48% → 결합 시 22.32% 로 향상.
  • 예시 (CS 데이터, PromptRank, F1@5): 초록만 사용 시 16.44% → 결합 시 16.91% 로 향상.
• 모델 비교: 사전 학습된 언어 모델 (MDERank, PromptRank) 이 그래프 기반 모델 (TextRank 등) 보다 전반적으로 우수한 성능을 보였으며, 특히 하이라이트 통합 시 그 격차가 더욱 두드러졌습니다.

3.2 통합 방식의 영향

• 순서의 영향: 하이라이트를 앞에 두는지 (H+A), 초록을 앞에 두는지 (A+H) 에 따른 성능 차이는 통계적으로 미미했습니다.
• 필터링의 효과: 의미적 유사도로 초록을 필터링한 후 결합하는 방식 (FA+H) 도 유효했으나, 단순 연결 (A+H) 과 큰 차이가 없거나 오히려 정보 손실로 인해 성능이 약간 떨어지는 경우도 있었습니다. 이는 초록의 일부 정보도 키워드 추출에 필요할 수 있음을 시사합니다.
• 문장 수 분석: 필터링된 초록에서 유지해야 할 최적의 문장 수는 약 4~5 문장인 것으로 나타났습니다.

3.3 일반성 및 LLM 적용

• 다학제적 검증: Elsevier 외의 출판사 (Springer) 및 다양한 학문 분야 (27 개 분야) 에서도 하이라이트 통합이 성능을 향상시키는 것을 확인했습니다.
• LLM 성능: GPT-4o 와 LLaMA-3 를 사용한 실험에서도 하이라이트 통합이 대부분의 경우 성능 향상을 가져왔습니다. 특히 LLaMA-3 는 GPT-4o 보다 더 큰 성능 향상을 보였습니다.

4. 메커니즘 분석 (Mechanism Analysis)

• 키워드 커버리지 (Coverage): 하이라이트에는 초록에 없는 고유한 키워드가 약 14~17% 포함되어 있어, 이를 추가함으로써 후보 키워드 풀 (Candidate Pool) 을 확장하고 추출 상한선을 높였습니다.
• 내용적 차이:
  • LIS 분야: 하이라이트가 결론 (Conclusion) 과 연구 소개 (Introduction) 문장에 집중되어 있어, 초록보다 키워드 밀도가 높았습니다.
  • CS 분야: 하이라이트가 방법론 (Methods) 과 기여도 (Contributions) 에 더 집중되는 경향이 있었습니다.
  • 발견: 초록은 배경 설명 등 노이즈가 많지만, 하이라이트는 핵심 기여도에 집중되어 있어 결과 중심의 연구에서는 하이라이트가 키워드 추출에 특히 효과적이었습니다.

5. 주요 기여도 (Key Contributions)

1. 최초의 통합 연구: 학술지 하이라이트를 무감독 키워드 추출에 통합하여 성능을 향상시킨 최초의 연구입니다.
2. 통합 전략 비교: 단순 연결 (Concatenation) 이 필터링된 텍스트를 사용하는 것보다 효과적이며, 텍스트 순서가 성능에 큰 영향을 미치지 않음을 실증했습니다.
3. 초록 필터링의 타당성 검증: 초록의 모든 문장이 키워드 추출에 동등하게 중요하지 않으며, 하이라이트와의 유사도를 기반으로 핵심 문장만 선별할 수 있음을 보였습니다.
4. 해석 가능성 제공: 초록과 하이라이트의 키워드 커버리지 및 문장 유형 분포 차이를 분석하여 성능 향상 원인을 심층적으로 규명했습니다.

6. 의의 및 시사점 (Significance)

• 학술 정보 추출의 새로운 패러다임: 기존에 간과되었던 '하이라이트' 섹션이 키워드 추출 및 과학적 지식 발견 (Scientometric tasks) 에 중요한 자원이 됨을 입증했습니다.
• 실용적 적용: 저자가 키워드를 제공하지 않는 경우나 초록만 있는 경우에도 하이라이트를 생성 (또는 활용) 하여 추출 정확도를 높일 수 있는 방안을 제시합니다.
• 다학제적 확장: 다양한 학문 분야와 출판사 구조에서도 적용 가능하여, 학술 출판 생태계의 변화 (구조화된 초록, 하이라이트의 확산) 에 대응하는 방법론을 제공합니다.
• 향후 연구 방향: LLM 을 활용한 더 정교한 프롬프트 엔지니어링, 하이라이트가 없는 논문에 대한 자동 생성 기술, 그리고 특정 학문 분야에 맞춘 통합 전략 개발이 필요함을 제시합니다.

이 논문은 학술 논문의 구조적 요소인 하이라이트를 활용함으로써 무감독 키워드 추출의 성능 한계를 극복하고, 과학적 지식의 효율적인 조직화 및 검색에 기여할 수 있음을 실증적으로 증명했습니다.