SlovKE: A Large-Scale Dataset and LLM Evaluation for Slovak Keyphrase Extraction

이 논문은 체코어와 같은 굴절어인 슬로바키아어에 대한 대규모 데이터셋 (SlovKE) 을 구축하고, 기존 통계적 방법의 한계를 보완하여 생성된 LLM 기반 추출 방법 (KeyLLM) 이 형태적 불일치 문제를 완화하고 더 정확한 핵심어 추출을 가능하게 함을 입증합니다.

핵심

1. 문제: "옷을 갈아입은 단어의 미스터리"

슬로바키아어는 문법적으로 매우 풍부한 언어입니다. 영어의 'cat(고양이)'이 슬로바키아어에서는 문장 속 위치에 따라 '고양이의', '고양이에게', '고양이들과' 등 수십 가지 형태로 변합니다.

• 비유: 저자가 책 표지에 **"고양이"**라고 적어놓았는데, 책 내용 속에서는 **"고양이에게"**나 **"고양이들의"**라고 쓰여 있는 상황입니다.
• 기존 기술의 한계: 기존의 컴퓨터 프로그램들은 글자를 그대로 복사해내는 '가위' 역할만 했습니다. 그래서 책 내용에서 **"고양이에게"**를 찾아냈지만, 저자가 정한 정답인 **"고양이"**와 글자가 다르다고 해서 "틀렸다"고 판단해 버렸습니다. 이는 마치 "고양이"를 찾으라고 했는데 "고양이에게"를 찾아와서 "정답이 아니야"라고 하는 것과 같습니다.

2. 해결책 1: 거대한 자료실 (SlovKE 데이터셋)

이 연구팀은 슬로바키아어 자료 부족이라는 문제를 해결하기 위해 거대한 자료실을 만들었습니다.

• 규모: 기존에 있던 자료 9,000 개에서 22 만 7 천 개로 25 배나 늘렸습니다. 이는 슬로바키아어 연구 역사상 가장 큰 자료입니다.
• 청소 작업: 인터넷에서 긁어온 자료에는 이름, 날짜, 불필요한 문장 등 '쓰레기'가 많았습니다. 연구팀은 이걸 꼼꼼히 치워내고, 정확한 책 요약 (초록) 과 태그 (키워드) 만 남겼습니다.

3. 해결책 2: 새로운 도구들 (AI 의 비교 실험)

연구팀은 이 거대한 자료실에서 세 가지 다른 도구를 시험해 보았습니다.

1. 전통적인 도구 (YAKE, TextRank):
   • 특징: 글자 빈도나 위치를 보고 단어를 뽑아냅니다.
   • 결과: "고양이"를 찾아야 하는데 "고양이에게"를 찾으면 점수를 못 받았습니다. 정확도가 12% 로 낮았습니다.
2. 임베딩 도구 (KeyBERT):
   • 특징: 단어의 '의미'를 이해하려고 노력합니다.
   • 결과: 조금 나아졌지만, 여전히 글자 형태가 다르면 점수를 깎았습니다.
3. 새로운 천재 (KeyLLM - GPT-3.5):
   • 특징: 이 도구는 단순히 글자를 복사하는 게 아니라, 내용을 읽고 스스로 새로운 문장을 만들어냅니다.
   • 결과: 책 내용에서 "고양이에게"를 읽었지만, 저자가 정한 정답인 **"고양이"**라는 형태로 스스로 정리해서 뽑아냈습니다. 덕분에 기존 도구들보다 훨씬 높은 점수를 받았습니다.

4. 중요한 발견: "완벽한 일치" vs "의미 있는 일치"

이 연구에서 가장 중요한 발견은 평가 기준의 문제였습니다.

• 기존 방식 (완벽한 일치): 컴퓨터가 "고양이"와 "고양이에게"를 다른 단어라고 판단해 점수를 0 점으로 매겼습니다.
• 새로운 시각 (의미 일치): 사람이 직접 100 개의 글을 확인해 보니, 컴퓨터가 "틀렸다"고 한 것들도 사실은 같은 뜻을 가진 경우가 많았습니다.
• 결론: 슬로바키아어처럼 문법이 복잡한 언어에서는 "글자가 똑같은가?"를 보는 것보다 "의미가 같은가?"를 보는 것이 훨씬 중요합니다. AI 가 만든 키워드는 저자가 쓴 것과 글자는 달라도 뜻은 통하는 경우가 많았습니다.

5. 요약: 이 연구가 우리에게 주는 메시지

• 데이터의 힘: 좋은 자료 (청결한 22 만 개의 문서) 가 있어야 AI 가 잘 배웁니다.
• 생성형 AI 의 위력: 단순히 글자를 찾아내는 것보다, 내용을 이해하고 **새로운 형태로 만들어내는 AI(생성형 모델)**가 복잡한 언어에서 훨씬 잘합니다.
• 평가 기준의 변화: 앞으로는 "글자가 100% 똑같은가?"보다 "의미가 통하는가?"를 평가하는 기준이 필요하다는 것을 증명했습니다.

한 줄 요약:

"슬로바키아어라는 복잡한 언어에서, 기존 컴퓨터는 글자 모양만 보고 실수했지만, 최신 AI 는 내용을 이해하고 저자가 원하는 '진짜 핵심'을 찾아냈습니다. 이제 우리는 AI 를 평가할 때 글자 모양보다 '의미'를 더 중요하게 봐야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 형태론적으로 풍부한 (morphologically rich) 저자원 언어 (low-resource languages) 에 대한 키워드 추출 연구는 평가 데이터셋의 부재로 인해 상대적으로 소홀히 다루어져 왔습니다.
• 핵심 문제: 슬로바키아어와 같은 교착어 (inflected languages) 에서는 하나의 어간 (lemma) 이 수십 가지의 굴절 형태 (case, number 등) 로 나타납니다. 이로 인해 **논문 초록에 등장하는 실제 표면 형태 (surface forms)**와 저자가 할당한 표준적인 키워드 (canonical forms) 간의 불일치가 발생합니다.
  • 예: 저자가 'Rozvojový potenciál (주격)'을 키워드로 할당했지만, 초록 내에서는 'rozvojového potenciálu (생격)'와 같은 형태로만 등장합니다.
• 기존 연구의 한계: 기존 슬로바키아어 데이터셋 (Zelinka, 2023) 은 약 9,000 건으로 규모가 작고 데이터 품질 (노이즈, 메타데이터 불일치 등) 이 낮아 체계적인 평가가 어려웠습니다. 또한, 기존 평가 지표 (정확 일치) 는 이러한 형태론적 변이를 고려하지 않아 모델의 실제 성능을 과소평가하는 경향이 있습니다.

2. 방법론 (Methodology)

가. SlovKE 데이터셋 구축

• 데이터 수집: 슬로바키아 중앙 학위 논문 등록부 (Central Register of Theses) 에서 2010 년부터 2024 년까지의 데이터를 크롤링하여 약 79 만 건의 초록을 확보했습니다.
• 데이터 정제 (Cleaning): 6 단계의 정제 파이프라인을 적용하여 최종 227,432 건의 고품질 데이터셋 (SlovKE) 을 구축했습니다.
  • 중복 제거, 초록 텍스트 내 키워드 재구성, 불필요한 메타데이터 제거, 언어 검증 (20% 가 영어로 잘못 레이블링된 경우 제거), 키워드 정규화 (POS 태깅 활용), 길이 필터링 (5002000 자, 키워드 415 개) 등을 수행했습니다.
• 통계적 특징: 이 데이터셋은 KP20K(영어) 와 유사한 규모를 가지며, 부재 키워드 (absent keyphrases) 비율이 약 37% 로 영어 벤치마크와 유사합니다.

나. 평가 모델

세 가지 무감독 (unsupervised) 베이스라인 모델과 생성형 LLM 기반 모델을 비교 평가했습니다.

1. YAKE: 통계적 기반의 키워드 추출 알고리즘.
2. TextRank: 그래프 기반 (PageRank 변형) 추출 모델.
3. KeyBERT: SlovakBERT 임베딩을 활용한 임베딩 기반 추출 모델.
4. KeyLLM: GPT-3.5-turbo 를 활용한 생성형 추출 모델. (프롬프트 엔지니어링을 통해 텍스트에서 키워드를 직접 생성하도록 유도)

다. 평가 지표

• 정확 일치 (Exact Match): 추출된 키워드가 저자 할당 키워드와 문자 그대로 일치하는 경우.
• 부분 일치 (Partial Match): 추출된 키워드의 일부가 저자 할당 키워드와 겹치는 경우.
• F1@k: k 개의 키워드 기준 F1 점수 (여기서는 주로 F1@6 사용).
• 수동 평가 (Manual Evaluation): 100 개의 문서에 대해 두 명의 annotator 가 의미적 관련성, 개념의 적절성, 중복성 제거 등을 기준으로 평가 (Cohen's kappa = 0.61).

3. 주요 결과 (Results)

가. 베이스라인 모델 성능

• 정확 일치 vs 부분 일치 격차: 모든 무감독 모델에서 정확 일치 F1@6 은 최대 11.6% (YAKE) 에 불과했으나, 부분 일치 F1@6 은 51.5% (TextRank) 에 달했습니다.
• 원인: 이 약 40 포인트의 격차는 모델이 잘못된 개념을 추출했기 때문이 아니라, **형태론적 굴절 (morphological inflection)**로 인해 표면 형태가 불일치하기 때문입니다. 이는 슬로바키아어뿐만 아니라 체코어, 폴란드어, 핀란드어 등 다른 교착어에서도 유사하게 나타날 것으로 예상됩니다.

나. KeyLLM 의 성과

• 성능 향상: KeyLLM (GPT-3.5-turbo) 은 정확 일치 F1@6 에서 약 **15.2%**를 기록하여 기존 베이스라인 (YAKE, 11.6%) 을 상회했습니다.
• 격차 축소: KeyLLM 은 정확 일치와 부분 일치 간의 격차를 기존 모델 대비 약 30% 축소했습니다. 이는 생성형 모델이 텍스트의 굴절된 형태를 복사하는 것이 아니라, 저자가 할당한 표준 형태 (canonical form) 로 키워드를 생성할 수 있기 때문입니다.
• 임베딩 클러스터링: 문서 클러스터링을 통해 LLM 호출 횟수를 줄이는 시도는 0.90 임계값에서 가장 효과적이었으나, 임베딩 없이 직접 처리하는 것이 최종 성능 면에서 더 우수하거나 동등한 결과를 보였습니다.

다. 수동 평가 및 오류 분석

• 수동 평가의 중요성: 자동 평가 지표는 형태론적 불일치로 인해 모델의 실제 능력을 과소평가했습니다. 수동 평가에서는 YAKE 와 KeyLLM 모두 의미적으로 관련 있는 키워드를 더 잘 포착하는 것으로 나타났습니다.
• 모델별 약점:
  • YAKE: 형태론적 불일치 (Morphological mismatch) 가 주요 실패 요인이었으며, 긴 n-gram(1~3) 을 사용할 경우 관련 없는 3 단어 구문 (trigrams) 을 추출하는 경향이 있었습니다.
  • KeyLLM: 명사 없이 단독으로 추출된 형용사 (unmotivated adjective extraction) 가 주요 약점이었습니다. 하지만 고유명사나 방법론적 용어 등을 잘 포착하는 강점이 있었습니다.

4. 주요 기여 (Key Contributions)

1. 대규모 데이터셋 (SlovKE): 기존 슬로바키아어 자원 대비 25 배 증가한 227,432 건의 과학적 초록 및 저자 할당 키워드 데이터셋을 공개했습니다. 이는 영어 벤치마크 (KP20K) 와 비교 가능한 규모입니다.
2. 형태론적 불일치에 대한 체계적 분석: 슬로바키아어와 같은 교착어에서 '정확 일치'와 '부분 일치' 평가 지표 간의 큰 격차가 모델의 성능 한계가 아니라 언어적 특성 (굴절) 에 기인함을 정량적으로 증명했습니다.
3. 생성형 LLM 의 우위 입증: 추출형 (extractive) 모델보다 생성형 (generative) LLM 이 형태론적 변이 처리에 더 강건하며, 표준 형태를 생성함으로써 평가 격차를 줄일 수 있음을 입증했습니다.
4. 오픈 소스: 데이터셋 (Hugging Face) 과 평가 코드 (GitHub) 를 공개하여 슬로바키아어 NLP 및 교착어 연구의 기반을 마련했습니다.

5. 의의 및 결론 (Significance)

• 평가 패러다임의 전환: 형태론적으로 풍부한 언어에서는 단순한 문자 일치 (exact match) 가 아닌, 형태론을 고려한 평가 프로토콜이나 수동 평가가 필수적임을 강조했습니다.
• 저자원 언어 NLP 발전: SlovKE 데이터셋은 슬로바키아어뿐만 아니라 체코어, 폴란드어 등 유사한 언어 유형 (Slavic, Finno-Ugric, Turkic) 에 대한 전이 학습 (transfer learning) 과 지도 학습 모델 개발의 중요한 인프라가 될 것입니다.
• LLM 의 활용: 저자원 및 형태론적으로 복잡한 언어 환경에서 LLM 기반 추출 방법이 전통적인 추출 방법보다 더 효과적일 수 있음을 보여주었습니다.

이 연구는 슬로바키아어 NLP 의 데이터 부족 문제를 해결했을 뿐만 아니라, 교착어에서의 키워드 추출 평가가 직면한 근본적인 문제 (형태론적 불일치) 를 명확히 하고 해결 방향을 제시했다는 점에서 의의가 큽니다.