TRNEWS-2025: A Large-Scale, Manually Annotated Turkish News Dataset for Text Classification and NLP Research

기술 요약: TRNEWS-2025

문제 정의
터키어 자연어 처리(NLP) 분야는 효과적인 텍스트 분류 및 머신러닝 연구에 필요한 고품질의 최신 도메인 다양성을 갖춘 라벨링 데이터셋이 부족한 상황에 직면해 있다. TTC-4900 및 TTC-3600과 같은 기존 자원들이 존재하지만, 이들은 종종 카테カテゴリ 다양성 부족, 시대에 뒤처진 콘텐츠, 좁은 주제 범위 또는 제한된 접근성 문제를 겪는다. 또한, 현재의 많은 데이터셋은 짧은 텍스트(예: 소셜 미디어 댓글)나 감성 분석과 같은 특정 작업에 집중되어 있어, 뉴스 기사 특유의 긴 문맥 구조와 언어적 다양성을 포착하는 데 한계가 있다. 따라서 터키어 NLP의 재현 가능한 연구를 지원하기 위해 2025년까지의 현재 언어 사용 및 사회적 이슈를 반영하는 포괄적인 다중 클래스 뉴스 데이터셋에 대한 구체적인 요구가 존재한다.

방법론
본 연구는 대규모 수동 주석(manual annotation)이 적용된 터키어 뉴스 데이터셋인 TRNEWS-2025를 소개한다. 방법론은 데이터 수집, 주석 생성, 전처리 및 실험적 평가를 포함한다:

• 데이터 수집: 2023년에서 2025년 사이에 공개 액세스되는 터키 온라인 신문 및 미디어 포털로부터 웹 스크래핑을 통해 뉴스 텍스트를 수집하였다. 수집 시 엄격한 포함 기준을 준-수하였다: 텍스트는 반드시 터키어여야 하며, 전체 내용을 포함해야 하고, 특정 카테고리와 일치해야 하며, 중복되지 않아야 한다. 제외 기준에 따라 광고, 의견 기사, 사용자 댓글, 불완전한 텍스트 및 자동 생성된 콘텐츠는 제거되었다.
• 라벨링 체계: 데이터셋은 매거진(Magazine), 정치(Politics), 스포츠(Sports), 예술-문화(Arts–Culture), 건강(Health), 금융-경제(Finance–Economy), 과학-기술(Science–Technology), 관광(Tourism), 환경(Environment)의 9가지 뚜렷한 카테고리로 구성된다.
• 주석 생성 과정: 각 텍스트가 최소 2명의 주석가에 의해 검토되는 다중 라벨러 접근 방식이 채택되었다. 불일치 사항은 학술적 감독 하에 해결되었다. 경계 사례(예: 경제와 정치 사이의 교차 지점)를 처리하기 위해 주석 가이드라인이 수립되었다. 주석가 간 신뢰도는 코헨의 카파(Cohen's Kappa) 계수를 사용하여 측정되었으며, 0.60 이상의 계수를 기록하여 양호한 일치도를 나타냈다.
• 전처리: 기본 정제 단계에는 UTF-8 인코딩, HTML 태그 제거, 문장 부호 정규화, 소문자 변환 및 중복 제거가 포함되었다. 특히, 연구자들이 자신만의 전처리 전략을 유연하게 적용할 수 있도록 표제어 추출(lemmatization)과 같은 고급 언어 처리 과정은 의도적으로 생략하였다.
• 실험적 평가: 데이터셋의 활용성과 차별성을 평가하기 위해 두 가지 서로 다른 모델 패러다임을 학습 및 평가하였다:
  1. BERT: 셀프 어텐션(self-attention) 메커니즘을 활용하는 현대적인 트랜스포머 기반 모델.
  2. BiLSTM+GloVe: 양방향 LSTM 네트워크와 글로벌 단어 공기(co-occurrence) 임베딩을 결합한 고전적인 딥러닝 아키텍처.
     모델은 정확도, 정밀도(precision), 재현율(recall), F1-score를 포함한 표준 지표를 사용하여 평가되었다.

주요 결과

• 데이터셋 통계: 데이터셋은 총 약 555,000개의 뉴스 기사를 포함한다. 분포는 다중 클래스로 구성되며, "매거진"이 가장 큰 카테고리(315,917개 샘플)이고 "환경"이 가장 작은 카테고리(15,610개 샘플)이다. 텍텍스트 길이는 크게 다양하며, 이는 전통적 방식과 딥러닝 방식을 모두 지원한다.
• 모델 성능:
  • BERT: 약 86%의 검증 정확도를 달성하였다. 이 모델은 매거진, 스포츠, 건강, 정치와 같은 클래스에서 강력한 성능을 보였다. 그러나 본 연구에서는 훈련 정확도 곡선이 전형적인 에포크 기반 수렴 패턴을 따르지 않았음을 주목하였으며, 이에 따라 저자들은 평가를 위해 검증 성능에 의존하였다.
  • BiLSTM+Glo\V: 훈련 및 검증 손실 모두에서 일관된 감소를 보이며 더 안정적인 학습 과정을 보여주었으며, 이는 과적합 없이 양호한 일반화 능력을 갖추었음을 나타낸다. 이 모델은 BERT에 비해 현저히 낮은 계산 시간으로 91.6%의 테스트 정확도를 달면하였다.
• 혼동 분석(Confusion Analysis): 두 모델 모두 의미론적으로 중첩되는 카테고리 간의 혼동을 보였는데, 구체적으로는 예술-문화와 매거진 사이, 그리고 환경과 정치/금융-경제 사이에서 나타났다. 저자들은 이를 데이터셋의 결함이 아니라, 실제 뉴스 언어에서 발견되는 자연스러운 의미론적 중첩을 반영하는 것으로 해석한다.

의의 및 주장
본 논문은 TRNEWS-2025를 다중 클래스 뉴스 분류를 위한 신뢰할 수 있고 최신의 포괄적인 자원을 제공함으로써 터키어 NLP에 중요한 기여를 하는 것으로 규정한다. 주요 의의는 다음과 같다:

1. 최신성 및 다양성: 기존 데이터셋과 달리, 9개의 다양한 도메인에 걸쳐 2025년까지의 언어 사용 및 사회적 이슈를 포착한다.
2. 재현 가능성: 데이터셋은 오픈 액세스이며 높은 주석가 간 일치도를 가진 수동 주석 데이터로, 재현 가능한 연구를 용이하게 한다.
3. 범용성: 본 연구는 데이터셋이 현대적인 트랜서포머 기반 모델(BERT)과 고전적인 딥러닝 아키텍처(BiLSTM) 모두와 호환됨을 입증하였으며, 이는 비교 모델 성능 평가를 위한 적절한 벤치마크가 될 수 있음을 의미한다.
4. 실제 세계 반영: 관련 카테고리 간에 관찰된 분류 혼동은 데이터셋이 인위적으로 경직된 구조가 아닌 실제 뉴스 언어의 복잡성을 반영하고 있음을 시사한다.

저자들은 TRNEWS-2025가 터키어 텍스트 분류, 주제 식별, 설명 가능한 AI(XAI) 연구, 언어 모델 평가를 포함한 다양한 연구 분야를 위한 견고한 인프라 역할을 할 것이라고 결론짓는다.