100,000+ Movie Reviews from Kazakhstan: Russian, Kazakh, and Code-Switched Texts

기술 요약: 카자흐스탄 영화 리뷰 100,000 건 이상

문제 제기
카자흐어 감정 분석을 위한 공개 데이터셋은 여전히 희소하여, 자원이 부족한 이 언어에서 재현 가능한 연구가 제한되고 있습니다. 또한, 카자흐스탄은 사용자 생성 콘텐츠가 주로 러시아어로 작성되지만 카자흐어가 포함되고 빈번한 코드 스위칭 (카자흐어 - 러시아어) 이 발생하는 독특한 다국어적 도전을 제시합니다. 기존 벤치마크는 종종 긴 시간적 범위를 다루지 못하거나 지역적 변이 (예: 카자흐스탄식 러시아어) 의 특정 사회언어학적 뉘앙스를 포착하지 못합니다. 더 나아가, 정밀한 감정 예측은 사용자가 리뷰 텍스트 내에서 명시적으로 평점을 밝히는 레이블 누출 (label leakage) 로 인해 종종 훼손됩니다. 이는 모델이 진정한 감정 추론을 우회할 수 있게 합니다.

방법론
저자들은 2001 년부터 2025 년까지 25 년에 걸쳐 4,943 개의 고유한 제목을 아우르는 kino.kz에서 수집된 100,502 건의 영화 리뷰로 구성된 새로운 코퍼스를 구축했습니다. 데이터셋에는 러시아어, 카자흐어, 그리고 코드 스위칭된 텍스트가 포함되어 있습니다.

• 주석: 리뷰는 언어와 감정 극성 (부정, 중립, 긍정) 에 대해 수동으로 주석되었습니다. 명시적인 사용자 평점 (0~10 점 척도) 이 포함된 11,309 건의 리뷰 하위 집합을 추출하여 정규화했습니다. 단일 주석가의 주석 신뢰성을 확보하기 위해 GPT-4.1 을 보완적 수단으로 활용하여 인간 주석가 대비 89.54% 의 정확도와 상당한 일치도 (Cohen's κ = 0.78) 를 달성했습니다.
• 작업: 두 가지 지도 분류 작업이 정의되었습니다:
  1. 극성 분류 (PC): 3 가지 분류 (부정/중립/긍정).
  2. 점수 분류 (SC): 사용자 평점을 기반으로 한 5 가지 분류로, 클래스 불균형을 해결하기 위해 구간 (02, 34, 56, 78, 9~10) 으로 그룹화되었습니다.
• 데이터 누출 통제: SC 작업의 경우, 모델이 문맥에서 감정을 추론하는 대신 직접적인 어휘 단서에 의존하는 것을 방지하기 위해 명시적인 평점 언급 (예: "10 점 만점에 9 점") 은 자리 표시자 토큰 (scoretoken) 으로 대체되었습니다.
• 모델: 이 연구는 BoW/TF-IDF 를 사용하는 선형 SVM, 로지스틱 회귀, 나이브 베이즈와 같은 고전적 베이스라인을 다국어 트랜스포머 모델 (mBERT, XLM-RoBERTa, RemBERT) 과 비교 벤치마크했습니다.
• 평가: 주제적 누출을 방지하기 위해 영화 수준에서 데이터를 분할 (80/10/10) 했습니다. 성능은 정확도, 정밀도, 재현율, 매크로 평균 F1, Cohen's κ 로 측정되었으며, 클래스 불균형으로 인해 매크로 평균 F1 을 우선시했습니다.

주요 결과

• 극성 분류: 트랜스포머 모델이 일관되게 고전적 베이스라인을 능가했습니다. RemBERT가 테스트 세트 매크로 평균 F1 0.82(κ = 0.88) 로 가장 높은 성능을 보였으며, 이어 XLM-RoBERTa(0.81) 와 mBERT(0.74) 순이었습니다. 고전적 SVM 은 F1 0.73 에 도달했습니다.
  • 클래스 성능: 모델은 긍정 (F1=0.97) 과 부정 (F1=0.94) 클래스에서 강력하게 수행되었으나, 드물고 (데이터의 약 4~5%) 종종 암시적으로 표현되는 중립 클래스 (F1=0.56) 에서는 어려움을 겪었습니다.
  • 언어 성능: 성능은 데이터 양과 상관관계가 있었습니다. 러시아어 리뷰가 가장 높은 F1(0.81) 을 보인 반면, 카자흐어 (0.77) 와 코드 스위칭 (0.76) 리뷰는 약간 낮지만 준수한 결과를 보였습니다.
• 점수 분류: 누출 통제 평가 하에서 모든 모델의 성능이 크게 하락하여 매크로 평균 F1 점수가 0.50 에서 0.55 사이로 나타났습니다.
  • RemBERT 와 SVM 이 가장 높은 F1(0.54~0.55) 을 달성했습니다.
  • 트랜스포머와 고전적 베이스라인 간의 격차가 좁혀졌는데, 이는 명시적인 평점 단서가 가려지면 정밀한 점수 예측이 미묘한 특징에 의존하게 되며, 이 특정 설정에서 심층 모델이 선형 모델을 크게 능가하지 못함을 시사합니다.
  • 모델은 가장 빈번한 고득점 구간 (점수 5, F1=0.88) 에서는 잘 수행되었으나, 데이터의 희소성으로 인해 중간 구간 (예: 점수 2, F1=0.09) 에서는 실패했습니다.

의의 및 주장
이 논문은 데이터셋이 다음 세 가지 주요 이유로 NLP 커뮤니티에 중요한 자원이라고 주장합니다:

1. 시간적 깊이: 25 년에 걸친 범위는 사회적 현상에 대한 관객의 태도 변화와 디지털 담론에서 카자흐어의 진화하는 역할 (예: 카자흐어 사용을 요청하는 것에서 자신감 있게 사용하는 것으로의 전환) 을 추적할 수 있게 합니다.
2. 다국어 다양성: 자연스럽게 발생하는 카자흐어 - 러시아어 코드 스위칭과 문화적 특정 엔티티 및 칼크 (calque) 구조를 포함한 "카자흐스탄식 러시아어" 변이를 포착하여 지역 언어 변이에 대한 현실적인 테스트베드를 제공합니다.
3. 진단 벤치마크: 실험은 더 깨끗한 벤치마크에서 종종 간과되는 특정 데이터셋의 어려움, 즉 중립 극성의 희소성과 모호성, 그리고 정밀한 점수 예측이 레이블 누출에 취약하다는 점을 강조합니다.

저자들은 이 작업을 모든 감정 도전에 대한 결정적 해결책이 아니라, 카자흐스탄의 현실적이고 문화적으로 기반을 둔 텍스트에 대한 다국어 모델링, 코드 스위칭, 그리고 견고한 감정 추론에 대한 향후 연구를 위한 재현 가능한 베이스라인 및 진단 도구로 위치 짓습니다. 데이터셋, 주석 가이드라인, 그리고 훈련된 모델은 이러한 노력을 지원하기 위해 공개적으로 배포됩니다.