Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

기술 요약: 인도네시아어 감정 분석을 위한 로지스틱 회귀, SVM, 나이브 베이즈 및 IndoBERT 벤치마킹

문제 제기
인도네시아의 전자상거래 급속한 확장은 방대한 양의 비정형 사용자 생성 제품 리뷰를 생성했습니다. 이러한 리뷰의 감정을 분석하는 것은 고객 만족도를 평가하고 대규모로 제품 문제를 식별하는 데 필수적입니다. 그러나 인도네시아어 텍스트는 비공식적 철자, 은어, 일관성 없는 구두점, 그리고 문맥적 표현을 포함하여 고유한 도전 과제를 제시합니다. 또한, 실제 시장 데이터는 긍정적 리뷰가 중립적 및 부정적 피드백보다 압도적으로 많은 심각한 클래스 불균형을 보입니다. 이러한 불균형은 모델 학습을 복잡하게 만들어, 소수 클래스의 낮은 성능을 가리는 높은 정확도 지표를 초래하는 경우가 많습니다. 본 연구의 핵심 문제는 이러한 노이즈가 많고 불균형하며 도메인 특화된 환경에서 계산 효율성이 뛰어난 전통적인 머신러닝 (ML) 접근 방식이 현대적인 트랜스포머 기반 딥러닝 모델 (특히 IndoBERT) 을 능가하거나 동등한 성능을 발휘할 수 있는지 결정하는 것입니다.

방법론
본 연구는 세 가지 클래스 (positif(긍정), netral(중립), negatif(부정)) 로 라벨링된 수만 개의 짧고 노이즈가 많은 리뷰를 포함하는 Tokopedia Product Reviews 2025 데이터셋을 사용하여 비교 벤치마킹 프레임워크를 구현했습니다.

1. 전처리 파이프라인: 인도네시아어 전자상거래 구어체를 정제하기 위한 견고한 파이프라인을 개발했습니다. 단계에는 텍스트를 소문자로 변환하고, URL 과 비알파누메릭 문자 (이모지 포함) 를 제거하며, 공백을 정규화하고, 이질적인 라벨을 표준화된 클래스로 매핑하는 작업이 포함되었습니다.
2. 베이스라인 모델 (전통적 ML): TF-IDF 특징 추출을 사용하여 단어 (unigrams) 와 이구 (bigrams) 를 적용한 세 가지 알고리즘을 구현했습니다 ($ngram\_range=(1,2)$). 어휘는 50,000 개의 특징으로 제한되었습니다. 모델에는 다음이 포함됩니다:
   • 로지스틱 회귀 (Logistic Regression)
   • 선형 서포트 벡터 머신 (Linear SVC)
   • 다항 나이브 베이즈 (Multinomial Naive Bayes)
   • 불균형 처리: 판별 선형 모델은 소수 클래스의 오류를 패널티하기 위해 class_weight="balanced"를 활용했습니다.
3. 딥러닝 모델 (IndoBERT): 본 연구는 indobenchmark/indobert-base-p1 모델을 미세 조정 (fine-tuning) 했습니다.
   • 아키텍처: 최대 256 토큰까지 입력을 처리하는 시퀀스 분류 헤드가 뒤따르는 트랜스포머 인코더.
   • 불균형 처리: 클래스 가중치 ($W_c$) 가 클래스 빈도 ($W_c = \frac{N}{C \times n_c}$) 에 반비례하도록 설계된 사용자 정의 가중 크로스 엔트로피 손실 함수를 개발했습니다.
   • 학습: 모델은 에폭 3 회, 배치 크기 16, 학습률 $2 \times 10^{-5}$, 웜업 비율 0.1 로 학습되었습니다.
4. 실험적 불일치: 중요한 방법론적 주석은 데이터 체제의 차이입니다. 베이스라인 모델은 전체 데이터셋(65,335 건) 으로 학습된 반면, IndoBERT 모델은 계산적 제한으로 인해 층화 샘플링된 부분집합(~1,800 개의 학습 레코드) 으로 제한되었습니다.

주요 기여
본 논문은 다섯 가지 구체적인 기여를 상세히 설명합니다:

1. 노이즈가 많은 인도네시아어 전자상거래 텍스트를 위한 정규 표현식을 통해 맞춤화된 전처리 파이프라인.
2. TF-IDF 베이스라인 (로지스틱 회귀, LinearSVC, 나이브 베이즈) 에 대한 포괄적인 벤치마크.
3. 클래스 불균형을 해결하기 위해 동적으로 계산된 가중 손실을 사용한 IndoBERT 미세 조정의 상세 구현.
4. 집계 성능과 클래스 민감도 지표를 비교한 심층 정량적 분석.
5. Hugging Face Spaces 에서 Gradio 를 사용한 재현 가능한 배포 전략.

결과
평가에는 정확도 (Accuracy), 매크로 F1 점수, 가중 F1 점수가 사용되었습니다. 딥러닝 모델이 전통적인 방법보다 성능이 우수할 것이라는 예상과 달리, 결과는 이 특정 실험 설정에서 Linear SVC가 미세 조정된 IndoBERT 모델을 현저히 능가함을 보여주었습니다.

• Linear SVC: 97.60% 정확도와 0.5510 매크로 F1 점수를 달성했습니다.
• IndoBERT: 88.70% 정확도와 0.5088 매크로 F1 점수를 달성했습니다.
• 기타 베이스라인: 로지스틱 회귀 (94.36% 정확도, 0.5164 매크로 F1) 와 나이브 베이즈 (97.50% 정확도, 0.3290 매크로 F1) 도 강력하게 수행되었으나, 나이브 베이즈는 소수 클래스 인식에 크게 어려움을 겪었습니다.

분석 결과, 베이스라인 모델은 전체적으로 높은 정확도를 달성했지만 여전히 netral(중립) 과 negatif(부정) 클래스를 처리하는 데 어려움을 겪었으며, 종종 지배적인 positif(긍정) 클래스와 혼동했습니다. 그러나 베이스라인과 IndoBERT 간의 성능 차이는 주로 데이터 샘플링 체제에 기인한 것으로 밝혀졌습니다. 베이스라인은 전체 코퍼스를 활용했던 반면, 트랜스포머는 작은 부분집합으로 제한되어 문맥 모델링 능력을 완전히 활용하지 못했습니다.

의의 및 주장
본 논문은 인도네시아어 전자상거래 리뷰 감정 분석에 있어 전통적인 머신러닝 접근 방식 (특히 TF-IDF 와 Linear SVC) 이 여전히 매우 효과적이고 견고하며,后者의 학습 데이터를 제한하는 계산적 제약이 있을 때 최첨단 트랜스포머를 능가하는 경우가 많다고 주장합니다.

저자들은 "트랜스포머의 이점"이 자동적인 것이 아니며, 데이터 양, 클래스 균형, 공정한 평가 설정에 크게 의존한다고 강조합니다. 본 연구는 IndoBERT 가 이론적으로 우수한 문맥 모델링을 제공하지만, 이 연구에서의 경험적 성능은 제한된 학습 부분집합에 의해 병목 현상을 겪었다고 결론지었습니다. 따라서 속도와 견고한 베이스라인 성능을 우선시하는 응용 프로그램의 경우, TF-IDF 와 Linear SVC 가 매우 실현 가능한 솔루션으로 제시됩니다. 본 논문은 모든 모델을 동일한 대규모 데이터 분할로 학습하고 소수 클래스 인식을 개선하기 위한 고급 불균형 인식 전략을 적용하여 공정한 비교를 보장하는 향후 연구를 옹호합니다.