Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

"인도네시아 IKN 트위터 데이터를 활용한 감정 분석에 대한 PyCaret AutoML 과 IndoBERT 파인튜닝의 벤치마킹"에 대한 상세 기술 요약입니다.

1. 문제 제기

인도네시아의 수도 이전 정책인 **이부 코타 누산타라 (IKN)**는 특히 트위터/X 와 같은 소셜 미디어에서 상당한 대중적 논의를 불러일으켰습니다. 이 정책에 대한 대중의 감정을 이해하는 것은 정책 입안자와 연구자에게 매우 중요합니다. 그러나 이러한 데이터를 분석하는 데는 다음과 같은 특정 과제가 존재합니다:

• 언어적 복잡성: 데이터는 은어, 약어, 다양한 문장 구조를 포함하는 비공식적인 인도네시아어 텍스트로 구성되어 있습니다.
• 자원 제약: 전통적인 머신러닝 (ML) 접근 방식은 저자원 언어의 문맥적 뉘앙스를 처리하는 데 있어 딥러닝 (DL) 모델에 비해 종종 어려움을 겪습니다.
• 방법론적 격차: 인도네시아 소셜 미디어 감정 분석을 위해 자동화 ML 프레임워크 (AutoML) 와 최첨단 Transformer 기반 모델 간의 효율성과 효과성을 실증적으로 비교할 필요가 있습니다.

2. 데이터셋

• 출처: IKN 관련 인도네시아어 트위터/X 댓글.
• 크기: 1,472 개의 수동 라벨링된 샘플.
• 클래스: 이진 분류 (긍정: 692 개 샘플, 47%; 부정: 780 개 샘플, 53%).
• 특징: 텍스트는 짧고 (평균 길이 약 50 자) 비공식적입니다.
• 전처리: 소문자 변환, 결측치 (NaN) 제거, 텍스트 길이 특성 계산이 포함되었습니다. 데이터는 층화 샘플링을 사용하여 훈련 (70%), 검증 (15%), 테스트 (15%) 세트로 분할되었습니다.

3. 방법론

이 연구는 성능을 벤치마킹하기 위해 이중 파이프라인 방식을 채택했습니다:

A. 머신러닝 파이프라인 (AutoML)

• 프레임워크: 오픈소스 AutoML 라이브러리인 PyCaret(v3.x).
• 특징 추출: 텍스트 열에서 자동 TF-IDF 벡터화.
• 평가된 알고리즘:
  1. 로지스틱 회귀 (LR)
  2. 나이브 베이즈 (NB)
  3. 선형 커널을 사용한 서포트 벡터 머신 (SVM).
• 프로세스:
  • 초기 평가를 위한 10 폴드 층화 교차 검증.
  • 가장 성능이 좋은 모델에 대해 Optuna(10 개 후보) 를 사용한 하이퍼파라미터 튜닝.
  • 모델 최종화.
• 하드웨어: 인텔 코어 i5 CPU(Python 3.9).

B. 딥러닝 파이프라인 (IndoBERT 파인튜닝)

• 모델: indobenchmark/indobert-base-p1(1 억 1 천만 개 파라미터, 12 개 Transformer 레이어).
• 프레임워크: Hugging Face Transformers 와 함께 사용하는 PyTorch.
• 아키텍처: [CLS] 토큰에 표준 BERT 분류 헤드가 추가됨.
• 하이퍼파라미터:
  • 최대 길이: 128 토큰.
  • 배치 크기: 16.
  • 에포크: 5.
  • 옵티마이저: AdamW(학습률: $2 \times 10^{-5}$, 가중치 감쇠: 0.01).
  • 스케줄러: 10% 선형 워밍업 후 선형 감쇠.
  • 그래디언트 클리핑: 최대 노름 1.0.
• 하드웨어: 동일한 인텔 코어 i5 CPU(GPU 가속 미사용).

4. 주요 기여

1. 데이터셋 생성: IKN 감정과 관련된 1,472 개의 인도네시아 트윗으로 구성된 큐레이션된 수동 라벨링 데이터셋.
2. AutoML 벤치마킹: PyCaret 의 자동화 파이프라인을 사용한 세 가지 고전적 ML 알고리즘 (LR, NB, SVM) 에 대한 포괄적 평가.
3. Transformer 구현: 이 특정 도메인의 이진 감정 분석을 위한 IndoBERT 의 완전한 파인튜닝 구현.
4. 비교 분석: 비공식 인도네시아어 텍스트의 경우 Transformer 기반 DL 이 고전적 ML 을 능가하는지 여부를 직접적으로 비교하여 정확도와 계산 비용 간의 트레이드오프를 강조.
5. 재현성: EDA, PyCaret, PyTorch 파이프라인에 대한 재현 가능한 노트북을 생성하기 위해 AI 지원 코딩 (Claude) 을 활용.

5. 결과

머신러닝 성능 (PyCaret)

• 최고 모델: 로지스틱 회귀.
• 지표 (10 폴드 CV):
  • 정확도: 77.57%
  • F1 점수: 77.17%
  • AUC: 0.8563
• 기타 모델: 나이브 베이즈는 약 70.6% 의 정확도를 달성했습니다. 초기 선형 SVM 은 비공식 텍스트의 높은 어휘적 변이로 인해 성능이 낮았으나 (52.72%), 튜닝을 통해 약 71.2% 로 개선되었습니다.

딥러닝 성능 (IndoBERT)

• 최고 모델: IndoBERT(파인튜닝됨).
• 지표 (테스트 세트):
  • 정확도: 89.59%
  • F1 점수 (Macro): 89.37%
  • 정밀도/재현율: 부정 (96%) 및 긍정 (83%) 클래스에 대해 높은 재현율.
• 관찰: GPU 없이 중간 크기의 데이터셋으로 대규모 모델을 파인튜닝할 때 흔히 발생하는 문제인, 첫 번째 에포크 이후 과적합 징후가 관찰되었습니다 (검증 손실은 증가하고 훈련 손실은 감소).

비교 벤치마크

• 성능 격차: IndoBERT 는 정확도 측면에서 최고의 ML 모델 (로지스틱 회귀) 보다 12.02 퍼센트 포인트 더 높은 성능을 보였습니다.
• 효율성 트레이드오프: IndoBERT 는 우수한 정확도를 제공했지만, 경량 ML 모델에 비해 훨씬 더 많은 계산 자원과 훈련 시간이 필요했습니다.

6. 의의 및 결론

• 문맥의 우위성: 이 연구는 Transformer 기반 모델 (IndoBERT) 이 인도네시아어 감정 분석에서 고전적 ML 보다 현저히 우수함을 확인했습니다. 이는 IndoBERT 가 양방향 문맥을 포착하고, 사전 훈련을 통해 은어/약어를 처리하며, TF-IDF 백 오브 워즈 접근법보다 OOV(Out-of-Vocabulary) 단어를 더 잘 처리할 수 있기 때문입니다.
• 실용적 함의:
  • 고위험 시나리오: 최대 정확도가 필요한 애플리케이션 (예: 정책 모니터링) 의 경우, 높은 자원 비용에도 불구하고 IndoBERT 가 권장됩니다.
  • 자원 제약 시나리오: PyCaret 을 통한 로지스틱 회귀는 빠른 프로토타이핑이나 제한된 계산 능력을 가진 환경에서 타당한 실용적 대안으로 남아 있으며, 약 77% 의 준수한 정확도를 제공합니다.
• 향후 방향: 저자들은 DL 모델의 과적합을 완화하기 위해 데이터 증강을 탐구하고, 성능과 효율성 간의 균형을 찾기 위해 IndoBERT 를 DistilBERT 나 LSTM 과 같은 경량 아키텍처와 비교할 것을 제안합니다.

최종 판정: 비공식 인도네시아어 텍스트 감정 분석의 경우, 딥러닝 (IndoBERT) 이 정확도 측면에서 명백한 승자이지만, **AutoML(PyCaret/로지스틱 회귀)**은 계산 자원이 제한된 시나리오에서 강력하고 효율적인 기준선을 제공합니다.