Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model

기술 요약: 여전히 미세 조정(Fine-Tuning)이 필요한가? 거대 언어 모델 시대의 터키어 감성 분석

문제 제기
본 연구는 거대 언어 모델(LLM) 시대에 터키어 감성 분석을 위해 지도 학습 기반의 미세 조정이 여전히 필요한지 조사한다. 지시 이행 능력을 갖춘 LLM은 제로샷(zero-shot) 및 퓨샷(few-shot) 역량을 제공하지만, 세 가지 클래스 구분(긍정, 부정, 중립)을 요구하는 정밀한 감성 작업에서의 신뢰성은 여전히 불확실하다. 본 연구는 기존 연구들이 지도 학습 및 BERT 기반 모델의 효용성을 입증해 온 것과 달리, 현실적인 다중 클래스 이커머스 리뷰에 대한 프롬프트 기반 LLM의 성능을 체계적으로 비교하지 않았다는 터키어 NLP 자원의 공백을 다룬다. 식별된 핵심 과제는 '중립' 클래스로, 이는 종종 사실적 기술, 약한 평가성 또는 혼합된 정서를 포함하고 있어 이진 극성보다 분류하기가 더 어렵다는 점이다.

방법론
저자들은 세 가지 감성 카테고리(부정(0), 중립(1), 긍정(2))로 주석이 달린 6,367개의 터키어 이커머스 리뷰 데이터셋을 사용하여 통제된 비교 연구를 수행했다. 데이터셋은 80%의 훈련 데이터와 20%의 테스트 데이터(1,274개 인스턴스)로 분할되었다.

실험 설정은 동일한 테스트 파티션에 대해 세 가지 구별된 접근 방식을 평가했다:

1. 고전적 머신러닝: TF-IDF 피처(최대 5,000개)를 활용한 로지스틱 회귀, 서포트 벡터 머신(SVM), 랜덤 포레스트 및 나이브 베이즈.
2. 지도 학습 기반 미세 조정 모델: 학습률 $2\times10^{-5}$, 5 에포크(epoch), 배치 크기 32로 미세 조정된 BERTurk(32k 및 128k Cased) 및 Turkish ELECTRA를 포함한 사전 학습된 트랜스포머 모델.
3. 프롬프트 기반 거대 언어 모델: 표준화된 프로프트와 고정된 디코딩 파라미터(temperature 0.1, top_p 1)를 사용하여 제로샷 설정에서 평가된 7개의 범용 LLM(Gemma2:9B, Gemma3:27B, GPT-OSS:20B, Llama 3.1:8B, Magibu:11B, Qwen3:32B).

성능은 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-스코어(F1-score)를 사용하여 측정되었다. 또한 중립 클래스의 난이도를 격리하기 위해 중립 인스턴스를 제외한 이진 재분석(binary re-analysis)도 포함되었다.

주요 결과

• 전반적인 성능: 미세 조정된 BERTurk 모델이 가장 높은 성능을 달도 달성했다. BERTurk Cased 128k는 0.837의 정확도와 0.834의 가중 F1 점수에 도달했다. 이는 가장 강력한 프롬프트 기반 LLM인 Qwen3:32B(0.773 정확도)를 약 6.4 퍼센트 포인트 상회하는 수치로, 가장 강력한 LLM 베이스라인 대비 오류를 약 28% 감소시킨 결과이다.
• 중립 클래스의 도전 과제: 주요 오류 원인은 중립 클래스(테스트 세트의 22.6%)였다. BERTurk 모델은 약 0.60의 중립 재현율을 달성한 반면, 대부분의 LLM은 현저히 고전했다(예: Qwen3:32B는 0.312, Llama 3.1:8B는 0.160).
• 양극화 경향: 많은 LLM이 중립 클래스를 극단적인 카테고리로 붕괴시키는 강한 편향을 보였다. 예를 들어, Llama 3.1:8B는 실제 중립 인스턴스의 70.1%를 긍정 클래스로 매핑했고, Magibu:11B는 60.8%를 긍정으로 매핑했다.
• 이진 vs 삼진 성능: 중립 인스턴스를 제거하여 이진 작업으로 만들었을 때, LLM의 성능은 극적으로 향상되었다(예: Qwen3:32B는 0.908 정확도로 상승). 반면, 미세 조정된 BERTurk 모델은 0.837에서 0.904로 보다 완만한 상승을 보였다. 이는 미세 조정된 모델이 본질적으로 삼진 결정 구조를 인코딩하는 반면, LLM은 중립 경계가 제거될 때 비로소 충분해지는 거친 극성 단서에 더 많이 의존함을 시사한다.

주요 기여

1. 경험적 벤치마크: 본 연구는 터키어 삼진 감성 분석에 특화된 고전적, 미세 조정 및 프롬프트 접근 방식에 대한 엄격한 비교를 제공하며, 이 특정 도메인에서는 지도 학습 기반 미세 조정이 여전히 우월함을 강조한다.
2. 중립 클래스의 진단적 가치: 본 논문은 중립 클래스가 모델 역량을 위한 중요한 "스트레스 테스트" 역할을 한다는 것을 입증한다. 이진 작업에서의 높은 성능은 중립적이지 않은 미묘한 감성을 구별하는 모델의 무능력을 은폐할 수 있다.
3. 방법론적 통찰: 저자들은 긍정-부정의 구분에만 의존하는 평가는 라벨 공간의 가장 해석적으로 까다로운 부분에서의 실패를 가림으로써 프롬프트 기반 LLM의 역량을 과대평가할 수 있다고 주장한다.

의의 및 주장
본 논문은 중립 카테고리가 포함된 현실적인 터키어 감성 분류의 경우, 지도 학습 기반 미세 조정이 현재 범용 LLM의 제로샷 프롬프팅보다 더 효과적이라고 주장한다. 저자들은 미세 조정된 모델의 이점이 단순히 원시 정확도에 있는 것이 아니라, 특정 주석 체계에 정렬하고 작업의 완전한 삼진 구조를 보존하는 능력에 있다고 상정한다.

연구 결과는 LLM이 거친 극성 탐지에는 경쟁력이 있을지라도, 중립 리뷰를 양극화된 카테고리로 붕괴시킴으로써 삼진 설정에서는 실질적으로 성능이 저하된다는 것을 보여준다. 결과적으로, 본 연구는 주석의 세밀함에 중립 클래스가 포함되는 현실적인 환경에서는 견고한 성능을 달성하기 위해 전문적인 미세 조정이 여전히 필요하며, 감성 분석 시스템의 유효한 평가를 위해서는 중립 클래스의 포함이 필수적이라고 결론짓는다.