💬 NLP

Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models

본 연구는 전통적인 머신러닝 모델과 트랜스포머 기반의 DistilBERT 를 비교하여 고등교육에서의 AI 도입에 관한 인도네시아 학생들의 감정을 평가한 결과, DistilBERT 가 문맥을 더 잘 포착하여 84.78% 의 우수한 정확도를 달성하는 반면, SVM 은 82.14% 의 정확도로 경쟁력 있고 효율적인 대안으로 남아 있음을 발견했습니다.

원저자: Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Happy Syahrul Ramadhan, Ahmad Sahidin Akbar, Karin Yehezkiel Sinaga, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인도네시아의 활기찬 대학 캠퍼스를 상상해 보세요. 학생들은 새로운 강력한 도구인 인공지능 (AI) 에 대한 의견으로 떠들썩합니다. 어떤 이들은 그것을 학습을 위한 마법 지팡이로 보지만, 다른 이들은 그것이 비판적 사고를 망칠 사기 수첩이라고 걱정합니다. 이 논문의 연구자들은 이러한 '떠들썩함'을 듣고 학생들의 감정을 정확히 파악하고자 했습니다. 그들은 소수의 사람에게만 질문한 것이 아니라, 2,000 개 이상의 서면 의견을 수집하고 두 가지 다른 유형의 '디지털 귀'를 사용하여 이를 기분 좋은/지지하는 또는 걱정스러운/부정적인 범주로 분류했습니다.

그들이 어떻게 했는지 간단히 설명해 드리겠습니다:

두 가지 '디지털 귀' (방법론)

연구자들은 학생들의 이러한 의견을 이해하기 위해 두 가지 다른 방식을 테스트했는데, 이는 빠르고 효율적인 사서와 깊이 생각하는 교수를 비교하는 것과 같습니다.

1. 빠른 사서 (SVM 을 활용한 기계 학습)

작동 원리: 이 방법은 TF-IDF라는 기술을 사용합니다. 학생이 쓴 모든 단어를 가져와서 등장 횟수를 세는 것입니다. 만약 학생이 "AI 는 훌륭하다"고 쓴다면, 시스템은 '훌륭하다'가 그들에게 강력한 단어임을 기록합니다. 이를 텍스트를 단어의 가방으로 간주하여 기쁨이나 걱정을 나타내는 특정 키워드를 찾아냅니다.
도구: 그들은 **SVM(서포트 벡터 머신)**이라는 모델을 사용했습니다. SVM 을 매우 날카롭고 효율적인 분류기로 생각하세요. 이는 '긍정적' 단어와 '부정적' 단어를 구분하기 위해 모래 위에 선을 그립니다. 이는 빠르고, 많은 컴퓨팅 파워를 필요로 하지 않으며, 단순한 단어 목록에서 패턴을 찾는 데 탁월합니다.
결과: 이 '사서'는 매우 훌륭했습니다! 의견의 약 **82%**를 정확히 맞췄습니다. 이는 전통적인 방법 중 가장 좋은 성적이었으며, 때로는 군중의 감정을 파악하기 위해 슈퍼컴퓨터가 필요하지 않음을 입증했습니다.

2. 깊이 생각하는 교수 (DistilBERT 를 활용한 트랜스포머)

작동 원리: 이 방법은 '트랜스포머' 기반 AI 인 DistilBERT를 사용합니다. 단어만 세는 사서와 달리, 교수는 문장 전체를 읽고 문맥을 이해합니다. "AI 는 훌륭하지 않다"는 문장은 "AI 는 훌륭하다"는 문장과 같은 단어들을 공유하지만 매우 다르다는 것을 알고 있습니다. 이는 뉘앙스, 어조, 그리고 숨겨진 의미를 이해합니다.
도구: DistilBERT 는 거대한 AI 두뇌의 '라이트' 버전입니다. 이는 인터넷 전체를 읽었지만 일반 노트북에 들어갈 만큼 작은 교수와 같습니다.
결과: 이 '교수'는 챔피언이 되어 의견의 약 **85%**를 정확히 맞췄습니다. 단어 자체뿐만 아니라 단어 뒤에 숨겨진 '감정'을 이해했기 때문에 사서보다 약간 더 좋았습니다.

실험 설정

데이터: 그들은 2,295개의 학생 코멘트를 수집했습니다. 이는 공정한 대결이었습니다: 학생들의 약 절반은 부정적 (사기나 기술 상실에 대한 우려) 이었고, 절반은 긍정적 (학습 효율성에 대한 흥분) 이었습니다.
테스트: 데이터를 세 더미로 나누었습니다:
- 학습 (80%): 모델에게 가르치는 과정.
- 검증 (10%): 숙제를 확인하는 과정.
- 테스트 (10%): 누가 실제로 배웠는지 보는 최종 시험.

대결: 누가 이겼는가?

경쟁자	스타일	최종 점수 (정확도)	속도
LightGBM	스피드 주자	~50% (목표 달성 실패)	매우 빠름
Random Forest	팀 플레이어	~59% (괜찮지만 훌륭하지는 않음)	빠름
SVM	효율적인 사서	82.14%	빠름
DistilBERT	깊이 생각하는 교수	84.78%	느림 (학습에 몇 분 소요)

승자: DistilBERT가 가장 높은 정확도로 금메달을 차지했습니다. 이는 문장의 문맥을 이해하는 것이 인간의 감정을 더 잘 파악하게 해준다는 것을 증명했습니다.
준우승: SVM이 2 위를 차지했습니다. 비록 우승하지는 못했지만, 논문은 이것이 여전히 "강력하고 저비용의 대안"이라고 지적합니다. 만약 빠른 답변이 필요하고 슈퍼컴퓨터가 없다면, 사서 (SVM) 는 여전히 매우 신뢰할 수 있는 선택입니다.

결론

이 논문은 인도네시아 학생들의 학교 내 AI 에 대한 감정을 이해하는 데 있어 '깊이 생각하는 교수 (DistilBERT)'가 가장 정확하지만, '효율적인 사서 (SVM)'는 훨씬 더 빠르고 저렴하게 실행할 수 있는 매우 강력한 도구라고 결론지었습니다.

마지막으로, 연구자들은 숫자에서 멈추지 않았습니다. 그들은 실시간 웹 앱 (Gradio 라는 도구를 사용) 을 구축했는데, 누구나 문장을 입력하면 시스템이 감정이 긍정적인지 부정적인지 즉시 알려주고 신뢰도 점수를 함께 제공합니다. 이는 학생들의 의견을 위한 디지털 기분 반지 같은 것입니다.

요약하자면: 학생들의 AI 에 대한 감정을 이해하기 위해 빠르고 키워드 기반인 분류기 (SVM) 를 사용할 수도 있고, 스마트하고 문맥을 인식하는 리더 (DistilBERT) 를 사용할 수도 있습니다. 스마트한 리더가 정확도 면에서 승리하지만, 빠른 분류기도 여전히 매우 유용한 도구입니다.

"머신러닝 및 트랜스포머 기반 모델을 활용한 인도네시아 고등교육의 AI 도입에 대한 감정 분석"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

인도네시아 고등교육 분야에서의 인공지능 (AI) 급속한 도입은 학습 효율성에 대한 지지부터 학문적 정직성, 과도한 의존성, 그리고 비판적 사고 능력의 약화에 대한 우려에 이르기까지 학생들의 복잡한 의견 혼합을 야기했습니다.

간극: 감정 분석은 여론을 측정하는 표준 도구이지만, 교육 분야 AI 도입이라는 맥락에서 인도네시아어 텍스트에 특화되어 전통적 머신러닝 (ML) 과 트랜스포머 기반 딥러닝의 효과를 비교 평가한 연구는 부족합니다.
목표: 인도네시아 학생들의 AI 에 대한 의견을 체계적으로 분석하고, 이 특정 도메인에서 이진 감정 분류 (긍정 대 부정) 에 있어 어떤 모델링 접근 방식 (TF-IDF 기반 ML 대 트랜스포머 기반 DL) 이 더 우수한 성능을 보이는지 규명하는 것입니다.

2. 방법론

A. 데이터셋 구축

출처: 본 연구는 고등교육 내 AI 에 대한 1,154 개의 원시 학생 의견과 긍정/부정 어휘 사전에서 추출한 1,141 개의 샘플을 결합한 하이브리드 데이터셋을 활용했습니다.
총 규모: 2,295 개의 레이블이 지정된 샘플.
클래스 분포: 데이터셋은 거의 균형 잡혀 있습니다:
- 부정: 1,158 개 샘플 (50.46%)
- 긍정: 1,137 개 샘플 (49.54%)
전처리: 텍스트 정제 과정에는 소문자 변환, URL/멘션/해시태그/문장 부호 제거, 비표준 단어 정규화, 그리고 반복 문자 처리가 포함되었습니다.

B. 실험 워크플로우

데이터는 훈련, 검증, 테스트 세트를 위해 80:10:10 비율로 분할되었습니다. 두 가지 명확한 파이프라인이 구현되었습니다:

1. 머신러닝 파이프라인 (베이스라인)

특징 추출: 텍스트는 유니그램과 바이그램을 사용하여 TF-IDF 벡터로 변환되었습니다.
평가된 모델:
- LightGBM: n_estimators=100, max_depth=10으로 구성된 부스팅 앙상블.
- Random Forest: n_estimators=100, max_depth=20으로 구성된 병렬 앙상블.
- 서포트 벡터 머신 (SVM): RBF 커널 (C=1.0) 을 사용하는 커널 기반 분류기.
선택: 모델은 검증 정확도를 기준으로 선택되었으며, 최종 비교를 위한 최상의 ML 대표 모델로 SVM 이 선정되었습니다.

2. 딥러닝 파이프라인 (트랜스포머)

모델: DistilBERT (distilbert-base-uncased) 로, 계산 비용을 줄이면서도 성능을 유지하도록 설계된 경량화된 증류형 BERT 버전입니다.
아키텍처: 자기 주의 메커니즘을 갖춘 6 층 인코더.
구성:
- 최대 시퀀스 길이: 128 토큰.
- 배치 크기: 64.
- 옵티마이저: 학습률 $1 \times 10^{-6}$ 인 AdamW.
- 정규화: 드롭아웃 (0.5), 가중치 감쇠 (0.001).
- 훈련: 검증 F1-점수를 기반으로 한 조기 종료 (patience=5) 를 적용한 100 에포크.

C. 평가 지표

성능은 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-점수를 사용하여 평가되었습니다.

3. 주요 결과

A. 머신러닝 성능

LightGBM: 이 맥락에서 희소하고 고차원적인 TF-IDF 특징을 처리하는 데 어려움을 겪음을 나타내는 낮은 성능 (테스트 정확도: 49.67%, F1: 48.46%) 을 보였습니다.
Random Forest: 중간 정도의 개선 (테스트 정확도: 58.61%, F1: 56.48%) 을 보였으나 SVM 보다 여전히 열등했습니다.
SVM: 최상의 전통적 머신러닝 모델로 부상했습니다.
- 검증 정확도: 87.25%
- 테스트 정확도: 82.14%
- 테스트 F1-점수: 82.14%
- 관찰: SVM 은 고차원 텍스트 데이터를 처리하는 데 있어 견고함을 입증하여 459 개의 테스트 샘플 중 377 개를 올바르게 분류했습니다.

B. 트랜스포머 (DistilBERT) 성능

테스트 정확도: 84.78%
테스트 F1-점수: 84.75% (가중)
클래스 세부 사항:
- 부정 클래스 F1: 0.8548
- 긍정 클래스 F1: 0.8402
관찰: DistilBERT 는 부정 샘플에 대해 더 높은 재현율을 보이는 약간의 편향을 보였으나 클래스 간 정밀도는 균형을 유지했습니다. 훈련 손실 (0.28) 과 검증 손실 (0.36) 은 심각한 과적합 없이 좋은 일반화를 나타냈습니다.

C. 비교 분석

성능 격차: DistilBERT 는 정확도에서 최상의 ML 모델 (SVM) 보다 2.64% 높고 F1-점수에서 2.61% 높았습니다.
효율성 트레이드오프:
- SVM: 매우 빠른 훈련 시간 (0.210 초).
- DistilBERT: GPU 집약적 처리로 인해 훨씬 긴 훈련 시간 (22.8 분).
모델에 대한 결론: 트랜스포머는 더 풍부한 의미적 맥락을 포착하여 더 높은 정확도를 이끌어내지만, SVM 은 효율적인 감정 분류를 위한 매우 경쟁력 있고 저비용의 대안으로 남아 있습니다.

4. 주요 기여

맥락별 분석: 인도네시아어 NLP 문헌의 간극을 해소하는 인도네시아 대학생들의 AI 도입 인식에 대한 경험적 증거를 제공합니다.
방법론적 비교: 인도네시아 교육 텍스트에 대한 전통적인 TF-IDF/SVM 접근법과 현대적인 트랜스포머 기반 (DistilBERT) 모델을 비교하는 엄격한 벤치마크를 제공합니다.
데이터셋 구축: 고등교육 내 AI 에 특화된 2,295 개의 인도네시아어 샘플로 구성된 균형 잡힌 데이터셋을 큐레이션하고 처리했습니다.
실무 배포: 최상위 성능 모델 (DistilBERT) 을 Gradio와 Hugging Face Spaces를 사용하여 대화형 웹 애플리케이션으로 배포하여 신뢰도 점수를 포함한 실시간 감정 예측을 가능하게 했습니다.

5. 의의 및 향후 과제

의의: 본 연구는 컨텍스트를 이해함으로써 딥러닝 모델 (트랜스포머) 이 우수한 정확도를 제공하지만, SVM 과 같은 전통적 모델은 리소스가 제한된 환경에서도 여전히 유효함을 검증합니다. 이는 교육 기관이 학생 피드백에 기반한 정책 수립을 위해 적절한 도구를 선택하는 데 도움이 됩니다.
향후 방향:
- 데이터셋 규모 확대.
- 3 가지 분류를 위한 중립 클래스 도입.
- 영어 중심인 distilbert-base-uncased 대신 인도네시아 특화 사전 훈련 모델 (예: IndoBERT) 활용.
- 일반적인 극성뿐만 아니라 (정직성 대 학습 효율성 등) 구체적인 우려 사항을 식별하기 위한 속성 기반 감정 분석 수행.