So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis

기술 요약: 개방형 설문 분석을 위한 대규모 언어 모델과 전통적 머신러닝의 비교

문제 정의
미국 학생 참여도 조사(NSSE)와 같은 개방형 설문 응답은 풍부한 질적 데이터를 제공하지만, 이를 대규모로 분석하는 데에는 상당한 어려움이 따른다. 전통적인 머신러닝(ML) 방식은 구조화된 작업에는 효과적이지만, 광범위한 특징 공학(예: TF-IDF, n-gram)에 의존하며 인간 언어의 화용론적 미묘함을 파악하는 데 한계를 보인다. 구체적으로, 전통적 모델은 냉소, 피로 또는 회의주의 속에 숨겨진 복잡한 감정 상태를 해석하지 못해 미세한 감정을 오분류하는 경우가 빈번하다. 이전 연구들이 주제별 코딩을 자동화하기 위해 전통적인 자연어 처리(NLP)를 활용했다면, 대규모 언어 모델(LLM)의 등장은 문맥 중심의 추론과 감정 인식을 위한 새로운 경로를 제시한다. 본 연구는 현대적인 LLM이 실제 설문 데이터의 정답(ground-truth) 주석이 없는 상황에서도 전통적인 ML 모델보다 더 일관되고 정확한 감정 분석을 제공할 수 있는지라는 질문을 다룬다.

연구 방법론
본 연구는 세 가지 서로 다른 데이터셋에 대해 네 가지 전통적 ML 분류기와 네 가지 최첨단 LLM을 평가하는 비교 프레임워크를 채택한다.

1. 데이터셋:
   • NSSE 2019 및 2021: 미국 학부생들의 실제 개방형 설문 응답(각각 N=142, N=293). 이 데이터셋에는 인간이 주석을 달아놓은 감정 레이블이 없다.
   • Hugging Face 감정 데이터셋: 6가지 감정(분노, 공포, 기쁨, 사랑, 슬픔, 놀람)으로 분류된 영어 트윗의 벤치마크 데이터셋으로, 훈련 세트(70,004개)와 테스트 세트(17,950개)로 나뉜다.
2. 전통적 ML 베이스라인:
   • 네 가지 분류기를 Hugging Face 훈련 세트만을 사용하여 학습시킨 후, NSSE 데이터에 제로샷(zero-shot) 방식으로 평가하였다: RBF 커널을 사용한 서포트 벡터 분류기(SVC), 선형 SVC(LinearSVC), 랜덤 포레스트(Random Forest), 결정 트리(Decision Tree).
   • 이 모델들은 토큰화, TF-IDF, 바이그램 추출을 포함한 표준 특징 공학을 활용하였다.
3. 대규모 언어 모델 (LLM):
   • 네 가지 모델을 미세 조정(fine-tuning) 없이 제로샷 프롬프팅을 사용하여 평가하였다: OpenAI GPT-4-Turbo, Claude 3.5 Sonnet, Meta LLaMA 3 (70B), Perplexity Sonar Pro.
   • 표준화된 프롬프트를 통해 모델이 텍ama의 텍스트를 여섯 가지 기본 감정 중 하나로 분류하도록 지시하였다.
   • 재현성을 보장하기 위해 추론 시 온도는 0, max_tokens는 5로 설정하였으며, 로컬 모델은 그리디 디코딩(greedy decoding)을 사용하였다.
4. 평가 지표:
   • 성능은 벤치마크 데이터셋에 대한 분류 정확도로 측정되었다.
   • 정답(ground truth)을 알 수 없는 실제 NSSE 데이터의 경우, 본 연구는 신뢰성의 대리 지표로서 **모델 간 일치도(inter-model agreement)**와 **코호트 일관성(cohort consistency)**을 활용하였다.

주요 결과

• 벤치마크 성능: 전통적 ML 모델은 균형 잡힌 Hugging Face 데이터셋에서 높은 일반화 능력을 보였다. LinearSVC가 90.98%로 가장 높은 정확도를 기록했으며, RBF-SVC(90.08%)와 랜덤 포레스트(89.78%)가 그 뒤를 이었다. 결정 트리는 85.48%로 더 낮은 성능을 보였는데, 이는 고차원 노이즈에 대한 민감도를 나타낸다.
• 코호트 민감도 및 편향: NSSE 데이터 분석에서 결정적인 차이가 관찰되었다. 전통적 ML 모델은 높은 내부 일치도를 보였으나 상당한 코호트 의존적 편향을 나타냈다. 예를 들어, 2019년 코호트에서 SVC 모델은 응답의 99.3%를 "기쁨(Joy)"으로 분류했고, 결정 트리는 "사랑(Love)"을 과잉 예측(43.3%)했다. 이는 모델이 화용론적 모호성 해소 없이 표면적인 어휘 밸런스(예: "great" 또는 "good"과 같은 단어)에 과도하게 의존하고 있음을 시사한다.
• LLM 일관성: 반면, 네 가지 LLM은 높은 **수렴 타당도(convergent validity)**를 보여주었다. 이들의 예측은 서로 다른 코호트(2019년 vs 2021년)와 아키텍처 전반에 걸쳐 놀라운 안정성을 보였다. 예를 들어, 2021년 코호트에서 네 가지 LLM은 "분노(Anger)"의 개수(46건)에 대해 완벽하게 일치하는 결과를 보였다. 부정적 감정(공포, 슬픔, 분노)의 예측 수치 범위는 모델 간에 최소화된 반면, ML 모델은 매우 큰 편차를 보였다.
• 뉘앙스 및 화용론: LLM은 완곡 어법(hedging)이나 담화 표지(discourse markers)와 같은 화용론적 단서를 처리하는 데 더 능숙한 것으로 보였으며, 그 결과 특정 코호트에서 ML 모델이 생성한 비현실적인 "보편적 기쁨"에 비해 더 타당한 감정 분포를 도출하였다.

의의 및 주장
본 논문은 전통적 ML 모델이 해석 가능성, 속도, 그리고 특징 가중치를 통한 감사 가능성(auditability) 측면에서 여전히 가치가 있지만, 종단적 또는 기관 간 설문 분석에 적용될 때 "취약(brittle)"하며 표면적 특징에 민데히는 경향이 있다고 주장한다. 본 연구는 LLM이 복잡하고 비사실적인 인간의 표현을 해석하는 데 있어 더 높은 예측력과 일관성을 제공함으로써 방법론적 진보를 이룬다고 상정한다.

저자들은 LLM이 텍스트 데이터를 코딩하는 데 드는 인간의 노력을 크게 줄이고, 대규모 질적 "빅데이터"로부터 미묘한 통찰을 추출할 수 있다고 결론짓는다. 그러나 이러한 이점에는 트레이드오프가 따른다는 점을 경고한다. 즉, LLM은 결정 트리나 선형 모델이 가진 내재적 설명력이 부족하며, 빈번한 모델 업데이트와 잠재적 환각(hallucination) 문제로 인해 재현성 측면에서 어려움이 있다. 본 논문은 학생 지원 정책 수립과 같이 이해관계가 걸린 애플리케이션의 경우, 자동화와 해석적 엄밀함 사이의 균와를 맞추기 위해 LLM이 생성한 코드와 인간 또는 ML의 감사를 결합한 하이브리드 시스템이 최적의 접근 방식이라고 제안한다.