💻 computer science

How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews

본 연구는 인도네시아 해안 관광 리뷰의 더 큰 다수결 투표 데이터셋으로 감성 분류기를 학습시키는 것이 엄격한 만장일치 합의 데이터셋보다 더 높은 성능을 낸다는 것을 입증하며, 이러한 결과는 모호한 사례의 유지 자체보다는 데이터 양의 증가와 클래스 균형이 개선의 주요 동력일 수 있음을 시사하는 동시에, IndoBERT가 중립적 리뷰의 체계적 오분류를 효과적으로 감소시킨다는 점을 보여준다.

원저자: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

게시일 2026-08-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 시대에 여행자의 목소리는 인간의 의견이 담긴 거대하고 구조화되지 않은 도서관이 되었습니다. 수백만 명의 사람들이 해변, 호텔, 레스토랑에 대해 리뷰를 작성하며, 비격식적이고 속어가 섞여 있으며 매우 미묘한 뉘앙스를 지닌 텍스트 속에 자신들의 희망, 실망, 그리고 관찰을 쏟아냅니다. 기업과 연구자들에게 과제는 이 범람하는 정보 속에서 의미를 찾아내는 것입니다. 그들은 단순히 리뷰가 좋은지 나쁜지를 아는 것을 넘어, 작성자가 정확히 어떻게 느끼는지 알아야 합니다. 이것이 바로 컴퓨터에게 감정을 읽는 법을 가르치는 컴퓨터 과학의 한 분야인 감성 분석(sentiment analysis)의 영역입니다. 수년 동안 표준적인 접근 방식은 인간이 이러한 리뷰에 '긍정', '부정', 또는 '중립'과 같은 단순한 범주를 라벨링하고, 컴퓨터가 그러한 패턴을 인식하도록 훈련시키는 것이었습니다. 그러나 인간의 판단이 항상 완벽한 것은 아닙니다. 세 사람이 동일한 리뷰를 읽더라도, 그것이 진정으로 중립적인지 아니면 약간 부정적인지에 대해 서로 의견이 다를 수 있습니다. 이러한 불일치는 과학자들에게 하나의 퍼즐을 던져줍니다. 즉, 모두가 동의하는 리뷰만 남기기 위해 혼란스러운 리뷰를 버려야 할까요, 아니면 컴퓨터가 더 많은 사례로부터 배울 수 있도록 이 복잡하고 논쟁적인 것들을 유지해야 할까요?

인도네시아 디포네고로 대학교(Diponegoro University)의 연구팀은 해안 관광지에 대한 리뷰를 사용하여 이 구체적인 퍼즐을 해결하고자 했습니다. 그들은 비격식적인 표현과 지역적 변이가 풍부하여 컴퓨터에게 특히 까다로운 테스트 케이스가 되는 인도네시아어에 집중했습니다. 연구진은 구글 맵에서 인도네시아 전역의 해변을 다루는 수십만 개의 공개 리뷰를 수집했습니다. 데이터를 정제하고 중복되거나 인도네시아어가 아닌 텍ato를 걸러낸 후, 그들은 약 22,000개의 균형 잡힌 샘플을 선정하여 세 명의 인간 주석가(annotator)에게 검토하게 했습니다. 각 개인은 독립적으로 해당 리뷰가 긍정적인지, 부정적인지, 또는 중립적인지를 결정했습니다. 이 과정은 자연스러운 현실을 드러냈습니다. 인간은 항상 일치하지 않았습니다. 어떤 리뷰는 매우 명확하여 세 명의 주석가 모두가 동일한 라벨을 선택했지만, 어떤 리뷰는 모호하여 두 명은 동의하고 한 명은 동의하지 않거나, 혹은 세 명 모두가 서로 다른 라벨을 선택하기도 했습니다.

연구진은 이러한 불일치가 컴퓨터의 학습에 어떤 영향을 미치는지 확인하기 위해 데이터를 두 개의 별도 그룹으로 나누었습니다. 첫 번째 그룹은 '만장일치(unanimous)' 세트로, 세 명의 인간이 모두 동의한 리뷰만을 포함했습니다. 이는 15,527개의 리뷰로 구성된 더 작고 깨끗한 컬렉션이었지만, 까다롭고 모호한 사례들은 빠져 있었습니다. 두 번째 그룹은 '다수결(majority)' 세트로, 만장일치 리뷰를 유지하면서도 세 명 중 두 명이 동의한 리뷰까지 추가했습니다. 이 더 큰 세트는 21,235개의 리뷰를 포함했으며, 컴퓨터를 당황하게 만드는 중립적, 복합적 감정, 또는 혼란스러운 텍스트를 훨씬 더 많이 포함하고 있었습니다. 그런 다음 연구진은 이 두 그룹을 대상으로 세 가지 유형의 컴퓨터 프로그램을 훈련시켰습니다. 두 프로그램은 단어 빈도를 살펴보는 오래되고 전통적인 방식을 사용했고, 세 번째 프로그램은 인간 독자처럼 인도네시아어의 문맥과 단어 간의 관계를 이해하도록 설계된 현대적이고 고급 시스템인 IndoBERT를 사용했습니다.

결과는 명확했고 다소 놀라웠습니다. 컴퓨터가 완벽하게 합의된 사례로부터만 가장 잘 배운다는 생각과는 반대로, 모든 프로그램은 논쟁적인 리뷰가 포함된 더 크고 복잡한 그룹으로 훈련되었을 때 더 나은 성능을 보였습니다. 가장 발전된 시스템인 IndoBERT는 만장일치 그룹보다 다수결 그룹으로부터 학습했을 때 더 높은 점수를 기록했습니다. 이는 완벽한 합의를 보장하기 위해 모호한 리뷰를 버리는 것이 실제로는 가치 있는 교훈을 버리는 일이 될 수 있음을 시사합니다. 논쟁적인 리뷰에는 종종 여행자들이 표현하는 복잡하고 복합적인 감정이 담겨 있으며, 이러한 사례가 많을수록 컴퓨터가 인간 감정의 전체 범위를 이해하는 데 도움이 됩니다. 연구 결과, 가장 큰 개선은 '중립' 리뷰를 정확하게 식별하는 능력에서 나타났습니다. 컴퓨터가 깨끗한 만장일치 데이터로만 훈련되었을 때는 진정으로 중립적인 리뷰와 약간 긍정적이거나 부정적인 리뷰를 구분하는 데 어려움을 겪었습니다. 하지만 다수결 데이터를 통해 학습했을 때는, 이 데이터에 중립적인 사례가 훨씬 더 많이 포함되어 있었기에 중립적인 경우를 훨씬 더 잘 인식하게 되었습니다.

그러나 연구진은 이러한 개선이 단순히 불일치 자체 때문만은 아닐 수 있다는 점을 주의 깊게 언급했습니다. 더 큰 그룹은 단순히 더 많은 데이터와 더 나은 중립 사례의 균형을 가지고 있었으며, 중립적인 사례는 본래 긍정적이거나 부정적인 사례보다 찾기 어렵기 때문입니다. 이 연구는 불일치 자체가 좋다는 것을 증명한 것이 아니라, 그것을 걸러내는 과정이 너무 많은 유용한 정보를 제거한다는 것을 보여준 것입니다. 컴퓨터는 여전히 특정 유형의 복잡한 글쓰기, 예를 들어 해변의 한 부분은 칭찬하면서 다른 부분은 비판하는 리뷰나, 실망감을 표현하기 위해 미묘하고 간접적인 언어를 사용하는 리뷰 등에는 어려움을 겪었습니다. 이러한 어려운 사례들은 가장 발전된 모델에게도 여전히 과제로 남았습니다. 궁극적으로, 이 연구는 인간의 언어가 가진 복잡한 세계에서, 훈련 데이터 속의 약간의 불일치가 여행자의 목소리를 진정으로 이해하도록 컴퓨터를 가르치는 데 필요할 수도 있음을 시사합니다.

기술 요약: 인도네시아 해안 관광 분야의 어노테이터 합의 및 감성 분류

문제 정의
인도네시아 해안 지역 리뷰와 같은 지역 관광 관련 사용자 생성 콘텐츠(UGC) 처리는 언어적 복잡성, 모호성, 그리고 감성의 주관성으로 인해 어려움을 겪고 있다. IndoBERT와 같은 심층 문맥 모델은 전통적인 베이스라인 모델에 비해 우수한 의미론적 이해력을 제공하지만, 그 효과는 근본적으로 주석 처리된 학습 데이터의 품질에 의해 제한된다. 주관적인 NLP 과제에서 핵심적인 방법론적 과제는 어노테이터 간의 불일치를 어떻게 처리하느냐이다. 기존 전략은 대개 다수결 투표를 통해 분쟁을 해결하여 불일치 자체에 대한 정보를 버리거나, 만장일치의 합의만을 유지하기 위해 데이터를 필터링한다. 이는 트레이드오프를 발생시킨다. 즉, 높은 합의를 위해 데이터를 필터링하면 레이블 일관성은 향상될 수 있으나 언어적으로 모호하고 정보 가치가 있는 사례들이 제거되는 반면, 다수결 투표 인스턴스를 유지하면 데이터셋의 크기와 다양성은 증가하지만 잠재적인 레이블 노이즈가 유입될 수 있다. 이러한 어노테이션 합의 조건이 특히 인도네시아 도메인 내의 다운스트림 감성 분류 성능에 미치는 구체적인 영향은 아직 충분히 연구되지 않았다.

연구 방법론
본 연구는 수마트라에서 파푸아에 이르는 지역을 포괄하는 구글 맵에서 스크래핑한 21,779개의 인도네시아 해안 관광 리뷰로 구성된 데이터셋을 구축하였다. 데이터는 원래의 별점 분포를 맞추기 위해 층화 언더샘플링(stratified undersampling) 과정을 거쳤으며, 이후 세 명의 독립적인 인간 어노테이터가 긍정(positive), 부정(negative), 또는 중립(neutral) 레이블을 할당하는 수동 주석 작업을 수행하였다.

연구진은 어노테이션 합의의 효과를 격리하기 위해 데이터를 두 가지 별도의 실험적 학습 트랙으로 구성하였다:

트랙 A (만장일치 합의): 세 명의 어노테이터 모두가 동일한 레이블을 할당한 리뷰만을 포함한다 ( $n=15,527$ ). 이 서브셋은 양극화된 감성에 크게 치우쳐 있으며, 중립 사례는 데이터의 9.48%만을 차지한다.
트랙 B (다수결 투표): 2대 1의 다수 결정을 통해 해결된 리뷰를 유지한다 ( $n=21,235$ ). 이 서브셋은 만장일치 사례와 의견 불일치가 해결된 사례를 모두 포함하며, 결과적으로 중립 레이블의 비율이 현저히 높고(20.08%) 어휘량이 더 많다.

세 가지 모델이 동일하게 홀드아웃(held-out) 테스트 세트(300개의 균형 잡힌 리뷰, 클래스당 100개) 하에서 두 조건 모두에 대해 학습 및 평가되었다:

선형 서포트 벡터 분류기 (SVM): TF-IDF 특징(unigrams 및 bigrams)을 사용함.
다항 나이브 베이즈 (Multinomial Naive Bayes): TF-IDF 특징을 사용함.
IndoBERT (indobenchmark/indobert-base-p1): 인도네시아 Indo4B 코퍼스로 사전 학습된 트랜스포머 기반 모델.

전처리 파이프라인은 모델 계열에 따라 달랐다. 전통적인 모델은 어근 추출(stemming)과 불용어 제거(부정어를 유지함)를 활용한 반면, IndoBERT는 문맥적 무결성을 유지하기 위해 형태론적 형태와 구두점을 보존하는 덜 공격적인 파이프라인을 사용하였다.

주요 결과
높은 어노테이션 합의가 더 나은 성능을 낼 것이라는 가설과 달리, 세 가지 분류기 모두 트랙 A (만장일치 합의)보다 트랙 B (다수결 투표)에서 더 높은 정확도(Accuracy)와 매크로 F1(Macro F1) 점수를 달성하였다.

IndoBERT: 트랙 B에서 매크로 F1 0.9327, 트랙 A에서 0.9255를 기록하였다.
SVM: 트랙 A의 0.7223에서 트랙 B의 0.7552로 개선되었다.
Naive Bayes: 트랙 A의 0.5084에서 트랙 B의 0.6433으로 가장 유의미한 상대적 상승을 보였다.

오류 분석 및 "중립성 침식(Neutrality Bleed)"
혼동 행렬(Confusion matrix) 분석 결과, 중립 클래스가 주요 오류의 원인이었으며, 특히 전통적인 TF-IDF 기반 모델에서 두드러졌다. "중립성 침식(Neutrality Bleed)"이라 명명된 현상이 관찰되었는데, 이는 전통적인 분류기들이 중립 리뷰를 체계적으로 양극화된(긍정 또는 부정) 리뷰로 오분류하는 현상을 의미한다.

트랙 A에서 나이브 베이즈는 중립 테스트 인스턴스를 단 하나도 식별하지 못했다 (재현율(Recall) = 0.00). 이는 중립 리뷰를 부정 또는 긍정으로 오분류한 결과이다.
IndoBERT는 우수한 강건성을 입증하였는데, 트랙 A에서 0.83, 트랙 B에서 0.86의 중립 재현율을 달성하며 양극화된 감성과 중립을 구분하는 데 있어 베이스라인 모델들을 크게 앞질렀다.

질적 분석을 통해 IndoBERT조차 여전히 어려움을 겪는 특정 언어적 과제들을 확인하였다:

공간적으로 상충하는 감성: 목적지의 서로 다른 부분에 대해 상반된 극성을 평가하는 리뷰 (예: 서쪽은 쓰레기가 많지만 북쪽은 파도가 훌륭함).
다중 속성 혼합 평가: 여러 긍정적 요소와 부정적 요소를 포함하는 긴 리뷰가 하나의 중립적인 평점으로 수렴되지만, 부정적 단서들의 누적된 무게로 인해 종종 부정적으로 오분류되는 경우.
간접적 비판: 모델이 때때로 중립으로 오해할 수 있는 미묘한 불만 표현 (예: "아쉽다").

의의 및 주장
본 논문은 이 특정 데이터셋과 실험 설정 내에서, 다수결로 해결된 인스턴스를 유지하는 것(트랙 B)이 만장일치 합의로 제한하는 것(트랙 A)보다 더 나은 예측 성능을 제공한다고 주장한다. 저자들은 이러한 성능 향상이 증가된 학습 데이터의 양, 더 넓은 어휘량, 그리고 결정적으로 트랙 B에서의 중립 클래스 표현력 강화 덕분이라고 설명한다.

그러나 저자들은 이러한 결과가 단순히 어노테이터의 합의에만 기인한다고 볼 수는 없다고 명시적으로 밝혔다. 트랙 B는 데이터 규모와 클래스 분포가 다른 트랙 A의 상위 집합(superset)이므로, 관찰된 성능 향상은 데이터 볼륨 증가와 클래스 균형의 이점을 반영한 것일 수도 있기 때문이다. 따라서 본 연구는 어노테이터의 불일치가 본질적으로 유익하다고 주장하는 것이 아니라, 합의를 위해 필터링하는 과정이 중립 클래스를 학습하는 데 필수적인 정보가 많고 모호한 사례들을 제거함으로써 발생하는 트레이드오프를 강조하는 것이다.

본 연구는 결론적으로 IndoBERT가 전통적인 베이스라인에 비해 부정어 및 혼합 감성 구조와 관련된 오류를 실질적으로 완화하지만, 다중 속성 평가나 지역적 표현과 같은 도메인 특화된 과제는 여전히 존재한다고 밝혔다. 저자들은 어노테이터의 합의 기여도를 격리하기 위해 학습 세트 크기와 클래스 분포를 일정하게 유지하는 통제된 실험을 수행할 것을 권고하며, 상충하는 극성을 더 잘 처리하기 위해 속성 기반 감성 분석(ABSA)으로 나아갈 것을 제안한다.

유사한 논문