Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale

기술 요약: 에스토니아어 주관성 데이터셋 구축

문제 정의
주관성 분석은 인간의 의견, 태도, 관점을 이해하기 위한 자연어 처리(NLP)의 기초적인 과업이다. 기존의 데이터셋은 주로 이진 분류(객관적 vs 주관적) 또는 문장 단위 분석에 의존하지만, 주관성에 대한 인간의 인식은 본질적으로 점진적이며 연속체 상에 존재한다. 또한, 저자원 언어에 대한 자원이 부족한 실정이며, 구체적으로 이 연구 이전에는 에스토니아어 주관성 데이터셋이 존재하지 않았다. 과제는 연속적인 척도상에서 주관성의 미묘한 차이를 포착하는 동시에, 인간 주석(annotation)의 내재적 가변성을 다루고, 대규모 언어 모델(LLM)을 사용하여 이 과정을 자동화하는 것의 타당성을 탐구하는 신뢰할 수 있는 데이터셋을 구축하는 것이다.

방법론
저자들은 0(완전 객관적)에서 100(완전 주관적) 사이의 연속 척도로 평가된 1,000개의 문서로 구성된 에스토니아어 주관성 데이터셋을 구축하였다.

• 데이터 수집: 데이터셋은 300개의 저널리즘 텍스트(뉴스 기사 150개, 논평 150개)와 2021년 에스토니아 국립 코퍼스에서 무작위로 선택된 700개의 웹 텍스트를 포함한다. 텍-트의 유의미한 분석을 보장하면서 주석 작성자의 집중력을 유지하기 위해 텍스트 길이는 100~6,000자로 제한되었다. 코퍼스는 광고, 소셜 미디어, 법률 텍스트, 문학을 포함한 다양한 장르를 포괄한다.
• 주석 프로토콜:
  • 파일럿 연구: 60개의 텍스트를 대상으로 한 예비 연구를 통해 연속 척도와 소스 선택(중립적인 공영 방송부터 의견이 강한 대안 매체까지)의 타당성을 검증하였다.
  • 본 주석 작업: 세 명의 주석자(A1, A2, A3)가 설문 환경에서 슬라이딩 척도를 사용하여 1,000개의 전체 데이터셋을 평가하였다. 이들은 또한 확신도("전혀 확신할 수 없음"에서 "전적으로 확신함"까지)를 함께 제공하였다.
  • 재주석 작업: 높은 주석자 간 불일치를 조사하기 위해, 극단적인 점수 차이가 나타난 250개의 텍스트 서브셋을 선정하여 4개월의 간격을 두고 원래 주석자 중 두 명이 재주석을 수행하였다.
  • 네 번째 주석자: 점수 집계의 신뢰도를 높이기 위해 파일럿에 참여했던 네 번째 주석자(A4)를 모집하여 전체 데이터셋을 주석하게 하였다.
• LLM 실험: 저자들은 전체 1,000개 텍스트를 주석하기 위해 GPT-5를 활용하였다. 모델은 점수(0–100)를 할당하고 근거를 제공하도록 프롬프트가 구성되었다. 일관성을 평가하기 위해 데이터셋을 세 개의 별도 배치로 나누어 처리하였으며, 점수의 평균값을 산출하였다.

주요 기여

1. 최초의 에스토니아어 주관성 데이터셋: 범주형 이진 분류가 아닌, 연속적인 0–100 척도로 주석된 에스토니아어 문서 수준의 주관성 데이터셋을 구축하였다.
2. 주석 가변성 분석: 주석자 간 일치도를 상세히 조사하여, 상관관계는 중간 수준이지만 통계적으로 유의미함을 밝혀냈다. 본 연구는 텍스트 길이와 장르가 주석 일관성에 서로 다르게 영향을 미친다는 점을 확인하였다.
3. 맥락 효과: 주석 과정의 맥락(제시되는 텍스트의 순서)이 인간의 점수 매기기에 미치는 영향을 기록하였으며, 주석자가 이전 텍스트를 바탕으로 내부 척도를 무의식적으로 조정할 수 있음을 주목하였다.
4. 인간-LLM 비교: 인간의 주석과 GPT-5 출력값 사이의 경험적 비교를 통해, 인간과 모델이 주관성 단서를 해석하는 방식에서 나타나는 구체적인 체계적 차이점을 강조하였다.

결과

• 주석자 간 일치도: 초기 세 명의 주요 주석자 간의 상관관계는 중간 수준이었다(피어슨 r 범위 0.525 ~ 0.627). 높은 불일치를 보인 서브셋에 대한 재주석 결과, 재주석에 참여한 두 사람 사이의 일치도가 r = 0.678로 향상되었다. 네 번째 주석자는 초기 그룹과 일관된 상관관계(0.627–0.675)를 보였다.
• 점수에 영향을 미치는 요인:
  • 텍스트 길이: 긴 텍스트는 일반적으로 더 주관적인 것으로 평가되었으나, 이 상관관계는 장르별로 크게 달랐다(예: 법률 텍스트에서는 강했으나 뉴스에서는 미미함).
  • 맥락: 주석자들은 주관적인 텍스트를 연속해서 채점하면 이후의 텍스트에 대한 객관성 민감도가 높아진다고 보고하였으며, 이는 순서 효과를 시사한다.
  • 확신도: 주석자의 확신도 등급은 주석자 간의 불일치 정도와 강한 상관관계를 보이지 않았다.
• LLM 성능: GPT-5는 세 번의 실행 과정에서 높은 내부 일관성을 보였다(피어슨 r ≈ 0.98). 그러나 인간과 비교했을 때 모델은 뚜렷한 패턴을 보였다:
  • 점수 범위: GPT-5는 98 이상의 점수를 거의 부여하지 않은 반면, 인간은 0–100의 전체 범위를 활용하였다.
  • 인용구: GPT-5는 직접 인용구가 포함된 텍스트(뉴스의 흔한 특징)를 인간보다 더 주관적인 것으로 평가하는 경향이 있었는데, 이는 모델이 인용된 내용을 사실 보도가 아닌 텍스트의 주관적 일부로 해석했기 때문으로 보인다.
  • 어조 vs 내용: 인간은 구어체, 속어, 이모티콘(예: 포럼 게시글)이 포함된 텍스트를 매우 주관적인 것으로 평가하였다. 반면 GPT-5는 사실적 내용에 더 집중하여 이러한 텍xt에 대해 더 낮은 주관성 점수를 부여하였다.

의의 및 주장
본 논문은 구축된 데이터셋이 언어 연구 및 자동 주관성 탐지 시스템 개발을 위한 유효하고 유용한 자원이라고 주장한다. 저자들의 주장은 다음과 같다:

• 인간 주석자는 주석자 간의 중간 정도의 불일치에도 불구하고, 주관성에 대해 일관되게 연속적인 수치 척도를 사용할 수 있다.
• LLM 기반의 자동 주관성 점수 산출은 실행 가능하며, 인간의 평가와 중간 정도의 상관관계를 갖는 타당한 점수를 생성한다.
• 그러나 LLM은 인간 주석을 대체할 수 있는 동등한 대안이 아니다. 본 연구는 LLM이 인간과 비교했을 때 다른 단서(예: 내용보다 어조를 우선시함)에 의존한다는 결론을 내렸다. 따라서 LLM은 속도와 자동화가 필요한 응용 분야에서 인간의 노력을 보완할 수는 있지만, 특히 언어적 또는 해석적 연구에서 요구되는 미묘하고 인간다운 이해가 필요한 과업에서 아직 인간 주석자를 완전히 대체할 수는 없다.

저자들은 향-후 연구가 맥락 효과를 더 잘 이해하기 위해 추가적인 인간 주석을 통해 데이터셋을 확장하고, 인간-LLM 간의 격차를 줄이기 위해 프롬프트 엔지니어링을 정교화하는 데 집중해야 한다고 강조한다.