Quantifying and Predicting Disagreement in Graded Human Ratings

기술 요약: 등급화된 인간 평가에서의 불일치 정량화 및 예측

문제 제기
자연어 처리 (NLP) 작업, 특히 혐오 표현, 모욕적 언어, 유해 콘텐츠 탐지와 같은 사회적으로 민감한 영역에서 인간 주석가들은 종종 불일치를 보입니다. 주석 변이가 내재적이라는 점은 인정되지만, 이러한 이질성의 정도는 모든 사례에서 균일하지 않습니다. 일부 항목은 강력한 합의를 이끌어내는 반면, 다른 항목들은 심각한 의견 불일치나 상반된 입장을 촉발시킵니다. 기존 문헌은 종종 불일치를 범주형 예측 문제 (예: 불일치 존재 여부에 대한 이진 분류) 로 다루거나 특정 작업 레이블 (예: NLI 함의) 에 초점을 맞춥니다. 그러나 항목 수준의 텍스트 특징만으로 주석 불확실성의 정도와 세분화된 주석 분포 (특히 리커트 척도 평가) 의 전체 구조를 추론할 수 있는지에 대한 연구는 부족합니다. 또한, 분포 형태에 대한 표준 지표 (예: 이분산성 계수) 는 희소한 주석 데이터 (예: 항목당 3~5 명의 주석가) 에 적용될 때 종종 실패합니다.

방법론
저자들은 리커트 척도 평가로 주석이 달린 세 가지 데이터셋 (모욕적 언어 [3 점 척도], 혐오 표현 [3 점 척도], 유해성 [5 점 척도]) 을 사용하여 주석 변이의 예측 가능성을 조사합니다. 본 연구는 두 가지 주요 목적에 초점을 맞춥니다:

1. 평가 분산 추론: 주어진 항목의 텍스트 특징에 기반하여 주석가 응답의 편향되지 않은 분산을 추정합니다.
2. 상반된 의견 식별: 주석가들이 진정으로 상충되는 입장 (양극화) 을 견지하는 사례를 탐지합니다.

이러한 목적을 달성하기 위해 저자들은 두 가지 예측 접근법을 제안합니다:

• 직접 분산 예측: 항목 특징으로부터 분산 값 ($\sigma^2$) 을 직접 예측하도록 회귀 모델을 훈련합니다.
• 분포 기반 예측: 항목에 대한 전체 리커트 평가 분포 ($p_i$) 를 예측하도록 모델을 훈련하며, 이를 통해 분산 및 기타 통계량을 유도합니다.

본 연구는 리커트 데이터의 서열적 성질에 맞춘 여러 손실 함수를 사용하여 표준 범주형 교차 엔트로피를 넘어섭니다:

• 지구 이동 거리 (EMD): 평가 범주 간의 서열적 거리를 고려합니다.
• 평균 정규화를 포함한 EMD: 기대 평가에 대한 평균 제곱 오차 항을 EMD 와 결합하여 중심 경향을 제약합니다.
• 서열 누적 교차 엔트로피: 다중 클래스 문제를 $K-1$개의 이진 결정으로 변환합니다.
• 쿨백 - 라이블러 (KL) 발산: 명시적 서열 거리 고려 없이 소프트 레이블 표현을 위한 기준으로 사용됩니다.

상반된 입장을 정량화하기 위해 저자들은 **대립 지수 (Opposition Index)**를 도입합니다. 이 지표는 평가 분포를 저, 중, 고 세그먼트 ($P_{low}, P_{mid}, P_{high}$) 로 나눕니다. 지수는 $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$로 정의됩니다. 이 값은 0 (합의/단봉형) 에서 1 (최대 양극화, 주석가의 절반이 최저 평가를 선택하고 절반이 최고 평가를 선택하는 경우) 까지 범위를 가집니다.

주요 기여

• 대립 지수: 기존 이분산성 검정이 불안정한 희소 주석 환경에서 관점 대립을 정량화하도록 설계된 새로운 지표입니다.
• 분포 모델링: 서열 인지 손실 함수를 사용하여 전체 리커트 분포를 예측하는 것이 직접 분산 회귀의 실현 가능한 대안임을 입증하였으며, 이는 종종 주석 변이 구조를 더 견고하게 복원합니다.
• 양극화에 대한 실증 분석: 고대립 항목의 예측 가능성에 대한 상세한 조사를 통해 극단적 양극화를 모델링하는 데 있어 특정 어려움을 드러냈습니다.

결과

• 분산 예측: 모든 데이터셋에서 추정된 주석 분산과 관찰된 주석 분산 사이에 중간 정도의 양의 상관관계 (스피어만 $r \approx 0.3$에서 $0.45$) 가 있습니다.
  • 성능: 직접 분산 회귀와 분포 기반 예측 (특히 EMD+MSE 사용) 은 비교 가능한 성능을 달성합니다. EMD+MSE 는 표준 EMD 및 KL-soft 모델보다 일관되게 우수한 성능을 보입니다.
  • 한계: 모델은 고분산 항목을 과소평가하는 경향이 있으며, 분산 값을 정확히 0 으로 예측하는 경우는 드물며, 종종 예측을 중간 범위에 집중시킵니다.
• 상반된 입장 예측: 모델은 대립이 없는 항목과 중간 정도의 대립이 있는 항목을 성공적으로 구분합니다. 그러나 극단적 양극화에서는 어려움을 겪습니다.
  • 과소평가: 실제 대립 지수 값이 높은 항목 (1 에 근접) 은 모델에 의해 빈번히 과소평가되며, 예측 점수는 종종 중간 범위 (약 0.4) 에서 정체됩니다.
  • 원인: 이러한 과소평가는 훈련 데이터 내 극도로 양극화된 예시의 부족, 주석 노이즈에 대한 지수의 민감성, 그리고 극단적 대립이 텍스트만으로는 추론할 수 없는 요인 (이념, 개인적 경험) 에서 비롯될 수 있다는 사실에 기인합니다.
• 불일치 탐지: 모델은 모든 주석 변이의 존재를 탐지하는 데 강력한 성능 (F1 > 0.6) 을 보이지만, 성능은 데이터셋과 손실 함수에 따라 약간씩 달라집니다.

의의 및 주장
본 논문은 항목 수준의 주석 패턴, 특히 분산과 입장 대립이 텍스트 특징으로부터 부분적으로 추론될 수 있음을 주장하지만, 이는 중간 정도의 상관관계로 제한됩니다. 저자들은 자신의 연구를 인간 주석 변이 구조를 특성화하는 한 걸음으로 위치시킵니다.

주요 의의는 실용적인 주석 워크플로우 최적화에 있습니다. 상당한 의견 불일치를 유발할 가능성이 높은 항목을 식별함으로써 연구자들은 자원을 더 효율적으로 배분할 수 있습니다: 잠재적 관점을 포착하기 위해 논쟁적이거나 관점이 다른 사례에 더 많은 주석가를 할당하는 반면, 강력한 합의를 보이는 항목에 대한 노력은 줄이는 것입니다. 또한 본 연구는 극단적 양극화를 포착하는 데 있어 현재 모델의 한계를 강조하며, 사회적으로 복잡한 영역에서 인간 판단을 완전히 모델링하기 위해서는 순수 텍스트 기반 특징만으로는 부족할 수 있음을 시사합니다. 저자들은 겸손하게, 임베딩 모델이 모든 언어적 단서를 포착하지 못할 수 있으며, 희소한 리커트 데이터의 이산적 성질이 분포 추정치의 세분화를 제한한다고 지적합니다.