Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation

기술적 요약: 누구와 무엇을? 언어적 특징과 주석자 특성을 활용한 주석 변이 분석

문제 제기
인간 라벨 변이는 자연어 처리 (NLP), 특히 유해 언어 탐지와 같은 주관적 작업에서 중심적인 현상입니다. 최근 데이터 수집 관행은 개별 라벨링 결정을 하나의 '골드' 라벨로 집계하는 대신, 주석자 수를 늘리고 분산된 데이터셋을 공개하는 방향으로 전환되었습니다. 이는 누가 주석을 달았는지 (사회인구통계학적 특성, 태도) 에 대한 풍부한 데이터를 제공하지만, 무엇이 (항목의 언어적 속성) 주석되었는지와 이 두 요소 간의 상호작용은 상대적으로 제한적인 관심을 받아왔습니다. 기존 연구는 종종 항목과 주석자가 중첩되지 않는 요인인 교차 분류된 주석 데이터의 구조를 고려하지 못하며, 주석자 특성과 항목 특징 간의 상호작용을 간과하는 경우가 많습니다. 본 논문은 네 개의 참조 데이터셋에 걸쳐 대규모의 원칙적인 주석 변이 분석을 수행함으로써 "누가 무엇을 어떻게 다르게 인식하는가"에 대한 이해의 격차를 해소합니다.

방법론
저자들은 25,000 개 이상의 항목, 8,000 명의 주석자, 205,000 개의 주석으로 구성된 네 가지 영어 유해 언어 데이터셋 (CTDP, MHS, POPQUORN, D3CODE) 을 분석합니다. 본 연구는 다음과 같은 핵심 요소를 갖춘 베이지안 다층 회귀 프레임워크를 활용합니다:

1. 데이터 구조: 모델은 주석자와 항목 모두에 대한 무작위 절편을 포함하여 부분적으로 교차 분류된 데이터 구조를 고려합니다. 이는 두 수준에서 존재하는 체계적 변이를 처리합니다.
2. 특성 공학:
   • 주석자 특성: 각 데이터셋당 최대 19 개의 특성으로, 사회인구통계학적 요소 (연령, 성별, 인종, 학력 등) 와 태도 (도덕적 기반, 정치적 이념, 항목별 태도) 가 포함됩니다.
   • 언어적 특징: elfen 패키지를 사용하여 추출된 300 개 이상의 특징으로, 표면적 특징, 가독성, 심리언어학적 특징, 품사, 어휘 풍부도, 형태론적 특징, 정보이론적 특징, 의존 관계, 의미론적 특징, 개체명, 감정/감성 특징을 포괄합니다. 또한, 여러 혐오 표현 어휘집에서 파생된 도메인 특화 어휘 신호 (예: 모욕적 표현, 비속어) 가 추출되었습니다.
   • 상호작용: 모델은 주석자 특성 간, 언어적 특징 간, 그리고 결정적으로 주석자와 항목 특징 간의 상호작용을 명시적으로 검증합니다.
3. 모델링 접근법: 예측 변수의 고차원성 (최대 5,264 개의 고정 효과) 과 다중공선성을 처리하기 위해 호스슈 (Horseshoe) 사전 분포를 사용한 베이지안 다층 회귀가 적용됩니다. 이 정규화 접근법은 작고 불확실한 효과를 0 으로 강력하게 축소하여 '생존'하는 효과 (90% 사후 신뢰 구간이 0 과 겹치지 않는 효과) 를 식별할 수 있게 합니다.
4. 실험 시나리오: 분석은 세 가지 현실적인 시나리오에서 수행됩니다:
   • 관련 작업이지만 개념화가 다른 다양한 데이터셋 간 효과 비교.
   • D3CODE 데이터셋을 분할하여 그룹 내 변이를 평가하기 위한 새로운 주석자 시뮬레이션.
   • CTDP 데이터셋을 분할하여 배치 간 안정성을 평가하기 위한 새로운 배치 시뮬레이션.

주요 결과
분석 결과, 주석 변이는 주석자 인구통계학적 특성이나 항목 특징의 단순한 주효과가 아닌 복잡한 상호작용에 의해 주도됨이 드러났습니다:

• 상호작용의 우세: 주석자 특성과 언어적 특징 간의 상호작용이 결정적입니다. 예를 들어, POPQUORN 데이터셋에서 혐오적 단어의 유해성 점수에 미치는 영향은 연령에 따라 크게 달라지며, 고령 주석자일수록 더 강한 상관관계를 보입니다. MHS 데이터셋에서는 이념적 입장이 연령과 상호작용하여 정치적 스펙트럼의 극단에서 특히 뚜렷한 점수 차이를 만들어냅니다.
• 언어적 단서: 어휘적 단서는 여전히 강력한 예측 변수입니다. 부정적 감정, 혐오적/비속어 토큰의 존재, 특정 개체명 (예: 국적, 종교 집단) 과 같은 특징은 일관되게 주석에 영향을 미칩니다. 그러나 구체적인 단서는 데이터셋과 작업에 따라 다릅니다.
• 태도 대 인구통계: D3CODE 시뮬레이션에서 사회인구통계학적 대리 변수 (연령이나 성별 등) 는 종종 주효과로서 생존하지 못했지만, 도덕적 기반 (특히 '배려') 과 항목별 태도 (예: 주석자가 게시물을 삭제해야 한다고 생각하는지 여부) 는 유의미했습니다.
• 교차성: 기존 연구에서 종종 간과되었던 교차적 효과가 식별되었습니다. 예를 들어, MHS 에서 이념과 연령의 상호작용은 보수적 고령 주석자와 진보적 고령 주석자가 콘텐츠를 다르게 평가함을 보여주었는데, 이는 연령이나 이념을 개별적으로 살펴볼 때는 드러나지 않는 패턴입니다.
• 데이터셋 특이성: 효과 패턴은 데이터셋 간에 상당히 다양하게 나타납니다. 부정적 감정은 공통적으로 생존한 요소였으나, 다른 효과들은 데이터셋의 주석 지침, 항목 구성, 주석자 풀에 따라 매우 구체적이었습니다. 이는 한 특정 구성에서 도출된 발견이 다른 구성으로 일반화되기 어렵다는 것을 시사합니다.
• 허위 신호: 분석은 힌두교 주석자가 비표준 토큰 (X 태그) 이 포함된 항목을 덜 혐오적으로 평가한 상호작용과 같은 잠재적 데이터 인공물을 발견했는데, 이는 진정한 언어적 효과라기보다는 표본 추출의 우연에 기인한 것으로 보입니다.

의의와 기여
본 논문은 두 가지 주요 기여를 합니다:

1. 방법론적: 대규모 분산 데이터셋을 분석하기 위한 원칙적인 접근법을 수립하여, 교차 분류된 구조와 고차원 특징 공간을 처리하기 위해 무작위 절편과 정규화를 갖춘 다층 모델의 필요성을 입증합니다. 또한 변이를 분리해내기 위해 상호작용을 모델링하는 것의 중요성을 강조합니다.
2. 실질적: 언어적, 주석자 - 항목 상호작용적, 그리고 교차적 관점에서 유해 언어 탐지 분야의 주석 행동을 대규모로 평가한 최초의 연구를 제공합니다.

저자들은 "누가 무엇을 주석하는가"에 대한 답변이 여러 NLP 커뮤니티에 필수적이라고 주장합니다. 유해 언어 탐지 커뮤니티에게는 특정 항목 유형에 대한 다양한 주석자 대표성을 보장하는 등 더 나은 데이터 수집 전략을 informing 하는 효과 패턴에 대한 통찰을 제공합니다. 인간 라벨 변이 커뮤니티에게는 변이를 이해하고 표적화된 재주석을 안내하기 위해 '누가'와 '무엇'을 모두 고려해야 함을 강조합니다. 마지막으로, 모델링 및 콘텐츠 조정 커뮤니티에게는 라벨 변이를 단순한 노이즈로 취급하지 말 것을 경고합니다. 대신, 특정 그룹이 특정 텍스트 항목을 인식하는 체계적인 차이를 유지하여 미묘한 인식을 평탄화하는 것을 방지하고 모델 훈련에서의 잠재적 허위 교란 변수를 식별해야 합니다.

논문은 다양한 데이터셋과 작업 간 발견의 일반화에 대해 신중할 것을 촉구하며 결론을 맺습니다. 주석은 복잡한 인간 정체성과 특정 언어적 구성 사이의 상호작용적인 과정임을 강조합니다.