P1SCO: Social Dimensions from a Perspectivist Lens

기술적 요약: P1SCO – 관점주의적 렌즈를 통한 사회적 차원

문제 제기
현재 사회 화용론에 대한 계산적 접근법은 종종 언어적 의미를 객관적인 것으로 간주하거나 다양한 해석을 단일한 "진실 (ground truth)"로 축소합니다. 그러나 언어는 본질적으로 관점적이며, 사회적 의미는 해석자의 문화적 배경, 개인적 경험, 정체성에 의해 형성됩니다. Choi 등 (2020) 의 선구적인 연구와 같은 이전 데이터셋은 레이블의 집계 (문장별 총계만 보고), 단일 플랫폼 (레딧) 에 대한 의존성, 그리고 주석자 메타데이터의 부재로 인해 제한적입니다. 이러한 집단은 사회적 인식의 정당한 변이를 흐리게 하여, 주석자 간의 불일치를 의미 있는 신호가 아닌 노이즈로 취급합니다. 개별 주석자의 관점을 보존하고, 플랫폼 간 변이를 포착하며, 사회적 차원 레이블을 주석자의 인구통계학적 특성과 성격 특성과 연결하는 데이터셋이 필요합니다.

방법론
저자들은 사회 화용론에 대한 관점주의적 접근법을 실현하기 위해 고안된 P1SCO(대화의 10 가지 사회적 차원에 대한 관점) 데이터셋을 소개합니다.

• 데이터 수집: 이 데이터셋은 인스타그램, 유튜브, 레딧이라는 세 가지 서로 다른 플랫폼에서 각각 2,000 개씩 총 6,000 개의 고유한 댓글로 구성됩니다. 댓글은 20~100 단어 사이이며 이모지가 없고 영어로 작성된 것으로 필터링되었습니다. 표본 추출 전략으로는 인스타그램 인플루언서 데이터셋, 무작위 ID 생성을 활용한 유튜브 검색 API, 그리고 푸시시프트 (Pushshift) 레딧 데이터셋이 사용되었습니다.
• 주석 프레임워크: 단일 레이블을 강요했던 이전 연구들과 달리, P1SCO 는 주석자들이 Choi 등 (2020) 이 정의한 10 가지 사회적 차원 (지식, 권력, 지위, 신뢰, 지지, 로맨스, 유사성, 정체성, 재미, 갈등) 의 집합에서 여러 개의 레이블을 할당할 수 있도록 합니다. 주석자들은 또한 "기타"(구체적 명시 포함) 또는 "없음"을 선택할 수도 있습니다.
• 주석자 모집 및 메타데이터: 영국과 미국에서 Prolific 을 통해 543 명의 참여자가 모집되었습니다. 데이터 품질을 보장하기 위해 연구는 Prolific 프로필과 인구통계학적 일관성을 검증하고, 완료 시간을 기준으로 이상치를 필터링했으며, 주석자 간 일치도 검사를 위해 중복 예시를 포함시켰습니다.
• 주석자 프로파일링: 레이블링 전에 참여자들은 사회인구통계학적 설문지와 10 항목 Big Five 성격 검사 (Rammstedt and John, 2007) 를 완료했습니다. 이를 통해 28,775 개의 주석 데이터를 성별, 연령, 국적, 정치적 성향, 교육, 인종, 그리고 성격 특성과 같은 구체적인 주석자 특성과 연결하는 풍부한 메타데이터 세트를 생성했습니다.
• 분석: 저자들은 주석자 특성이 레이블 할당을 어떻게 예측하는지 조사하기 위해 혼합 효과 로지스틱 회귀 모델을 사용했습니다. 일치도는 쌍별 코헨의 $\kappa$(관점적 작업에서 국소적 일치를 포착하기 위해 크립펜도르프의 $\alpha$보다 선호됨) 를 사용하여 측정되었으며, 전체적으로 그리고 인구통계학적 그룹 및 플랫폼별로 층화하여 분석되었습니다.

주요 결과

• 레이블 분포: 데이터셋은 매우 편향되어 있습니다. 지식(38.2%), 지지(28.4%), 유사성(25.7%) 이 가장 빈번한 레이블입니다. 로맨스, 권력, 신뢰는 상대적으로 드뭅니다. 대부분의 예시에는 최소 두 가지 이상의 중첩된 차원이 포함되어 있어, 사회적 상호작용이 단일 렌즈를 통해 해석되는 경우는 드물음을 나타냅니다.
• 플랫폼 효과: 플랫폼 맥락은 인식에 상당한 영향을 미칩니다. 유튜브와 레딧은 지식, 유사성, 갈등이 지배적인 유사한 분포를 보입니다. 반면 인스타그램 상호작용은 지지, 유사성, 지위로 특징지어지며, 로맨스의 비율이 notably 높고 "없음" 레이블의 비율은 낮습니다.
• 인구통계학적 및 성격적 영향:
  • 성별: 남성 주석자는 여성보다 예시당 할당된 레이블 수가 유의미하게 많았습니다. 전체적인 일치도는 중간 수준이었으나, 레이블 선택에서의 성별 차이는 특히 레딧과 유튜브에서 유의미했습니다. 분석은 탠 (Tannen) 의 "성별 언어 (genderlects)"에 대한 지각적 유사체를 드러냈습니다: 남성은 상호작용을 권력이나 갈등으로 해석할 가능성이 더 높았으며, 여성은 동일한 상호작용을 지지, 신뢰, 또는 유사성으로 레이블링할 가능성이 더 높았습니다.
  • 성격: Big Five 특성과 레이블 할당 간의 상관관계는 일반적으로 약하지만 통계적으로 유의미했습니다. 예를 들어, 개방성은 지식 주석과 modest한 양의 상관관계를 보였으며, 성실성은 지지와 약하게 연관되었습니다.
  • 일치도: 동질적인 인구통계학적 그룹 (예: 동일한 성별 또는 국적) 은 일반 인구보다 그룹 내 일치도가 더 높게 나타났으며, 이는 공유된 경험이 수렴적인 해석 틀을 생성함을 시사합니다.
• 모델링: 혼합 효과 모델은 출처 플랫폼이 레이블 할당의 가장 강력한 예측 변수임을 확인했으며, 그다음으로 사회인구통계학적 요인 (특히 성별, 연령, 교육) 이 뒤따랐습니다.

의의 및 기여
이 논문은 세 가지 주요 기여를 주장합니다:

1. 최초의 관점주의 데이터셋: P1SCO 는 "진실 (ground truth)" 패러다임을 넘어선 풍부한 주석자 메타데이터와 연결된 집계되지 않은 다중 레이블 사회적 차원 주석을 제공하는 최초의 데이터셋입니다.
2. 관점주의에 대한 경험적 증거: 이 연구는 인구통계학적 특성과 성격 특성이 사회적 차원이 어떻게 인식되고 레이블링되는지를 체계적으로 형성함을 보여줍니다. 불일치는 오류가 아닌 사회적 인식의 진정한 다양성을 반영하는 것으로 재해석됩니다.
3. 방법론적 지침: 저자들은 개별 관점을 명시적으로 보존하고, 주석자 특성을 모델링하며, 인구통계학적 구성을 투명하게 보고하는 관점주의 주석을 위한 프레임워크를 제공합니다.

한계
저자들은 몇 가지 제약을 인정합니다:

• 해석적 성격: 레이블은 객관적인 텍스트 속성이 아닌 주석자의 인식을 반영하므로, 분류를 위한 결정적인 진실로 사용되는데 제한이 있습니다.
• 인지적 부하: 10 가지 차원을 식별하는 작업은 인지적으로 요구가 높으며, 명시적 근거의 부재는 불일치 뒤에 있는 추론에 대한 통찰을 제한합니다.
• 다양성: 주석자 풀은 미국과 영국으로 제한되어 있으며 인종적 다양성이 부족하여 데이터셋의 문화적 범위를 제한합니다.
• 일반화 가능성: 발견된 결과는 세 가지 표본 플랫폼에 국한되며 다른 소셜 미디어 맥락으로 확장되지 않을 수 있습니다.
• 레이블 편향: 특정 차원 (예: 로맨스, 권력) 의 희소성은 재샘플링 없이 균형 잡힌 지도 학습 모델의 훈련을 도전하게 만드는 편향된 분포를 생성합니다.

결론
P1SCO 는 사회적 의미가 균일한 것이 아니라 개인적 및 상황적 필터를 통해 수행되고 해석됨을 확립합니다. 주석자 수준의 변이를 보존함으로써, 이 데이터셋은 다양한 개인들 사이에서 사회적 목표가 어떻게 전달되고 이해되는지 연구할 수 있게 하며, 주석자 간 및 주석자 내 일치도와 정체성이 사회적 담론에 미치는 영향에 대한 향후 연구를 지원합니다.