The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

기술 요약: 고스트 어노테이터(Ghost Annotator) 프레임워크

문제 정의
현재 자연어 처리(NLP) 및 콘텐츠 모더레이션 연구는 모델의 성능 지표에 주로 집중하고 있으며, 불확실성 추정(uncertainty estimation)과 인간 라벨 변이(Human Label Variation, HLV)의 미묘한 차이를 간과하는 경우가 많습니다. HLV는 혐오 표현, 공격성, 유해성과 같은 주관적인 현상에 대해 인간 평가자들 사이에서 발생하는 주석(annotation)의 차이를 의미합니다. 최근의 패러다임은 이러한 다양한 관점을 포착하여 공정성을 높이는 것을 옹호하고 있지만, 여전히 상당한 과제가 남아 있습니다. HLV에 관한 연구 결과들은 데이터셋과 주석 체계 간의 불일치로 인해 제약을 받는 경우가 많으며, 대규모 언어 모델(LLM)을 사용하여 주석 데이터를 생성하는 방식이 확산됨에 따라 불확실성에 대한 관심이 멀어지고 있습니다. 또한, LLM을 주석가로 평가하는 기존 방식들은 진정한 HLV와 주석 오류를 구분하지 못하는 경우가 많으며, LLM은 인간 의견의 다양성을 재현하는 데 어려움을 겪어 특정 인구통계학적 그룹에 편향되거나 공격적인 콘텐츠를 과도하게 차단하는 경향이 있음이 밝혀졌습니다.

방법론
저자들은 **컨포멀 예측(Conformal Prediction)**을 사용하여 인간 주석가와 대비되는 LLM의 행동을 모델링하기 위해 설계된 고스트 어노테이터(Ghost Annotator) 프레임워크를 소개합니다. 이 방법론은 다음과 같은 기술적 단계를 거칩니다:

1. 컨포멀 예측 및 비정합성 점수(Non-Conformity Scores, NCS): 본 프레임워크는 보정된 불확실성 추정치를 생성하기 위해 컨포멀 예측을 활용합니다. 단일 집계 점수 대신, 시스템은 개별 모델-주석가-인스턴스 상호작용에 대한 NCS를 계산합니다. NCS는 모델의 예측이 인간 주석으로부터 도출된 보정 분포(calibration distribution)와 비교했을 때 얼마나 "이례적인지"를 정량화합니다.
2. 고스트 예측(Ghost Prediction) 지표: 집계된 정답(ground truth)에 의존하는 전통적인 정확도 기반 지표를 넘어, 저자들은 고스트 예측을 "모델이 특정 항목에 대한 모든 인간 주석에 존재하지 않는 라벨을 예측하는 비율"로 정의합니다. 이 지표는 모델과 가용한 전체 인간 관점 사이의 괴리를 정량화합니다 합니다.
3. 주석가 표현 (협업 필터링 비유): 추천 시스템의 협업 필터링(Collaborative Filtering, CF)에서 영감을 받아, 본 프레임워크는 인간 주석가와 모델을 3차원 벡터로 표현합니다. 이 벡터들은 NCS 분포의 사분위수로부터 도출됩니다:
   • 인간 주석가: 그들이 주석을 달았던 모든 항목에서 얻은 NCS 값의 분포로 표현됩니다.
   • 고스트 어노테이터 (모델): 모델의 예측이 모든 인간 주석과 일치하지 않는 인스턴스에서 계산된 NCS 값의 분포로 표현됩니다 (고스트 예측).
4. 정렬 분석(Alignment Analysis): 저자들은 고스트 어노테이터 벡터와 특정 사회 인구통계학적 그룹의 인간 벡터 간의 **코사인 유사도(cosine similarity)**를 계산합니다. 이를 통해 모델이 어떤 인간 그룹과 정렬되거나 혹은 그로부터 벗어나는지를 프로파일링할 수 있습니다.

실험 설정
본 프레임워크는 네 가지 콘텐츠 모더레이션 데이터셋(Attitudes (혐오 표현), CADE (수용 가능성), Disentangling (공격성), MHS (폭력))을 대상으로 평가되었습니다. 네 가지 LLM이 테스트되었으며, 두 가지 모델 제품군(Qwen 및 Llama)과 두 가지 규모(1.5B/1B 및 7B/8B 파라미터)를 포함했습니다. Disentangling 데이터셋은 사회 인구통계학적 특성(성별, 연령, 출신 대륙)이 균형 있게 반영되어 있어, 인구통계학적 정렬 분석(RQ2)을 위해 특별히 사용되었습니다.

주요 결과

• 불확실성 및 HLV (RQ1): 모델의 불확례성과 HLV 사이에는 일관성이 존재합니다. 인간 주석가 간의 불일치가 증가함에 따라, 모델의 불확실성(NCS로 측정됨)도 상응하여 증가합니다. 그러나 고스트 예측과 관련하여 역설적인 발견이 나타났습니다. 더 큰 모델일수록 인간이 선택하지 않은 라벨을 예측할 때 작은 모델보다 더 높은 확신(낮은 불확실성)을 보였습니다. 이는 더 큰 모델이 강한 다수 문화 규범(majority-culture norms)을 인코딩하여, 소수 의견이 존재하는 영역에서 확신을 가지고 있으면서도 실제로는 궤를 달리하는 예측을 할 수 있음을 시사합니다.
• 인구통계학적 불일치 (RQ2): 고스트 어노테이터 프레임워크는 견고하고 일관된 인구통계학적 불일치 패턴을 드러냈습니다. 모델 아키텍처(Meta vs. Alibaba), 파라미터 규모(1B ~ 8B), 또는 모델 프로파일링에 사용된 데이터셋에 관계없이, 모델들은 체계적으로 18-30세, 남성, 사하라 이남 아프리카(SSA) 인구통계학적 그룹과 괴리를 보였습니다. 반면, 30-50세, 여성, 오세아니아 그룹과는 가장 높은 정렬을 보였습니다.
• 주석가 풀 크기: Disentangling 데이터셋에서 해당 그룹(SSA)이 가장 큰 인구통계학적 규모($n=169$)를 가졌음에도 불구하고, 이 그룹과의 불일치는 지속되었습니다. 이는 단순히 다양한 주석가의 머릿수를 늘리는 것만으로는 불일치를 해결할 수 없음을 나타내며, 이 편향이 주석 단계에서의 데이터 부족 때문이 아님을 시사합니다.

의의 및 주장
본 논문은 고스트 어노테이터 프레임워크가 (컨포멀 예측을 통해) LLM을 인간 주석의 다양성 공간 내에 위치시키고 평가할 수 있는 통계적으로 보장된 방법을 제공한다고 주장합니다 관찰된 인구통계학적 불일치는 특정 작업 적응(fine-tuning)이나 모델 아키텍처의 산물이 아니라, 사전 학습 코퍼스에 뿌리를 둔 구조적 편향일 가능성이 높다는 것이 핵심입니다.

저자들은 서로 다른 모델 제품군과 규모가 동일한 불일치 패턴으로 수렴한다는 점을 근거로, 이 편향이 작업 특화 적응 이전 단계에 존재한다고 주장합니다. 결과적으로, 본 논문은 데이터셋 수준의 개입(예: 주석가의 다양성 증대)만으로는 모델의 사전 학습 방식이나 적응 방식의 변화 없이 이러한 편향을 해결하기에 불충분하다고 제언합니다. 이 프레임워크는 모델이 콘텐츠 모더레이션을 위한 훈련 데이터 생성 및 증강에 사용되기 전, 이러한 구조적 괴리를 밝혀내는 도구로서 역할을 하며, 보다 의식 있는 LLM 활용을 위한 경로를 제시합니다.