Who Decides What Is Harmful? Content Moderation Policy Through A Multi-Agent Personalised Inference Framework

기술 요약: "무엇이 해로운지 누가 결정하는가? 다중 에이전트 개인화 추론 프레임을 통한 콘텐츠 중재 정책"

문제 제기
현재의 자동화된 콘텐츠 중재 시스템은 모든 사용자에게 보편적인 임계값을 적용하는 중앙집중식, 상향식 규칙에 의존합니다. 이러한 접근 방식은 해악 인식의 주관적 성격을 고려하지 못합니다. 즉, 동일한 콘텐츠도 개인의 문화적, 사회적, 이념적 배경에 따라 혐오스럽거나, 유머러스하거나, 수용 가능한 것으로 인식될 수 있기 때문입니다. 추천 시스템은 참여도를 높이기 위해 개인화를 발전시켜 왔지만, 종종 사용자 복지나 충돌하는 지표를 최적화하거나 콘텐츠 노출에 대한 세밀한 제어 기능을 제공하지 못합니다. 이 논문은 플랫폼에서 사용자로 통제권을 이양함으로써 개인이 유해 콘텐츠에 대한 자신의 '민감도 프로파일'을 정의할 수 있는 확장 가능한 사용자 주도 필터링 메커니즘의 부재를 중요한 격차로 지적합니다.

방법론: PRISM 프레임워크
저자들은 개인별 민감도 프로파일에 기반하여 콘텐츠 필터링을 동적으로 적응시키는 사용자 루프 내 프레임워크인 PRISM(중재를 위한 개인화 추론 및 추론 시스템) 을 제안합니다. 시스템 아키텍처는 세 가지 주요 단계로 구성됩니다:

1. 사용자 프로파일 구축 및 관리:

   • 각 사용자 프로파일 ($P_u$) 은 확립된 혐오 표현 분류 체계에서 유래한 유해 콘텐츠의 10 가지 차원 (예: 감정, 존중, 모욕, 비인간화, 폭력, 집단 학살) 에 걸쳐 차원별 임계값과 가중치를 유지합니다.
   • 새로운 사용자는 인구 수준의 중앙값 임계값으로 시작합니다. 사용자가 명시적인 피드백 (콘텐츠를 모욕적이거나 중립적으로 플래그 지정) 을 제공함에 따라 시스템은 지수 이동 평균 (EMA) 학습 알고리즘을 사용하여 프로파일을 업데이트합니다.
   • 시스템은 피드백 양을 기반으로 신뢰도 점수 ($\kappa_u$) 를 계산하며, 약 100 회 상호작용 후 신뢰도가 1 에 가까워짐에 따라 인구 사전 확률에서 학습된 사용자 선호도로 의존도를 전환합니다.
   • 차원 가중치는 심각도 점수의 분산을 기반으로 계산되어, 사용자가 일관된 민감도를 보이는 차원을 우선시합니다.

2. 다중 에이전트 추론 엔진:
   핵심 추론은 인간의 숙의적 판단을 모방하기 위해 조정된 대형 언어 모델 (LLM) 에이전트 세트에 분산되어 있습니다:

   • 관리자 에이전트: 콘텐츠를 분석하고 콘텐츠 특성에 따라 1~3 개의 관련 전문 에이전트를 선택하며 동적이고 개인화된 프롬프트를 생성함으로써 파이프라인을 조정합니다. 이는 수치적 임계값을 '매우 민감함'과 같은 의미적 기술자로 변환하여 전문가들을 안내합니다.
   • 전문 에이전트: 사회학자, 언어학자, 심리학자와 같은 전문 에이전트는 도메인별 분석을 제공합니다. 예를 들어, 사회학자 에이전트는 정체성 기반 차별에 초점을 맞추는 반면, 심리학자 에이전트는 정서적 고통의 잠재력을 평가합니다.
   • 고스트 프로파일 에이전트: 전문가 에이전트 간 이견이 발생할 때 특정 사용자의 관점을 시뮬레이션하기 위해 생성된 동적 에이전트입니다. 이는 학습된 사용자 민감도 임계값과 엄격하게 일치하는 동점 결정자 역할을 합니다.
   • 종합 에이전트: 호출된 모든 에이전트의 추론, 결정 및 신뢰도 점수를 집계하여 최종 이진 분류 (혐오/중립) 를 생성합니다.

3. 콘텐츠 필터링 워크플로우:
   새로운 콘텐츠를 수신하면 시스템은 사용자의 프로파일을 로드하고 다중 에이전트 평가를 조정하며, 최종 가중치 결정 점수를 사용자의 개인화 임계값과 비교합니다. 임계값을 초과하는 콘텐츠는 숨겨지고, 그렇지 않으면 표시됩니다.

주요 기여

• 관점 기반의 진실 (Perspectivist Ground Truth): 이 논문은 해악성을 객관적 속성이 아닌 사용자 의존적 구성으로 재정의하여, 집계된 합의가 아닌 개인 수준의 주석을 기반으로 진실 (ground truth) 을 정의합니다.
• 다중 에이전트 개인화 아키텍처: 이는 도메인별 전문가 추론과 사용자 관점을 시뮬레이션하는 '고스트 프로파일' 에이전트를 결합한 새로운 아키텍처를 도입하여, 다차원적 해악을 포착하는 데 있어 단일 분류기의 한계를 해결합니다.
• 동적 학습 메커니즘: 시스템은 적응형 학습률과 온라인 학습을 사용하여 사용자 프로파일을 지속적으로 정제하며, 변화하는 사용자 민감도와 맥락에 따라 시스템이 진화할 수 있도록 합니다.
• 정책 프레임워크: 저자들은 사용자 자율성과 플랫폼 안전 사이의 균형을 맞추는 플랫폼 거버넌스를 위한 설계 원칙을 제안하며, 심각한 독성 콘텐츠에 대한 '옵트아웃 (opt-out)' 메커니즘과 프로파일 생성을 신뢰할 수 있는 커뮤니티 개체에 위임하여 사용자 부담을 줄이는 방안을 제시합니다.

결과
이 시스템은 7,912 명의 사용자가 주석을 단 39,565 개의 댓글을 포함하는 Measuring Hate Speech 데이터셋을 사용하여 평가되었으며, 이를 통해 '매우 엄격'에서 '매우 관대'까지 다양한 심각도 수준을 나타내는 100 개의 고유한 합성 사용자 프로파일을 구축할 수 있었습니다.

• 실험 1 (보편적 vs. 개인화): PRISM 다중 에이전트 시스템은 매크로 평균 F1 점수 **81.5%**를 달성하여 보편적 기준 (61.8%) 대비 31.9% 상대적 개선을 보였으며, 단일 에이전트 개인화 기준 (74.5%) 대비 7.0 퍼센트 포인트 개선되었습니다. 다중 에이전트 접근 방식은 정밀도 (85.2%) 를 크게 향상시켜, 전문가 분해가 오탐지를 효과적으로 줄임을 시사합니다.
• 실험 2 (최첨단 모델과의 비교): PRISM 은 동일한 데이터셋에서 최첨단 비개인화 트랜스포머 모델 (BERTweet, TimeLMs, RoBERTa, BERT) 보다 우수한 성능을 보였습니다. 가장 근접한 경쟁자인 BERTweet(80.5%) 을 1.0 퍼센트 포인트 상회하여, 사용자별 적응이 아키텍처의 정교함이나 도메인별 사전 학습 이상의 가치를 제공함을 입증했습니다.
• 실험 3 (학습 역학): 시스템은 두 번의 피드백 상호작용만으로도 보편적 기준을 상회하는 빠른 수렴을 보여주었습니다. 이는 시스템이 '콜드 스타트' 문제를 완화하여 긴 보정 기간 없이도 즉각적인 혜택을 제공함을 나타냅니다.

의의 및 주장
이 논문은 개인화되고 사용자 루프 내의 중재가 기술적으로 실현 가능하며 사회적으로 바람직하다고 주장합니다. 주관적 민감도 프로파일에 중재 결정을 근거로 삼음으로써, 이 프레임워크는 플랫폼 거버넌스와 개인 역량 강화 사이의 간극을 메웁니다. 저자들은 이 접근 방식이 해악성이 보편적 정책을 통해 심판되어야 한다는 가정에 도전한다고 논합니다. 경험적으로, 결과는 사용자별 정보를 통합하는 것이 인구 통계학적 그룹 전반의 모델 성능과 공정성을 크게 향상시킨다고 시사합니다. 이론적으로, 이 연구는 개인 디지털 권리와 복지와 중재 정책을 조화시키는 확장 가능한 경로를 제시하며, 인간 중심의 하이브리드 콘텐츠 중재에 대한 이해를 발전시킵니다. 저자들은 장기적 수렴에 대해서는 겸손한 태도를 유지하며, 평가가 초기부터 중기 적응 regimes 에 초점을 맞췄음을 지적하고, 향후 작업에서 사용자 자율성과 안전 관리의 인지적 부담 사이의 균형을 맞추는 필요성을 강조합니다.