Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities

기술 요약: 트위치 채팅의 독성: 게임 커뮤니티 전반에 걸친 LLM 기반 분석

문제 제기
온라인 게임 커뮤니티, 특히 트위치와 같은 스트리밍 플랫폼에서는 괴롭힘, 차별, 모욕적 언어 등 독성 행동이 빈번히 발생합니다. 독성은 인정된 과제이지만, 기존 연구는 게임 내 상호작용에 초점을 맞추거나 다양한 게임 커뮤니티와 장르 간 독성 행동의 변이를 세밀하게 다루지 못하는 경우가 많습니다. 현재의 중재 노력은 대부분 사후 대응적이며, 독성의 주관적이고 맥락 의존적인 특성으로 인해 일관되게 정의하고 탐지하기 어렵습니다. 보다 표적화된 중재 전략을 수립하기 위해 특정 게임과 장르에서 독성이 어떻게 나타나는지에 대한 경험적 통찰이 필요합니다.

방법론
저자들은 4,452 개의 트위치 스트림에서 수집된 약 2,020 만 개의 채팅 메시지를 대규모로 분석했습니다. 이 연구는 2024 년 6 월부터 2025 년 11 월까지의 기간을 대상으로 선정된 7 개 트위치 카테고리 내 가장 인기 있는 두 가지 게임에 초점을 맞추고 있습니다.

• 데이터 수집 및 전처리: 데이터는 SullyGnome 를 통해 소싱되었고 TwitchDownloaderCLI 를 사용하여 다운로드되었습니다. 데이터셋에는 29,001 시간의 스트리밍 시간이 포함됩니다. 계산 자원을 최적화하기 위해 저자들은 객관적으로 비독성인 메시지 (예: "hi", "gg", 봇 메시지 등) 를 사전 라벨링하여 분류 파이프라인에서 제외했습니다.
• 분류 접근법: 이 연구는 사전 훈련된 대규모 언어 모델 (LLM), 구체적으로 140 억 파라미터의 Phi4 모델을 사용한 제로샷 (zero-shot) 분류 접근법을 채택했습니다. 이 모델은 성능과 계산 효율성의 균형, 그리고 Llama3 와 같은 모델에 비해 모욕적 콘텐츠 처리를 거부하는 경향이 낮다는 점에서 선택되었습니다.
• 분류 체계: 메시지는 트위치의 공식 중재 분류 체계에 따라 분류되었으며, 이 체계는 괴롭힘, 차별, 성적 콘텐츠, 욕설이라는 4 가지 주요 범주와 괴롭힘, 공격성, 여성 혐오, 욕설 등 8 개의 하위 범주로 구성됩니다.
• 맥락 인식: 독성의 맥락 의존성을 해결하기 위해 추론 시 모델에 이전 10 초 동안의 채팅 메시지라는 시간적 컨텍스트 창을 제공했습니다.
• 검증: 파이프라인의 신뢰성은 인간 - 모델 일치도 연구 (코헨의 카파) 와 TextDetox 데이터셋에서 파인튜닝된 RoBERTa 모델과의 비교를 통해 평가되었습니다.

주요 기여

1. 재현 가능한 파이프라인: 이 논문은 제로샷 LLM 을 사용한 독성 탐지 및 분류를 위한 재현 가능한 파이프라인을 제공하며, TextDetox 벤치마크에서 F1 점수 94.5% 를 달성하여 파인튜닝된 RoBERTa 기준을 약간 상회했습니다.
2. 인간 - 모델 일치도: 이 연구는 LLM 의 인간 평가자와의 일치도 (카파 약 0.53) 가 인간 간 일치도 (카파 약 0.55) 와 유사함을 보여줌으로써, 독성의 주관적 특성에도 불구하고 대규모 분석을 위한 모델의 유효성을 입증했습니다.
3. 세밀한 경험적 분석: 이 작업은 14 개 특정 게임과 4 개 고유한 장르에 걸친 독성 패턴의 상세한 분해를 제공하여, 광범위한 일반화를 넘어 게임별 및 장르별 독성 프로파일을 식별합니다.

결과

• 전체 발생률: 분석된 모든 메시지의 약 2.4% 가 독성으로 분류되었습니다.
• 주요 독성 유형: 괴롭힘이 가장 흔한 주요 범주 (75.6%) 였으며, 그중 괴롭힘 (bullying) 이 가장 일반적인 하위 범주였습니다. 욕설은 종종 다른 독성 행동을 강화하는 보조 레이블로 빈번하게 나타났습니다 (53.0%).
• 게임별 변이: 독성 발생률은 게임에 따라 크게 달라졌습니다. 레드 데드 리뎀프션 II는 가장 높은 독성률 (3.96%) 을 보인 반면, 마인크래프트는 가장 낮았습니다 (0.74%). 주목할 만하게도 카운터 스트라이크 2와 발로란트는 공유된 경쟁 구조로 인해 유사한 독성 분포를 보였으며, 반면 동일한 광범위한 카테고리에 속한 다른 게임들은 뚜렷한 프로파일을 보여주었습니다.
• 장르별 변이: 멀티플레이어 온라인 배틀 아레나 (MOBA) 스트림이 가장 높은 상대적 독성률 (3.2%) 을 보였으며, 이어 싱글 플레이어 슈터 (3.1%) 가 뒤를 이었습니다. 스포츠 게임은 가장 낮았습니다 (2.0%).
• 분포 차이: 괴롭힘과 욕설은 모든 장르에서 공통적이었으나, 싱글 플레이어 슈터 스트림은 다른 장르에 비해 공격성, 여성 혐오, 성적 콘텐츠의 비율이 더 높았습니다. 통계 분석 (PERMANOVA) 은 대부분의 게임과 장르 간 독성 분포에 유의미한 차이가 있음을 나타냈으나, 분산 분석 (PERMDISP) 은 장르 내 변이성도 중요한 역할을 함을 시사했습니다.

의의 및 주장
저자들은 그들의 발견이 독성이 단순히 플랫폼 전반의 현상이 아니라 게임별 커뮤니티 규범과 메커니즘에 의해 크게 형성된다는 경험적 증거를 제공한다고 주장합니다. 이 연구는 다음과 같은 점을 시사합니다:

• 맥락의 중요성: 독성 패턴은 동일한 장르 내의 게임 간에도 크게 달라 "일률적"인 중재 전략은 특정 게임 커뮤니티에 맞춘 전략보다 덜 효과적일 수 있음을 의미합니다.
• 중재 격차: 데이터셋 내 독성 콘텐츠의 존재 (플랫폼 필터링을 통과한 메시지) 는 현재 자동화된 중재 시스템의 한계를 드러냅니다.
• 분류 체계의 한계: 이 연구는 트위치 분류 체계 내 특정 범주 (예: 괴롭힘 대 욕설) 간의 모호성이 분류 불일치에 기여한다고 지적하며, 더 명확한 정의가 일관성을 개선할 수 있음을 시사합니다.

이 논문은 장르가 광범위한 경향을 분석하는 데 유용한 렌즈를 제공하지만, 구체적인 게임과 이를 둘러싼 커뮤니티가 세밀한 독성 변이의 주요 동인이라고 결론지었습니다. 이러한 통찰은 게임 커뮤니티를 위한 보다 표적화되고 효과적인 중재 전략 개발을 지원하기 위해 고안되었습니다.