기술 요약: PSK@EEUCA 2026

문제 정의

본 논문은 게임 커뮤니티 내 유해 행동을 이해하는 EEUCA 2026 공유 작업을 다루며, 특히 World of Tanks 채팅 메시지의 분류에 초점을 맞춥니다. 목표는 메시지를 다음 여섯 가지 명확한 클래스로 분류하는 것입니다:

1. 비유해 (Non-toxic) (정상/긍정적 의사소통)
2. 모욕/화난 공격 (Insults/Flaming) (기술에 대한 개인적 공격)
3. 기타 모욕적 (Other Offensive) (부적절하지만 직접적인 공격은 아님)
4. 혐오/괴롭힘 (Hate/Harassment) (정체성 기반 학대)
5. 협박 (Threats) (폭력/해악 위협)
6. 극단주의 (Extremism) (혐오 이념/인간성 말살)

이 작업은 극단적인 클래스 불균형 (비유해 81% 대 위협 및 극단주의 <0.2%), 게임 특유의 은어와 비공식적인 짧은 텍스트, 다국어 콘텐츠, 그리고 카테고리 간의 미묘한 차이 (예: 기술 기반 비판 대 정체성 기반 혐오) 를 포함하는 상당한 도전을 제시합니다.

방법론

저자들은 다양한 아키텍처와 전략을 탐구하여 최종적으로 최상위 성능을 내는 시스템에 대한 특정 구성으로 수렴했습니다.

모델 아키텍처 및 파인튜닝

• 베이스 모델: 최종 시스템은 Llama 3.1 8B를 활용합니다.
• 효율성: 모델은 4 비트 NF4 양자화와 LoRA (Low-Rank Adaptation) (rank=16, alpha=64) 를 사용합니다.
• 프롬프트 엔지니어링: 유사한 유해 카테고리 간 (예: "모욕"과 "혐오/괴롭힘" 구분) 모델이 구분할 수 있도록 구조화된 클래스 정의가 입력 앞에 추가되었습니다.
• 테스트된 대체 아키텍처: XLM-RoBERTa Large (전체 파인튜닝), Gemma 2B, Gemma 12B (둘 다 LoRA 적용).

합성 데이터 증강 전략

방법론의 핵심 요소는 클래스 불균형을 해결하기 위한 합성 데이터 증강의 사용이었습니다.

• 생성: 합성 데이터는 LLM 기반의 문장 재구성을 통해 생성되었으며, 특히 소수 클래스 (클래스 2~5) 를 대상으로 했습니다. 생성 과정은 재작성된 메시지가 자연스러운 게임 은어와 약어를 사용하면서도 정확한 의미와 유해성 수준을 유지하도록 엄격한 템플릿을 사용했습니다.
• 필터링: 합성 풀은 라벨 누출 방지 정규식 필터링과 임베딩 기반 중복 제거를 포함한 엄격한 정제를 거쳤습니다.
• 보정: 저자들은 5% 의 좁은 최적 비율이 합성 데이터에 적합함을 발견했습니다.
  • <5%: 테스트 전이 (transfer) 를 개선하기에 불충분함.
  • >5% (7–15%): 합성 패턴에 대한 과적합을 초래하고 테스트 성능이 크게 저하됨.
• 분배: 5% 비율 (약 1,921 개 예시) 은 훈련 분할에만 추가되었으며, 검증 세트는 100% 실제 데이터로 유지되었습니다.

대체 접근법 (성능 저하)

여러 전략이 탐구되었으나 열악한 결과를 낳았습니다:

• 계층적 분류: 2 단계 접근법 (유해/비유해 이진 분류 후 다중 클래스 분류) 은 큰 일반화 격차 (0.67 Val F1 → 0.47 Test F1) 를 초래했습니다.
• One-vs-Rest: 공격적인 오버샘플링을 사용한 6 개의 이진 분류기는 너무 보수적이었습니다.
• 앙상블 방법: 확률 평균화 및 투표는 단일 최상위 모델이 모든 클래스를 지배했기 때문에 일반적으로 성능을 저하시켰습니다.
• 전이 학습: Dota 2 유해성 데이터로 사전 학습하는 것은 "검증 함정 (validation trap)"을 초래했습니다.

주요 결과

이 시스템은 테스트 세트에서 F1-macro 점수 0.6234를 달성하여 참가 35 개 팀 중 4 위를 기록했습니다.

• 성능 비교:
  • Llama 8B + 5% 합성 데이터: 0.6234 Test F1 (최고)
  • Llama 8B (합성 데이터 없음): 0.5971 Test F1
  • Gemma 12B: 0.52 Test F1 (0.66 Val F1 임에도 불구하고)
  • XLM-RoBERTa Large: 0.30 Val F1
• 클래스별 성능: 성능은 클래스 빈도와 상관관계가 있었습니다. 모델은 비유해 (0.94) 와 극단주의 (0.86) 에서 높은 점수를 기록했으나, "기타 모욕적" (0.44) 과 "혐오/괴롭힘" (0.43) 에서는 어려움을 겪었습니다.

"검증 함정 (Validation Trap)" 현상

본 논문의 중요한 기여는 **"검증 함정"**을 식별한 것입니다.

• 관찰: 높은 검증 F1 점수를 달성한 모델들은 종종 훈련/검증 분포 (81% 비유해 클래스를 크게 우대) 에 부합하는 보수적인 예측을 함으로써 그렇게 달성했습니다.
• 결과: 이러한 모델들은 다른 주석 패턴이나 이동된 분포를 가진 것으로 보이는 테스트 세트에서는 성능이 저하되었습니다.
• 증거: Gemma 12B 모델은 0.66 Val F1 을 달성했으나 0.52 Test F1 로 떨어졌습니다. 마찬가지로 2 단계 접근법은 0.67 Val F1 에서 0.47 Test F1 로 하락했습니다.
• 해결: 5% 합성 데이터 접근법은 소수 클래스 (특히 클래스 2 와 3) 에 대해 예측을 약간 더 "공격적"으로 만들어 테스트 성능을 향상시켰으며, 이는 검증 F1 의 약간의 하락 (0.6554 에서 0.6271 로) 이 있었음에도 테스트 분포와 더 잘 부합했습니다.

중요성 및 주장

본 논문은 다음과 같은 주요 중요성을 주장합니다:

1. 이 특정 작업에서 더 작은 (2B) 및 더 큰 (12B) 모델 모두보다 Llama 3.1 8B 의 유효성 입증.
2. 합성 데이터 비율의 결정적 민감성 식별, 즉 정밀한 5% 증강이 최적이며 편차가 성능을 크게 저하시킨다는 점.
3. 불균형하고 도메인 특화된 작업에서 높은 검증 지표가 실제 일반화 대신 분포 매칭을 반영할 경우 오해의 소지가 있음을 경고하는 "검증 함정" 강조.
4. 단일 모델이 이미 클래스 전반의 성능을 지배할 때 앙상블 방법이 항상 유익한 것은 아님을 확립.

저자들은 그들의 접근 방식이 데이터셋의 심각한 불균형과 주석 이동을 성공적으로 극복하여 상위 4 위를 달성했다고 결론지었으며, 동시에 "검증 함정"의 데이터셋 특정적 성격과 더 큰 모델의 탐구를 방해한 계산적 제약에 관한 한계를 지적했습니다.