기술 요약: reclaimed slur 탐지를 위한 다국어 기반 모델의 지속적 학습

문제 제기

자동화된 콘텐츠 조정 시스템은 특히 LGBTQ+ 맥락에서 혐오 표현과 재창출된 언어를 구분하는 데 심각한 어려움을 겪고 있습니다. 재창출된 slur는 역사적으로 모욕적이었던 용어가 소외된 커뮤니티가 자아 강화와 연대를 위해 재사용한 것입니다. 알고리즘이 이러한 맥락을 인식하지 못할 경우, 해롭지 않은 게시물을 유해한 것으로 잘못 표시하거나 실제 혐오 표현을 놓칠 위험이 있습니다. 본 논문은 영어, 스페인어, 이탈리아어 트윗에서 LGBTQ+ 관련 slur의 재창출 사용과 비재창출 사용을 탐지하는 데 초점을 맞춘 EVALITA 2026 의 MultiPride 과제를 다룹니다.

이 과제는 세 가지 주요 방법론적 장애물로 특징지어집니다:

1. 데이터 부족: 레이블이 지정된 훈련 데이터의 가용성이 제한적입니다.
2. 클래스 불균형: 재창출된 (소수) 과 비재창출된 (다수) 인스턴스 간의 상당한 불균형이 존재하며, 영어의 경우 9% 에서 이탈리아어의 경우 24% 로 다양합니다.
3. 언어 간 변이: 재창출이 표현되는 방식에 대한 문화적, 언어적 차이로 인해 영어의 풍자를 효과적으로 처리하는 모델이 이탈리아어의 문화적 표지를 파악하지 못할 수 있습니다.

방법론

저자들은 데이터 기반 모델 선택, 증강, 도메인 적응, 그리고 임계값 보정을 통해 이러한 과제를 체계적으로 해결하도록 설계된 4 단계 다국어 프레임워크를 제안합니다.

1. 데이터 분석 및 편향 탐지

프레임워크는 언어와 레이블 분포 간의 통계적 관계를 식별하기 위해 기술적 분석과 카이제곱 검정으로 시작합니다. 이 분석은 레이블이 언어 간에 무작위로 분포하지 않음을 확인시켜 주었으며, 이는 언어별 전략의 필요성을 정당화합니다.

2. 기반 모델 선택

여덟 개의 다국어 임베딩 모델을 5 번 층화 교차 검증 방식으로 평가했습니다. 선택 기준은 데이터 분포 변화에 대한 견고성을 보장하기 위해 최대 절대 성능보다 마이크로 평균 F1 점수 안정성을 우선시했습니다.

• 선택된 모델: XLM-RoBERTa-large가 기반 모델로 선정되었으며, 성능과 계산 효율성을 균형 있게 유지하면서 마이크로 평균 F1 점수 0.7553 ± 0.04 를 달성했습니다.

3. 데이터 증강을 통한 귀납적 전이 학습 (RUN 1)

데이터 부족과 클래스 불균형을 완화하기 위해 프레임워크는 다음을 활용합니다:

• 역번역 증강: GPT-4o-mini를 사용하여 원본 트윗을 나머지 두 개 목표 언어로 번역한 후 다시 번역했습니다. 이 "1 대 다" 스키마는 훈련 코퍼스 크기를 3 배로 늘렸으며, 의미 내용을 보존하고 원래 클래스 분포 비율 (9–24%) 을 유지했습니다.
• 동적 에포크 단위 언더샘플링: 맞춤형 배치 샘플러가 훈련 중 1:3 의 긍정 대 부정 비율을 강제합니다. 모든 긍정 인스턴스마다 무작위로 3 개의 부정 인스턴스를 중복 없이 선택합니다. 이 확률적 접근법은 다수 클래스의 붕괴와 과적합을 방지하면서도 모델이 소수 클래스의 구별 특징을 학습하도록 보장합니다.
• 하이퍼파라미터 최적화: Optuna를 사용하여 트리 구조 파라젠 추정기 (TPE) 샘플러와 중앙값 가지치기기를 활용하여 최적의 학습률, 배치 크기, 가중치 감쇠를 효율적으로 탐색했습니다.

4. 도메인 지식 통합 (RUN 2)

이차적 경로는 마스크 언어 모델링 (MLM) 사전 훈련을 통해 도메인별 지식을 도입합니다.

• 기반 모델은 LGBTQ+ 담화 패턴에 대한 표현을 심화시키기 위해 증강된 데이터셋 (15% 토큰 마스킹) 에서 MLM 사전 훈련을 거칩니다.
• 이 적응된 모델은 RUN 1 과 동일한 증강, 언더샘플링, 교차 검증을 사용하는 귀납적 전이 학습 파이프라인으로 미세 조정됩니다.

5. 언어별 임계값 정교화 (RUN 3 및 RUN 4)

모델 신뢰도 점수가 언어 간에 크게 달라진다는 점을 인식하여, 프레임워크는 보편적 결정 임계값 (0.5) 에서 벗어나는 방향으로 이동합니다.

• ROC 분석: 영어, 스페인어, 이탈리아어 검증 세트에 대해 수신자 작동 특성 (ROC) 곡선을 독립적으로 분석합니다.
• 최적화: 각 언어의 마이크로 평균 F1 점수를 최대화하도록 결정 임계값을 조정합니다.
  • 영어: 평균 신뢰도 점수가 더 높아 더 높은 임계값 (~0.58) 이 필요합니다.
  • 이탈리아어: 미묘한 재창출 단서를 포착하기 위해 더 낮은 임계값 (~0.42) 이 필요합니다.
  • 스페인어: 중간 임계값 (~0.50) 이 적용됩니다.
• 적용: RUN 3 은 이러한 임계값을 RUN 1 예측에 적용하고, RUN 4 는 RUN 2 예측에 적용합니다.

주요 결과

프레임워크는 혼합 정밀도 훈련을 사용하는 RTX 4090 워크스테이션에서 평가되었습니다. 네 가지 실험 런은 다음과 같은 통찰을 제공했습니다:

• 성능 향상: 모델 재훈련 없이 임계값 기반 최적화 (RUN 3 및 RUN 4) 는 F1 점수를 2–5% 절대적으로 향상시켰습니다.
• 모델 선택: XLM-RoBERTa-large 는 이 특정 분류 작업에서 밀집 검색 임베딩 (예: multilingual-e5-large, bge-m3) 보다 우수함이 입증되었습니다.
• 증강 효과: 역번역은 중요한 소수 클래스 분포를 보존하면서 데이터셋을 3 배로 성공적으로 확장했습니다.
• MLM 영향: MLM 을 통한 도메인 적응 (RUN 2) 은 언어 의존적 결과를 보여주었습니다. 영어에서는 미미한 개선을 보인 반면, 스페인어와 이탈리아어는 가변적인 반응을 보였는데, 이는 사전 훈련 데이터가 제한된 형태론적으로 풍부한 언어가 정밀한 하이퍼파라미터 조정이 필요한 다른 최적화 지형을 생성함을 시사합니다.
• 오류 분석:
  • 영어: 오류는 종종 풍자나 가설적 담화를 재창출과 혼동하는 경우 (예: slur 사용 허가 여부에 대한 질문) 가 포함되었습니다.
  • 스페인어: slur 가 이성애 규범적 구조에 반대하기 위해 재창출된 활동가 맥락에서 오류가 발생했습니다.
  • 이탈리아어: 시스템은 소집단 연대와 친밀한 언어 사용의 미묘한 문화적 표지를 놓치는 위음성 (false negatives) 에 어려움을 겪었습니다.

중요성과 주장

본 논문은 재창출된 slur 탐지를 위한 다국어 감성 분석에 있어 "일률적" 접근 방식은 불충분하다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 보편적 임계값 거부: 이 연구는 모델 신뢰도와 언어적 변이의 분포적 차이로 인해 최적의 결정 경계가 언어 간에 크게 달라짐을 보여줍니다. 언어별 임계값을 조정하는 것은 성능을 크게 향상시키는 계산 비용이 무료인 방법입니다.
2. 견고한 불균형 처리: 의미 보존 역번역과 동적 언더샘플링의 결합은 공격적인 리샘플링의 부작용 없이 데이터 부족과 클래스 불균형을 효과적으로 해결합니다.
3. 실용적 한계: 저자들은 겸손하게도 프레임워크가 통계적 성능을 향상시키지만, 텍스트 전용 모델은 화용론적 뉘앙스에 어려움을 겪는다고 결론지었습니다. 시스템은 종종 풍자를 재창출과 혼동하거나 (영어) 암묵적 연대를 놓칩니다 (이탈리아어).
4. 미래 방향: 본 논문은 향후 정확도 향상을 위해서는 어휘적 특징에만 의존하는 것이 아니라 이모지, 어조, 사회적 관계 신호와 같은 비언어적 단서와 문화적으로 기반을 둔 담화 모델링을 포함하여 텍스트를 넘어가는 것이 필요하다고 제안합니다.

이 방법론은 제공된 GitHub 저장소를 통해 코드와 실험 설정을 통해 완전히 재현 가능합니다.