ToxSyn-PT: A Synthetic Fine-Grained Dataset of Minority-Targeted Toxic Language in Portuguese

기술 요약: ToxSyn-PT

문제 정의
강력한 혐오 표현 탐지 시스템의 개발은 현재 대규모의 세밀한 학습 데이터, 특히 영어를 제외한 언어들에 대한 데이터의 부족으로 인해 어려움을 겪고 있다. 기존의 포르투갈어 코퍼스는 세 가지 주요 한계를 지닌다: (1) 특정 보호 집단에 대한 다중 레이블 주석보다는 주로 이진(binary) 독성/비독성 레이블에 의존한다; (2) 소수 집단을 언급하는 양호하거나 지지적인 반례(counterexamples)가 부족하여, 진정한 혐오와 단순한 논의를 구분하기 어렵게 만든다; (3) 소셜 미디어 도메인에 국한되어 있어 뉴스 논평이나 공식적인 대화와 같은 다른 맥락에서의 독성 언어 패턴을 포착하지 못한다. 또한, 기존 데이터셋은 심각한 클래스 불균형을 보이며 소수 집단에 대한 중립적이거나 지지적인 언급을 누락하는 경우가 많아, 모델이 혐오의 부재와 지지의 존재 사이의 구분을 학습하는 것을 방해한다.

방법론
이러한 격차를 해소하기 위해, 저자들은 LLM(대규모 언어 모델)을 이용한 제어 가능한 4단계 파이프라인을 통해 생성된 53,274개의 샘플로 구성된 대규모 합성 데이터셋인 ToxSyn-PT를 소개한다. 이 파이프라인은 9개의 보호 소수 집단(흑인, 유대인, 무슬림, 원주민 브라질인, 여성, LGBTQIA+, 노인, 장애인, 이민자)에 걸쳐 균형 잡힌 표현을 보장하도록 설계되었으며, 독성 및 비독성(긍정적/중립적) 샘플을 모두 포함한다.

생성 과정은 다음과 같다:

1. 시드 데이터셋(Seed Dataset): 인컨텍스트 데몬스트레이션 역할을 하는 160개의 인간 작성 예시(흑인과 여성에 대해 각각 40개의 독성/비독성 예시)로 구성된 소규모 세트.
2. 프롬프트 기반 확장(Prompt-Based Expansion): GPT-4o Mini를 사용하여 퓨샷 프롬프팅(few-shot prompting)과 26개의 고유한 담론 유형 템플릿(비독성 14개, 독성 12개)을 통해 9개 대상 그룹 전체에 걸쳐 10,790개의 고유한 문장을 생성한다.
3. 패러프레이즈 증강(Paraphrase Augmentation): 생성된 각 문장은 새로운 수사적 전략(예: 피해자 비난, 긍정적 부정)을 사용하여 두 번 패러프레이즈된다(한 번은 독성 변환, 한 번은 비독성 변환). 이 단계에서는 소수 집단 타겟을 교체하고 출력을 정규화하는 과정도 포함되며, 결과적으로 20,799개의 추가 인스턴스가 생성된다.
4. 풍부화(Enrichment): 확장된 코퍼스를 시드 풀로 사용하는 최종 생성 단계로, 언어적 복잡성을 높이기 위해 두 가지 새로운 암시적 혐오 담론 유형("모호한 편견" 및 "정당화 편견")을 도입한다.
5. 중립 샘플(Neutral Samples): 일반화 성능을 높이기 위해 소수 정체성과 관련이 없는 중립 문장을 생성하는 별도의 증강 모듈을 사용한다.

합성 레이블을 검증하기 위해 블라인드 검수자에 의해 5,208개의 예시로 구성된 인간 주석 테스트 세트가 제작되었다. 저자들은 인간 검수자가 독성 레이블의 약 6%, 타겟 그룹 레이블의 1% 미만을 수정했다고 보고하였으며, 이는 파이프라인의 높은 충실도를 확인시켜 준다.

주요 기여

1. 데이터셋: ToxSyn-PT는 9개의 보호 집단에 대해 명시적으로 설계된 최초의 공개 포르투갈어 다중 레이블 혐오 표현 탐지 코퍼스이다. 이 데이터셋은 비독성 반례(소수 집단에 대한 긍정적/중립적 언급)와 담론 유형 주석(예: 사카즘, 비인간화, 문화적 찬사)을 독특하게 포함한다.
2. 생성 파이프라인: 저자들은 클래스 분포를 조절하고, 저빈도 표현을 주입하며, 다양한 수사적 전략을 생성하기 위해 안전 제약 조건을 적용할 수 있는 제어 가능한 LLM 기반 프레 framework를 제시한다.
3. 평가: 본 논문은 포르투갈어 독성 탐지에 대한 엄격한 평가를 제공하며, 현재 모델들이 매우 도메인 의존적임을 입증한다.

결과
BERTimbau 모델을 미세 조정(fine-tuning)한 실험 결과, 일반적인 소셜 미디어 데이터셋(예: ToLD-BR, HateBR)과 소수 집단 타겟인 ToxSyn 데이터셋 사이에 "파괴적이고 상호적인 일반화 실패(catastrophic, mutual generalization failure)"가 나타났다:

• 도메인 내 성능(In-Domain Performance): 소셜 미디어 데이터로 학습된 모델은 유사한 소셜 미디어 테스트 세트에서 우수한 성능을 보인다(Macro F1: 0.60–0.95). ToxSyn으로 학습된 모델은 자체 테스트 세트에서 잘 작동하며, 번역된 ToxiGen 데이터셋에도 효과적으로 일반화된다(F1: 0.69).
• 도메인 외 실패(Out-of-Domain Failure): 일반 소셜 미디어 데이터로 학습된 모델은 소수 집단 특화 맥락에서의 독성을 탐지하는 데 실패한다(예: ToLD-BR 모델은 ToxSyn의 독성 샘플 2,472개 중 단 10개만을 식별함). 반대로, ToxSyn으로 학습된 모델은 일반 소셜 미디어 코퍼스로 일반화되는 데 실패한다(ToLD-BR에서의 Toxic-Class Recall이 0.17임).
• 그룹별 분류(Group-Specific Classification): 그룹별 작업에서 ToxSyn 학습 모델은 번역된 ToxiGen 세트에서 평균 Macro Recall 0.70, 포르투갈어 Merged 세트에서 0.64를 달이트하며, 노이즈가 많은 도메인 외 맥락으로 지식을 전이하는 능력을 입증한다.

의의 및 주장
본 논문은 ToxSyn-PT가 공공 데이터셋에 비독성 반례가 부족하여 불가능했던 과제, 즉 포르투갈어에서 소수 집단 인지적 독성 탐지 모델을 학습하고 평가할 수 있게 함으로써 중요한 자원 격차를 해소한다고 주장한다.

이 연구의 핵심 발견은 독성 탐지가 단일한 문제가 아니라는 점이다. 소수 집단을 겨냥한 혐오의 수사적, 맥락적 패턴은 일반적인 소셜 미디어의 노골적인 어휘적 단서와 근본적으로 다르다. 따라서 저자들은 Macro F1과 같은 요약 지표가 모델의 특정 타겟 클래스 탐지 실패를 은폐할 수 있기 때문에 매우 기만적일 수 있다고 주장한다. 본 논문은 진정으로 강력한 분류기를 구축하기 위해 향후 벤치마크가 더 세밀한 지표와 다양한 소수 집단 인지 데이터셋을 포함해야 한다고 제언한다. 저자들은 합성 데이터 생성에 관한 재현 가능한 연구를 지원하고, 저자원 및 중자원 언어의 혐오 표현 탐지 발전을 벤치마킹하기 위해 ToxSyn-PT를 공개한다.