GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages

기술 요약: TextDetox CLEF 2025의 GemDetox

문제 정의
본 논문은 특히 PAN 2025 다국어 텍스트 정화(Text Detoxification) 챌린지의 맥락 내에서, 소셜 미디어 플랫폼을 위한 자동 텍스트 정화의 시급한 필요성을 다룹니다. 이 과제는 독성이 있는 단일 문장 입력을 의미를 보존하면서 중립적인 패러프레이즈(paraphrase)로 재작성하는 것을 목표로 하며, 15개의 유형론적으로 다양한 언어를 대상으로 합니다. 이 챌린지는 "명시적 독성"(의미 있는 중립적 내용을 포함하는 비속어나 공격적 어휘)으로 제한되며, 풍자나 암호화된 혐오 표현과 같은 암시적 독성은 제외됩니다. 핵심적인 어려움은 고자원 언어(예: 영어, 스페인어)와 저자원 언어(예: 타타르어, 힌글리시, 암하라어) 사이의 불균형에 있으며, 데이터 부족은 종종 모델 성능을 저해합니다.

방법론
저자들은 12B 파라미터 규모의 Gemma-3 다국어 트랜스포머를 기반으로 구축된 시스템인 "GemDetox"를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 구조화되어 있습니다:

1. 데이터 구축 및 증강:

   • 인간 작성 데이터: 시스템은 9개 언어에 걸쳐 3,600개의 독성-중립 병렬 쌍을 포함하는 주최 측 제공 ParaDetox-9 코퍼스를 활용합니다.
   • 기계 번역 확장: 원래 코퍼스에 없는 6개 언어(이탈리아어, 프랑스어, 히브리어, 힌글리시, 일본어, 타타르어)를 커버하기 위해, 저자들은 RLM-Hinglish와 NLLB-200을 사용하여 3,600개의 기존 쌍을 모두 번역하여 21,600개의 합성 쌍(ParaDetox-MT6)을 생성했습니다.
   • 합성 생성: 추가적인 감독 학습은 다국어 독성 데이터셋으로부터 도출되었습니다. 모델은 독성만 있는 문장에 대해 중립화 후보를 생성했으며, 이는 어휘적 차이와 의미 보존을 보장하기 위해 자카드 유사도 임계값(기계 번역의 경우 $\ge 0.90$, 합성 데이터의 경우 $\ge 0.80$)을 기준으로 필터링되었습니다.
   • 맥락적 풍부화: 훈련 및 추론 과정에서 입력값은 LaBSE로 검색된 세 개의 의미론적 이웃과 규칙 기반 탐지기를 통해 추출된 명시적 독성 구간(toxic-span) 주석으로 풍부하게 구성되었습니다.

2. 모델 아키텍처 및 훈련:

   • 기반 모델: 24 GB VRAM 내에 적합하도록 4비트 정밀도로 양자화된 Gemma-3-12B-Instruct입니다.
   • 매개변수 효율적 미세 조정(PEFT): 저자들은 랭크(rank)가 16인 LoRA(Low-Rank Adaptation)를 채택하여 전체 파라미터의 0.55%(약 6,500만 개)만을 훈련 가능하게 했습니다. 어댑터는 모든 언어, 어텐션 및 MLP 서브 모듈에 삽입되었습니다.
   • 3단계 훈련 전략:
     • 1단계: 기초적인 정렬을 확립하기 위해 15개 모든 언어에 걸친 미세 조정 수행.
     • 2단계: 병렬 인간 주석이 부족한 언어들에 대한 특화된 미세 조정을 통해 파괴적 간섭(catastrophic interference) 방지.
     • 3단계 (고품질 합성 데이터 미세 조정): 성능을 더욱 정교화하기 위해 (Jaccard > 0.9로 필터링된) 고품질 합성 데이터로 미세 조정 수행.
   • 프롬프팅 전략: 시스템은 4단계의 생각의 사슬(Chain-of-Thought, CoT) 프롬프트 지침(독성 식별, 의미 검색, 중립적 재작성, 비독성 검증)과 훈련 코퍼스에서 검색된 세 개의 의미론적으로 가장 가까운 이웃을 활용한 퓨샷(few-shot) 예시를 결합하여 사용합니다.

3. 추론:

   • 시스템은 입력당 세 개의 후보 재작성문을 샘플링합니다. 최종 출력은 스타일 전이 정확도(STA), 내용 보존(LaBSE를 통한 SIM), 유창성(xCOMET)을 사용하여 계산된 결합 점수($J$)가 가장 높은 것을 기준으로 선택됩니다.

주요 결과

• 자동 평가: GemDetox 시스템은 고자원 및 저자원 언어 그룹 모두에서 전체 1위를 차지했습니다. 인간 주석 데이터가 있는 언어에서는 0.685의 결합 점수($J$)를, 없는 언어에서는 0.643을 달축했습니다.
  • 독일어($J=0.798$)와 프랑스어($J=0.802$)에서 성능이 정점에 달했습니다.
  • 절제 연구(Ablation studies)에 따르면 퓨샷 예시는 결합 점수를 +0.081 증가시켰고, 기본적인 CoT 프롬프팅은 +0.088을 추가했습니다.
• LLM-as-a-Judge 평가: 인간의 선호도에 따라 훈련된 Llama-3.1-8B-Instruct를 판사로 사용하여 재평가했을 때, 시스템의 순위는 두 서브그룹 모두에서 3위로 하락했으며 평균 $J$는 0.7669였습니다. 이는 "골든 어노테이션(Golden Annotation)" 점수인 0.8233보다 현저히 낮았으나, 다른 상위 팀들과 비교하여 경쟁력 있는 수준이었습니다.
• 통계 분석: ANOVA 분석 결과, "언어 자원 상태"가 가장 강력한 예측 변수($\eta^2 = 0.667, p < 0.01$)였으며, 그 다음은 계통적 친연성($\eta^2 = 0.592$)이었습니다.

의의 및 주장
본 논문은 매개변수 효율적 미세 조정이 대규모 다국어 모델과 결합되고 전략적 데이터 증강 및 프롬프팅이 더해질 때, 독성 제거 작업에서 고자원 언어와 저자원 언어 사이의 성능 격차를 효과적으로 메울 수 있음을 입증하는 것이 주요 기여라고 주장합니다.

저자들은 자신들의 접근 방식이 자동화된 결과에서 강한 성과를 거두었지만, 데이터 증강의 이점은 "그것을 위해 설계된 저자원 언어들에서 특히 두드러졌다"고 겸허히 언급했습니다. 또한 시스템의 성능이 사전 훈련된 Gemma-3 모델의 기본 능력에 크게 의존하고 있음을 인정하는데, 이는 제로샷(zero-shot) mT0 베이스라인이 이미 경쟁력 있는 점수(0.675)를 달성했기 때문입니다.

논문은 시스템이 저자원 언어를 위한 격차를 성공적으로 좁혔음에도 불구하고, 질적 분석을 통해 다음과 같은 지속적인 과제들이 드러났음을 강조합니다:

• 힌글리시(Hinglish)와 같은 혼합 스크립트 언어에서의 복합 독성 감지 실패.
• 암하라어(Amharic)와 같은 매우 낮은 자원의 언어에서 발생하는 무의미한 출력 생성.
• 정치적으로 민감한 맥락(예: 히브리어)에서의 과잉 또는 과소 정화로 이어지는 독성 정의의 모호성.

저자들은 견고한 독성 제거를 위해서는 사전 훈련, 사후 훈련 및 평가 단계에서의 편향 인식 적응(bias-aware adaptation)이 필요하다고 결론지으며, 파운데이션 모델의 훈련 코퍼스에 존재하는 구조적 편향은 되돌릴 수 없으며 다운스트림 단계에서 완화될 수 있을 뿐이라고 언급했습니다. 이들은 향후 연구가 창의적 은폐(creative obfuscation)와 신생 슬랭을 해결하기 위해 선호도 기반 최적화(예: DPO, GRPO) 및 다단계 추론 파이프라인을 탐구해야 한다고 제안합니다.