Reliability of Urdu–Arabic Abusive Language Detection with Cross- Lingual Transformers and Explainable AI

기술 요약: 교차 언어 트랜스포머와 설명 가능한 AI를 활용한 우르두어-아랍어 욕설 탐지의 신뢰성

문제 정의
자동화된 욕설 탐지는 우르두어 및 아랍어와 같이 수억 명의 화자가 있음에도 불구하고 소외되어 있는 저자원 우측에서 좌측으로 쓰는(RTL) 언어들에게 여전히 중대한 과제로 남아 있다. 기존 연구는 주로 영어를 대상으로 하며, 우르두어와 아랍어를 위한 현재의 탐지기들은 근거 없이 레이블만 부여하는 "블랙박스" 형태여서 중재자의 신뢰와 감사 가능성을 저해한다. 또한, 다국어 인코더가 존재함에도 불구하고, 욕설 탐지를 위한 교차 언어 전이는 종종 취약하다. 단일 이중 언어 분류기와 정량화된 속성 일치도, 그리고 통일된 신뢰성 프로토콜 하에서 충실도가 평가된 생성형 설명 모델을 결합한 시스템 사이에는 결정적인 격차가 존재한다.

방법론
저자들은 이러한 격차를 해결하기 위해 3단계 프레임워크를 제안한다:

1. 데이터 및 분류: 나스탈리크(Nastaliq)와 로만 우르두어(Roman Urdu)를 포함하고 다양한 아랍어 방언 출처를 결합한 65,344개 레코드(우르두어 32,711개, 아랍어 32,633개)의 균형 잡힌 이중 스크립트 골드 레이블 코퍼스를 구축하였다. 이 코퍼스를 바탕으로 이진 분류(욕설 vs 비욕설)를 위해 이중 언어 XLM-RoBERTa 모델을 공동 미세 조정하였으며, 욕설 클래스의 재현율(recall)을 우선시하였다.
2. 속성 및 설명: 통합 그래디언트(Integrated Gradients, IG)와 커널SHAP(KernelSHAP)을 사용하여 입력 단어의 중요도를 속성화한다. 이러한 속성값은 오픈 웨이트 생성 모델(Aya-23-8B)에 입력되어 자연어 설명을 생성한다.
3. 신뢰성 프로토콜: 본 연구는 네 가지 구체적인 연구 질문을 통해 시스템을 평가한다:
   • RQ1 (교차 언어 형평성): 성능 패리티(parity) 및 제로샷 전이 능력을 평가한다.
   • RQ2 (속성 일치도): IG와 커널SHAP 간의 일치도를 측정한다.
   • RQ3 (설명 충실도): 삭제 테스트(deletion tests)와 충분성 테스트(sufficiency tests)를 사용하여 생성형 설명 모델이 모델의 추론을 충실히 반영하는지 평가한다.
   • RQ4 (강건성): 문자 노이즈, 마스킹, 모음 기호(diacritic) 제거, 그리고 합성 로만-우르두어 음차(transliteration)에 대한 탄력성을 테스트한다.
   • 문맥 민감도: 민감한 키워드를 공유하면서도 욕설인 문장과 무해한 문장으로 구성된 대조 세트(contrast set)를 사용하여, 모델이 문맥에 의존하는지 아니면 단순히 키워드에 의존하는지 테스트한다. 캘리브레이션은 온도 스케일링(temperature scaling)을 통해 개선되었다.

주요 기여

• 코퍼스: 나스탈리크/로만 우르두어와 다양한 아랍어 방언을 포괄하는 통합된 균형 잡힌 이중 언어 코퍼스 65,344개를 구축하였다.
• 모델 성능: 공동 학습된 이중 언어 XLM-RoBERTa 탐지기는 언어 간 거의 대등한 성능(우르두어 정확도 0.816, 아랍어 0.826)을 달성하였으며, 이는 이 성능이 고유한 다국어 사전 학습 능력보다는 공동 학습에서 기인했음을 보여준다.
• 속성 분석: IG와 커널SHAP 간의 상관관계가 중간 정도(Spearman $\rho$ = 0.369)임을 보여주는 정량적 일치도 연구를 통해, 단일 방법론을 절대적 기준으로 삼아서는 안 된다는 것을 입증하였다.
• 생성형 설명 평가: Aya-23-8B 설명 모델을 평가한 결과, 모델이 속성된 단어의 69%를 반영하더라도 생성된 텍스트는 약하게만 충실하다는 점을 밝혀냈다. 삭제 테스트에서 설명 모델이 인용한 단어들은 무작위 단어들보다 더 결정적이지 않았던 반면, IG가 선택한 단어들은 결정적이었다.
• 문맥 민감도: 베이스 모델은 민감한 키워드가 포함된 무해한 문장을 욕설로 오분류하는 등 문맥에 둔감한 예측을 보였으나, 작은 규모의 문맥 인식 미세 조정 단계를 통해 일반 테스트 정확도를 저하시키지 않으면서도 대조 세트 성능을 0.857까지 크게 향상시켰다.
• 신뢰성 카드(Reliability Card): 캘리브레이션된 신뢰도, 증거 단어, 공격 대상, 그리고 이유를 포함하는 구조화된 출력물을 제공한다.

결과

• 분류: 이중 언어 모델은 전체 정확도 0.821, 매크로-F1 0.820을 달성하였다. 우르두어와 아랍어 간의 제로샷 전이는 거의 우연 수준(0.50–0.53)으로 급락하였으며, 이는 공동 학습이 교차 언어 성능에 필수적임을 확인시켜 준다.
• 강건성: 모델은 모음 기호 제거 및 문자 노이즈에는 높은 강건성을 보였으나, 우르두어가 합성 로만-우르두어로 음차되었을 때 정확도가 크게 하락(0.218)하여 합성 변이 형태에 대한 스크립트 커버리지의 격차를 드러냈다.
• 설명 충실도: Aya-23 설명 모델은 그럴듯한 텍스트를 생성했지만, 삭제 테스트 결과 생성된 설명과 모델의 실제 결정 로직 사이에 괴리가 있음이 드러났다. IG가 선택한 단어들은 결정적이었으나(제거 시 예측 확률 0.289 감소), 설명 모델이 인용한 단어들은 결정적이지 않았다(감소 폭 0.218로 무작위 단어와 통계적으로 차이가 없음).
• 문맥: 베이스 모델은 민감한 키워드가 포함된 무해한 문장을 욕설로 잘못 분류하는 등 문맥에 둔감한 예측을 보였다. 문맥 인식 미세 조정을 통해 이를 교정하여 대조 세트 정확도를 0.857로 높였다.
• 베이스라인: 이중 언어 XLM-RoBERTa는 고전적 베이스라인(TF-IDF, SVM 등)과 우르두어 특화 모델인 MuRIL보다 우수한 성능을 보였다. 다만 아랍어 특화 모델인 MARBERTv2보다는 정확도 면에서 2.5포인트 뒤처졌으나, 두 언어를 위한 단일 모델을 제공한다는 장점이 있다.

의의
본 논문은 다국어 욕설 탐지기를 평가할 때 총체적인 정확도뿐만 아니라 표적화된 신뢰성 테스트가 필요하다고 주장한다. 본 연구는 단일 설명 가능한 모델이 공동 학습을 거칠 경우 우르두어와 아랍어에서 거의 대등한 성능으로 욕설을 중재할 수 있음을 입증한다. 그러나 LLM이 생성하는 설명은 조건부로만 충실하며, 모델의 내재적 추론이라기보다 의사결정 지원 도구로서 제시되어야 함을 강조한다. 본 연구는 문맥 인식 미세 조정을 통해 키워드 기반의 오탐지를 방지하는 것의 중요성을 역설하며, 향후 평가에 음차 및 방언적 폭에 대한 강건성 검증이 포함되어야 한다고 촉구한다. 이 시스템은 자율적으로 작동하기보다는 캘리브레이션된 신뢰도와 증거를 제공함으로써 인간 중재자를 지원하도록 설계되었다.