기술 요약: AraDetox

문제 정의

유해 언어 탐지에 관한 연구는 다양한 혐오 표현 및 독성 분류를 위한 수많은 데이터셋과 모델을 생성하며 비약적으로 발전해 왔으나, 텍스트 정화(text detoxification) 연구는 여전히 미개척 분야로 남아 있다. 정화 작업은 원래의 의미, 입장, 대상 및 의사소통 의도를 보존하면서 유해한 콘텐츠를 더 안전한 형태로 재작성하는 것을 의미한다. 이 작업은 비판, 풍자, 정치적 의견 차이가 모욕적인 표현과 뒤섞여 나타나는 경우가 많은 아랍어 소셜 미디어 환경에서 특히 까다롭다. 단순한 어휘 치환과 달리, 성공적인 정화를 위해서는 보다 폭넓은 의미 보존형 재구성이 필요하다. 또한, 다양한 아랍어 방언과 민감한 정치적 맥락을 모두 다뤄야 한다는 점 때문에 이러한 데이터셋을 수동으로 구축하는 것은 비용과 시간이 많이 소요된다.

방법론

저자는 대규모 언어 모델(LLM) 생성과 인간 검증을 결합한 하이브리드 파이프라인을 통해 구축된 대규모 다중 방언 아랍어 정화 데이터셋인 AraDetox를 소개한다.

데이터셋 구축

• 소스 자료: 데이터셋은 10개의 기존 혐오 표현 및 욕설 데이터셋(예: T-HSAB, JHSC, OSACT)을 통합한 Arabic Hate Speech Superset에서 유래되었다. 16,000개의 가용 유해 게시물 중, 클래스 불균형을 고려하지 않고 폭넓은 범위를 확보하기 위해 10,500개의 게시물을 선정하였다.
• 생성 과정: 저자는 GPT-5와 Gemini 2.5 Flash를 사용하여 84,000개의 정화된 재작성 문장을 생성하였다.
  • 다양성: 출력물은 현대 표준 아랍어(MSA), 걸프(Gulf), 레반트(Levantine), 이집트(Egyptian) 아랍어의 네 가지 변체로 생성되었다.
  • 제약 조건: 모델은 비속어, 모욕, 비하 발언, 비인간화 언어 및 위협을 제거하는 동시에 원래의 의미, 대상, 입장, 감정 및 의도를 엄격히 보존하도록 지시받았다. 방언 변체는 정화와 방언 적응을 동시에 수행해야 했다.
  • 규모: 이는 소스 게시물당 8개의 정화된 변체(두 개의 모델 × 네 개의 방언)를 생성하는 결과를 낳았다.
• 품질 관리:
  • 자동 검증: 누락된 필드, 잘못된 JSON 형식, null 값, 중복 및 안전 거부(safety refusal) 여부를 확인하였다. 유효하지 않은 출력은 재생성되었다.
    즘 인간 검증: 원어민 아랍어 검토자가 재생성된 출력물이 정화 작업을 수행했는지, 소스의 의미/입장을 보존했는지, 그리고 요청된 방언을 반영했는지를 검증하였다.
  • 평가 샘м플: 독립적인 인간 평가를 위해 300개의 소스 게시물(2,400개 출력물)을 층화 무작위 추출하여 세 명의 원어민 아랍어 주석자(사우디 걸프, 요르단 레반트, 이집트 방언 대표)에게 할당하였다.

평가 설계

본 논문은 다각도 평가 프레임워크를 채택한다:

1. 어휘적 변화: 어휘 중첩, 자카드 유사도(Jaccard similarity), 문자/단어 수준의 편집 거리 및 출력 길이를 통해 측정하여, 최소한의 편집과 문장 수준의 재구성 사이를 구분한다.
2. 의미 보존: multilingual-e5-large 임베딩과의 코사인 유사도 및 UMAP 시각화를 사용하여 표면적인 변화에도 불구하고 의미적 근접성을 보장하는지 평가한다.
3. 감정 분석: 세 가지 CAM-BERT 분류기(DA, MSA, Mix)를 활용하여 부정, 중립, 긍정 감정의 변화를 분석함으로써, 유해한 정동(affect)은 줄이되 비판은 유지되는지 확인한다.
4. 방언 스타일: 단어 및 문자 n-gram을 사용하는 참조 방언 코퍼스(Zaidan 및 Callison-Burch, 2014)에 대한 TF-IDF 코사인 유사도를 통해 평가한다.
5. 인간 평가: 주석자들은 모욕 제거, 의미 보존, 그리고 새로운 내용의 도입 여부를 평가하였다.
6. 비교 분석: AraDetox를 MultiParaDetox-Ar와 기술적으로 비교하여, 최소 편집 전략과 광범위한 재구성 전략을 대조한다.

주요 결과

어휘 및 의미적 변환

• 상당한 재구성: AraDetox의 정화 작업은 상당한 어휘적 및 구조적 변화를 동반한다. 단어 수준의 수정률은 94.15%에서 122.94% 사이이며, 문자 수정률은 78%를 상회한다. 이는 정화가 단순한 어휘 치환이 아닌 문장 수준의 재작성 작업임을 나타낸다.
• 높은 의미적 충실도: 광범한 재작성에도 불구하고, 평균 점수가 0.9234에서 0.9308 사이(모두 0.70 임계값 초과)로 나타나 의미적 유사성이 일관되게 높았다. UMAP 시각화는 정화된 텍스트가 원본 게시물과 동일한 의미 공간을 점유함을 확인시켜 준다.
• 모델 간 차이: GPT-MSA가 가장 보수적(가장 낮은 편집 거리)이었으며, 방언 변체들은 일반적으로 더 큰 재구성을 수반했다.

감정 및 방언 일치

• 감정 변화: MSA 변체는 부정적 감정의 감소가 가장 두드러졌다(예: GPT-MSA는 부정적 예측을 약 20~23%포인트 감소시킴). 방언 변체들은 원래의 정서적 톤을 더 많이 보존하였으며, 부정적 비율이 65%에서 74% 사이로 유지되어, 모욕적인 언어 없이도 비판과 의견 불일치를 유지할 수 있음을 시사했다.
• 방언 스타일: 단어 n-gram 분석 결과, 특히 MSA와 이집트 아랍어에서 참조 방언 코퍼스와의 측정 가능한 일치도가 나타났다. 그러나 걸프 및 레반트 변체는 비격식 변체 간의 어휘적 중첩으로 인해 구분이 덜 뚜렷하게 나타났다.

인간 평가

• 모욕 제거: 비율은 87.25%에서 92.90% 사이였으며, Gemini가 일반적으로 GPT보다 우수한 성능을 보였다.
• 의미 보존: **86.25%에서 92.57%**의 높은 비율은 핵심 메시지, 입장, 대상이 대체로 유지되었음을 나타낸다.
• 새로운 내용: GPT의 방한 변체는 Gemini(약 1217%)에 비해 새로운 내용을 더 자주 도입했다(24%). 그럼에도 의미 보존 능력은 대등했다.
• 주석자 간 일치도: Fleiss' κ 값은 0.715에서 0.795 사이로, 주석자들 사이에 상당한 일치도가 있음을 보여준다.

기존 리소스와의 비교

MultiParaDetox-Ar와 비교했을 때, AraDetox는 뚜렷한 "의미 보존형 재구성" 전략을 보여준다. MultiParaDetox-Ar는 최소 편집 접근 방식(단어 중첩 0.56)을 사용하는 반면, AraDetox는 높은 의미적 유사성을 유지하면서도 더 넓은 재구성(단어 중첩 ~0.20–0.29)을 채택한다. 또한 AraDetox는 훨씬 더 부정적인 소스 분포(MultiParaDetox-Ar의 ~10% 대비 7275%)를 다룬다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 리소스 구축: 네 가지 아랍어 변체와 두 가지 LLM 제품군에 걸쳐 10,500개의 유해 게시물과 84,000개의 정화된 재작성 문장을 포함하는 대규모 리소스인 AraDetox를 도입하였다. 저자가 알고 있는 한, 이는 단일 프레임워크 내에서 다중 방언 및 다중 모델 재작성을 제공하는 최초의 아랍어 정화 데이터셋이다.
2. 방법론적 입증: 대규모의 다중 방언 정화 리소스를 LLM 보조 생성 후 인간 검증을 통해 구축할 수 있음을 입증하였으며, 이는 비용이 많이 드는 수동 주석에 대한 확장 가능한 대안을 제시한다.
3. 경험적 통찰: 본 연구는 아랍어 정화를 단순한 어휘 치환이 아닌 의미 보존형 재작성 작업으로 규정한다. 결과는 상당한 어휘적 재구성이 높은 의미적 충실도와 양립 가능하며, 유해 언어 제거와 동시에 방언 적응이 달성될 수 있음을 강조한다.

데이터셋은 아랍어 정화, 안전한 텍스트 생성 및 다중 방언 아랍어 NLP에 관한 향후 연구를 지원하기 위해 공개적으로 제공된다. 저자는 데이터의 합성(synthetic) 특성, 인간 평가의 부분 집합 크기, 그리고 독점적 프런티어 모델에 대한 의존성을 한계점으로 언급하며, 방언 검증 및 다운스트림 벤치마킹에 대한 향후 연구를 제안한다.