기술 요약: KOTOX – 해독 및 탈독성을 위한 한국어 독성 데이터셋

문제 제기

대규모 언어 모델 (LLM) 이 온라인 환경에서 점점 더 널리 배포됨에 따라, 독성 콘텐츠의 탐지 및 제거 (탈독성) 가 중요해졌습니다. 그러나 기존 연구와 데이터셋은 주로 비가려진 텍스트에 초점을 맞추고 있습니다. 이러한 한계는 사용자가 자동화된 중재를 우회하기 위해 독성 표현을 고의로 위장할 때 모델의 견고성을 저하시킵니다.

이러한 도전은 한국어의 접미사적 형태론과 한글 문자 체계의 고유한 특성으로 인해 특히 심각합니다. 이러한 언어적 특징은 원래의 독성 의도를 유지하면서 텍스트의 외관을 변경하는 다양한 표면적 변이—예를 들어 음운적 변화, 시각적 대체, 띄어쓰기 교란—를 가능하게 합니다. 기존 위장 접근법은 종종 단순한 기법 (예: 동음이의어 교체 또는 이모지 삽입) 에 의존하며, 한국어에 특화된 언어학적 기반의 분류 체계를 갖추고 있지 않습니다. 또한, 기존 자료들은 대응되는 위장된 변이와 함께 정렬된 중립 및 독성 콘텐츠를 제공하지 않아, 해독과 탈독성을 위한 통합 실험을 방해합니다.

방법론

1. 위장 규칙 구성

저자들은 온라인 플랫폼 (예: 아고다, 구글 맵) 에서 수집된 실제 사례를 기반으로 한국어 위장 패턴의 언어학적 기반 분류 체계를 구축했습니다. 그들은 다섯 가지 변환 규칙 범주를 정의했습니다:

• 음운론적: 발음을 유지하면서 텍스트를 수정합니다 (예: 자음/모음을 음운적으로 유사한 단위로 교체, 음절 재분할, 연음).
• 상징론적: 시각적 유사성을 통해 위장을 생성하며, 문자를 시각적으로 유사한 기호, 숫자, 또는 문자로 대체합니다 (예: 한글을 CJK 또는 라틴 문자로 교체, 글리프 회전).
• 전사: 발음이나 의미를 보존하는 교차 문자 변환입니다. 여기에는 발음적으로 동등한 외국 문자 (라틴/CJK) 로 한국어 표현을 대체하거나, 단어를 외국어로 번역한 후 다시 한글로 전사하는 작업이 포함됩니다.
• 통사론적: 문자 형태가 아닌 문장 구조를 교란하며, 구체적으로는 띄어쓰기 변이와 음절 수준의 재배열 (애너그램) 을 통해 이루어집니다.
• 화용론적: 의미 내용을 변경하지 않고 지각된 어조를 변경하고 자동 해석을 방해하기 위해 기호나 이모지를 삽입합니다.

2. 데이터셋 구성 (KOTOX)

저자들은 한국어 위장 독성 텍스트를 위한 최초의 고품질 쌍 데이터셋인 KOTOX를 소개했습니다. 구성 파이프라인은 다음과 같습니다:

• 소스 데이터: 한국어 중립 - 독성 쌍인 K/DA 데이터셋을 기반으로 활용했습니다.
• 필터링: 한국어 언어학 전문가에 의한 엄격한 수동 필터링 과정을 통해 7,555 개의 쌍을 2,294 개의 고품질 쌍으로 줄였으며, 오라벨링, 의미적 부조화, 개인 식별 정보 (PII) 등의 문제를 해결했습니다.
• 변환: 정의된 변환 규칙을 적용하여 위장된 대응물을 생성했습니다. 각 소스 쌍 $(x_n, x_t)$에 대해 데이터셋은 네 가지로 정렬된 튜플 $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$을 제공하며, 여기서 $\tilde{x}$는 위장된 버전을 나타냅니다.
• 증강: $k \in \{2, 3, 4\}$개의 변환 범주를 적용하여 소스당 세 개의 증강된 쌍을 생성함으로써 "쉬움", "보통", "어려움" 난이도 수준을 만들었습니다.
• 검증: 생성된 텍스트가 가독성과 의미 일관성을 유지하는지 확인하는 건전성 검사 메커니즘을 통해 무효 변환을 폐기했습니다.

최종 데이터셋은 중립 - 독성 쌍과 그 위장된 변이로 구성된 6,882 개의 샘플 (훈련 5,505 개, 검증 687 개, 테스트 690 개) 로 구성되었습니다.

3. 평가 작업

논문은 모델 견고성을 테스트하기 위해 세 가지 평가 작업을 정의했습니다:

1. 위장된 독성 텍스트 분류: 위장된 텍스트가 독성인지 분류합니다.
2. 중립 텍스트 해독: 위장된 중립 입력에서 원래 중립 텍스트를 복원합니다.
3. 위장된 독성 텍스트 정화: 위장된 독성 입력에서 해독되고 비독성인 버전을 생성합니다 (해독과 탈독성을 결합).

실험은 제로샷, 퓨샷, 그리고 지도 미세 조정 (SFT) 설정 하에서 여러 독성 분류기 (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) 와 지시 조정 LLM(Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) 을 사용하여 수행되었습니다.

주요 결과

분류 견고성

• 기저 모델의 취약성: 원본 (비가려진) 데이터로 훈련된 모델은 위장된 텍스트에서 평가될 때 성능이 현저히 저하되었습니다. 예를 들어, XLM-R 모델의 F1 점수는 원본 데이터에서 95.06 에서 위장된 데이터에서 53.66 으로 떨어졌습니다.
• KOTOX 의 효과: KOTOX 로 미세 조정된 모델은 일관된 개선을 보여주었습니다. KOTOX 에 대한 SFT 는 HateBERT(71.65 F1) 와 XLM-R(89.57 F1) 에서 위장된 설정에 대해 가장 높은 성능을 달성했습니다.
• 일반화: KOTOX 로 훈련하는 것은 비위장 입력에서도 성능을 향상시켰으며, 이는 위장 패턴을 학습하는 것이 전반적인 견고성을 향상시킨다는 것을 시사합니다. KOTOX 로 미세 조정된 작은 인코더 기반 모델들은 제로샷 설정에서 GPT-4.1 의 성능에 근접하거나 능가했습니다.

해독 및 정화

• 제로/퓨샷의 한계: 사전 훈련된 LLM 은 제로샷 및 5 샷 설정에서 위장된 텍스트를 해독하거나 정화하는 데 제한된 능력을 보여주었습니다. 5 샷 프롬프팅이 지표를 약간 향상시켰지만, 모델들은 텍스트 형태를 복원하는 동안 독성 콘텐츠를 완화하지 못하는 경우가 많았습니다.
• 미세 조정의 성공: KOTOX 에 대한 지도 미세 조정은 해독과 정화 모두에서 최상의 결과를 산출했습니다. 미세 조정된 모델은 의미적 재구성 (BERTScore) 과 표면적 복원 (chrF) 에서 상당한 향상을 보였습니다.
• 정화 과제: 정화 작업이 가장 어려운 것으로 입증되었습니다. 모델들은 해독에는 성공하는 경우가 많았지만, 퓨샷 설정에서는 독성 의미를 유지했습니다. 비독성 출력을 생성하기 위해서는 SFT 가 필수적이었습니다.

규칙 분석

• 오류율: 음운론적 변환이 모델이 처리하기 가장 쉬웠습니다 (최저 오류 비율: 0.27). 통사론적 및 화용론적 변환은 가장 높은 오류 비율 (0.35 및 0.36) 을 보였으며, 이는 구조적 교란과 담화 수준의 신호 방해가 현재 모델에게 표면적 변이보다 더 어렵다는 것을 나타냅니다.
• 인간 대 모델: 인간 평가자들은 미세 조정된 Qwen2.5(77.90) 에 비해 훨씬 높은 해독 점수 (BERTScore 약 95.64) 를 달성하여, 규칙이 인간의 해석 가능성을 유지하지만 현재 LLM 에게는 여전히 어렵다는 것을 확인했습니다.

중요성과 주장

저자들은 KOTOX 가 한국어에 대해 해독과 탈독성을 동시에 지원하는 최초의 데이터셋이라고 주장하며, 중립, 독성 및 그 위장된 대응물을 쌍으로 제공합니다.

• 언어학적 기반: 단순한 교란에 의존한 이전 작업들과 달리, KOTOX 는 한국어와 한글의 특정 접미사적 및 정서적 특성에서 파생된 분류 체계에 기반하여 구축되었습니다.
• 견고성: 이 데이터셋은 깨끗한 입력에서의 성능을 희생하지 않으면서 위장된 독성 콘텐츠에 견고한 모델을 훈련할 수 있게 합니다.
• 자원 가용성: 저자들은 위장 변환 패키지를 오픈 소스 도구로 제공하여 향후 연구를 위한 재현 가능한 위장 텍스트 생성을 용이하게 합니다.
• 한계: 이 연구는 명시적으로 한국어와 한글에 국한됩니다. 저자들은 특정 규칙이 다른 언어적 맥락에 직접 일반화되지 않을 수 있음을 인정하지만, 프레임워크는 확장 가능하다고 언급합니다.

결론적으로, 이 논문은 현재 LLM 이 한국어 특유의 위장 패턴에 매우 취약하며, 한국어 온라인 환경을 위한 더 안전하고 견고한 언어 기술을 구축하기 위해서는 언어학적 기반을 갖춘 쌍 위장 데이터셋으로 훈련하는 것이 필수적임을 보여줍니다.