ContiGuard: A Framework for Continual Toxicity Detection Against Evolving Evasive Perturbations

1. 문제 정의 (Problem Definition)

• 배경: 온라인 상의 유해한 콘텐츠 (혐오 발언, 괴롭힘 등) 를 탐지하는 '독성 탐지 (Toxicity Detection)'는 건강한 온라인 환경을 위해 필수적입니다.
• 도전 과제: 악성 사용자들은 탐지기를 우회하기 위해 지속적으로 진화하는 **기만적 교란 (Evasive Perturbations)**을 생성합니다. (예: 문자 반복 iiiddioot, 동형 문자 치환 id10t, 약어 사용 등)
• 기존 방법의 한계:
  • 기존 탐지기는 주로 일반 텍스트에 최적화되어 있어 교란된 텍스트를 인식하지 못합니다.
  • 일부 방법은 특정 교란 유형을 학습하지만, 시간이 지남에 따라 새롭게 등장하는 교란 유형에 적응하지 못합니다.
  • 지속적 학습 (Continual Learning) 접근이 필요하지만, 교란 유형 간의 이질성으로 인해 **과거 학습 능력의 망각 (Catastrophic Forgetting)**이 발생하고, 교란으로 인한 노이즈가 의미 이해를 방해하며 핵심 특징 학습을 저해합니다.

2. 제안 방법: ContiGuard Framework

이 논문은 시간의 흐름에 따라 변화하는 교란된 텍스트에 대해 탐지기의 능력을 지속적으로 업데이트하는 최초의 프레임워크인 ContiGuard를 제안합니다. 주요 세 가지 전략은 다음과 같습니다.

가. LLM 기반 의미 풍부화 전략 (LLM Powered Semantic Enriching Strategy)

• 목적: 교란으로 인해 훼손된 텍스트의 의미를 복원하고 이해도를 높이며, 최적화 과정에서 지역 최적점 (Local Optima) 에 빠지는 것을 방지합니다.
• 구현:
  • 대규모 언어 모델 (LLM) 을 활용하여 교란된 텍스트에서 잠재적 의미와 독성 관련 단서를 추출합니다.
  • "How-Why-What" 질문 기법을 사용하여 LLM 이 심층적으로 분석하도록 유도합니다.
  • 추출된 보조 정보 (Auxiliary Information) 를 원본 교란 텍스트와 동적 가중치를 두어 결합합니다.
  • 효과: 보조 정보는 교란된 텍스트의 노이즈를 완화하고, 최적화 시 모멘텀 (Momentum) 역할을 하여 학습 안정성을 높입니다.

나. 판별력 기반 특징 학습 전략 (Discriminability Driven Feature Learning Strategy)

• 목적: 교란으로 인해 생성된 불필요한 노이즈 특징을 억제하고, 독성 분류에 핵심이 되는 **판별력 있는 특징 (Discriminative Features)**을 강화합니다.
• 구현:
  • 적용 분석 (Attribution Analysis): 통합 기울기 (Integrated Gradient) 를 사용하여 각 특징이 클래스 (독성/비독성) 에 기여하는 정도를 정량화합니다.
  • 판별력 구분: 두 클래스 모두에 유사하게 기여하는 특징 (비판별적) 과 한 클래스에만 기여하는 특징 (판별적) 을 구분합니다.
  • 강화 및 억제:
    • 강화: 판별력 있는 특징은 전역 반전 (Global Flipping) 을 통해 분류 경계를 강화합니다.
    • 억제: 비판별적 특징은 균일 분포 (Uniform Distribution) 를 감독 신호로 사용하여 '학습 취소 (Unlearning)'하고, 다시 학습시켜 중립적인 특징으로 만듭니다.

다. 과거 능력 재생 전략 (Historical Capability Replay Strategy)

• 목적: 새로운 교란 유형 학습 시 과거에 학습한 탐지 능력을 잊어버리는 현상 (Forgetting) 을 완화합니다.
• 구현:
  • 과거의 대표적 샘플 (Memory Samples) 을 보관합니다.
  • 현재 탐지기와 과거 탐지기가 이 메모리 샘플을 인코딩했을 때의 **특징 (Features) 정렬 (Alignment)**을 통해 과거의 지식을 유지합니다.
  • 특징 간 코사인 유사도를 최대화하는 손실 함수를 추가하여 능력의 지속성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의: 실제 환경에서 발생하는 진화하는 기만적 교란 텍스트에 대한 지속적 독성 탐지 (Continual Toxicity Detection) 문제를 최초로 제시하고 이를 해결하는 프레임워크를 제안했습니다.
2. ContiGuard 프레임워크 개발:
   • LLM 기반 의미 풍부화, 판별력 기반 특징 학습, 과거 능력 재생이라는 세 가지 핵심 전략을 통합하여, 교란된 텍스트의 의미 훼손과 노이즈 문제를 동시에 해결합니다.
3. 성능 입증: 기존 탐지기, 정적 학습 방법, 그리고 다양한 지속적 학습 (CL) 기법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Jigsaw 데이터를 기반으로 9 가지 유형의 교란 (Insert, Repeat, Swap, Remove, Homoglyph, Mask, Abbr, Auth, Distract) 을 적용한 DynEscape 데이터셋과 실제 웹에서 수집된 NoisyHate 데이터셋을 사용했습니다.
• 주요 성과:
  • 기존 탐지기 대비: 기존 상용 API 및 파인튜닝 모델들은 교란 텍스트에서 성능이 14.4%~35.8% 급감했으나, ContiGuard 는 평균 86.47% 의 정확도를 유지하며 상대적 성능 저하를 3.0% 로 최소화했습니다.
  • 기존 CL 방법 대비: EWC, LWF, GEM 등 기존 지속적 학습 방법들은 새로운 교란 유형 학습 시 과거 능력을 잊거나 성능이 저하되는 반면, ContiGuard 는 **Joint Training (전체 데이터 동시 학습)**과 유사하거나 더 나은 성능을 보였습니다.
  • Ablation Study: LLM 보조 정보 제거, 판별력 학습 제거, 재생 전략 제거 시 성능이 모두 유의미하게 감소하여 각 모듈의 필수성을 입증했습니다.
  • 일반화 능력: 학습 데이터의 양을 줄이거나 (20%~60%), LLM 을 테스트 단계에서 제거한 경우에도 NoisyHate 데이터셋에서 우수한 성능을 보이며 비용과 효율성 간의 균형을 잘 잡는 것을 확인했습니다.

5. 의의 (Significance)

• 사회적 안전: 악성 사용자의 지속적인 기만 시도에 대응하여 온라인 공간의 안전을 지속적으로 보장할 수 있는 실용적인 솔루션을 제공합니다.
• 기술적 혁신: 텍스트 교란으로 인한 의미 왜곡과 특징 학습의 어려움을 해결하기 위해 LLM 의 추론 능력과 지속적 학습 기법을 융합한 새로운 패러다임을 제시했습니다.
• 향후 연구 방향: 진화하는 사이버 위협에 대응하기 위한 적응형 콘텐츠 조정 시스템의 표준으로 자리 잡을 수 있는 기반을 마련했습니다.

이 연구는 고정된 탐지기의 한계를 넘어, 변화하는 위협 환경에 실시간으로 적응하고 학습 능력을 유지하는 지능형 탐지 시스템의 가능성을 보여주었습니다.