KidsNanny: Multimodal Content Moderation 기술 요약

1. 문제 정의 (Problem Statement)

디지털 플랫폼에서 아동 안전을 위협하는 유해 콘텐츠는 단순한 이미지뿐만 아니라, 이미지 내에 포함된 텍스트 (예: 유해한 밈, 사이버 불링, 유괴 언어 등) 와 시각적 요소의 맥락적 결합을 통해 나타납니다. 기존 접근 방식은 다음과 같은 한계를 가지고 있습니다:

• 단일 모드 분류기 (Single-modality Classifiers): NudeNet, FalconsAI 등 기존 이미지 분류기는 시각적 신호 (노출, 신체 부위 등) 에만 의존하여 이미지 내 포함된 텍스트 기반 위협을 탐지하지 못합니다.
• 대규모 비전 - 언어 모델 (VLMs): LlavaGuard, ShieldGemma-2 와 같은 모델은 텍스트 이해가 가능하지만, 고해상도 이미지 픽셀을 수십 억 개의 파라미터를 가진 비전 인코더로 처리해야 하므로 추론 속도가 느립니다 (수백 ms ~ 수 초). 이는 실시간 대량 콘텐츠 스트리밍에는 비실용적입니다.
• 평가의 공백: 기존 벤치마크 (UnsafeBench 등) 는 텍스트가 포함된 이미지를 포함하지만, 텍스트 기반 위협 탐지 능력을 별도로 평가하거나 OCR(광학 문자 인식) 기반 접근법의 효과를 정량화한 연구는 부재했습니다.

2. 방법론 (Methodology)

KidsNanny 는 아동 안전을 위한 2 단계 멀티모달 콘텐츠 조정 아키텍처를 제안합니다. 이 시스템은 시각적 스크리닝과 심층적인 맥락 분석을 분리하여 효율성과 정확성을 동시에 달성합니다.

2.1 2 단계 파이프라인 구조

• Stage 1: 시각적 스크리닝 (Visual Screening)
  • 구성: Vision Transformer (ViT) 기반 이미지 분류기 + CNN 기반 객체 탐지 모듈.
  • 작동: 모든 입력 이미지에 대해 실시간으로 실행됩니다.
  • 출력: 안전 확률 (Safety Probability) 과 구조화된 객체 탐지 레이블 (Bounding Box, 클래스, 신뢰도).
  • 성능: 이미지당 약 11.7ms의 매우 빠른 추론 속도를 가집니다.
• Stage 2: 멀티모달 분석 (Multimodal Analysis)
  • 구성: OCR 엔진 + 7B 파라미터 텍스트 전용 언어 모델 (LLM).
  • 작동: Stage 1 이 '위험' 또는 '모호함'으로 판단하거나, OCR 이 이미지 내 텍스트를 감지한 경우에만 조건부로 실행됩니다.
  • 핵심 설계: LLM 에게 **원시 픽셀 (Raw Pixels) 이 아닌, 추출된 텍스트와 객체 레이블 (Text inputs only)**만 입력합니다. 이는 비전 - 언어 모델의 계산 과부하를 제거합니다.
  • 출력: 최종 안전 판정 (Safe/Unsafe) 과 자연어 기반의 설명 (Reasoning).
  • 성능: 전체 파이프라인 (Stage 1+2) 기준 약 120ms의 추론 속도를 가집니다.

2.2 평가 체계 (Two-Regime Evaluation)

공정한 비교를 위해 동일한 데이터셋 (UnsafeBench Sexual 카테고리, 1,054 장) 에서 두 가지 평가 체계를 적용했습니다:

1. 비전 전용 (Vision-Only): Stage 2 를 비활성화하고 Stage 1 만 평가 (기존 이미지 분류기들과 비교).
2. 멀티모달 (Multimodal): 전체 파이프라인 (Stage 1+2) 을 활성화하고 VLM 기반 모델들과 비교.
3. 텍스트 서브셋 분석: 텍스트가 포함된 이미지 (Text+Visual, 257 장) 와 텍스트가 주요 안전 신호인 이미지 (Text-Only, 44 장) 로 필터링하여 텍스트 인식 능력을 평가.

3. 주요 기여 (Key Contributions)

1. 2 단계 아키텍처 제안: 빠른 시각적 스크리닝과 효율적인 텍스트 기반 추론을 결합하여, 원시 픽셀을 LLM 에 전달하지 않고 텍스트/객체 레이블만 전달하는 혁신적인 설계.
2. 정량적 벤치마크 평가: UnsafeBench Sexual 카테고리에서 4 가지 비전 전용 모델 및 2 가지 VLM 모델 (ShieldGemma-2, LlavaGuard) 과 비교 평가 수행.
3. 텍스트 기반 위협 탐지 최적화: OCR 기반 추론이 텍스트가 포함된 유해 콘텐츠에서 기존 VLM 대비 높은 정밀도 (Precision) 와 재현율 (Recall) 을 보임을 입증.
4. 평가 프레임워크의 확장: 텍스트가 포함된 이미지 서브셋을 별도로 분리하여 평가하는 새로운 벤치마크 방법론 제시.

4. 주요 결과 (Key Results)

4.1 전체 성능 (UnsafeBench Sexual 카테고리, 1,054 장)

• 정확도 (Accuracy) 및 F1 점수:
  • KidsNanny (Stage 1+2): 정확도 81.40%, F1 86.16% (최고).
  • 비교 모델: LlavaGuard (80.36% Acc), ShieldGemma-2 (64.80% Acc).
• 추론 속도 (Latency):
  • KidsNanny: 120ms.
  • 비교 모델: ShieldGemma-2 (1,136ms, 약 9 배 느림), LlavaGuard (4,138ms, 약 34 배 느림).
• Stage 2 의 기여: 전체 데이터셋에서는 정확도를 +1.13%p 향상시키고 위양성 (False Positives) 을 133 개에서 123 개로 줄여 정밀도를 개선했습니다.

4.2 텍스트 기반 위협 탐지 성능 (Text-Only Subset, 44 장)

• 재현율 (Recall): KidsNanny 는 100% (25/25) 의 재현율을 기록하여 모든 텍스트 기반 위협을 탐지했습니다.
  • 비교: ShieldGemma-2 (84%), LlavaGuard (56%).
• 정밀도 (Precision): KidsNanny 는 **75.76%**로, ShieldGemma-2 (60%) 보다 높은 정밀도를 유지하며 위양성을 줄였습니다.
• 결론: 전용 OCR 파이프라인은 VLM 의 암시적 텍스트 이해보다 텍스트 기반 위협 탐지에서 더 효과적이고 효율적입니다.

4.3 시각적 성능 비교 (Vision-Only Regime)

• KidsNanny Stage 1 만으로도 11.7ms 의 속도로 80.27% 정확도와 85.39% F1 점수를 기록하여, 기존 비전 전용 모델들 (NudeNet, FalconsAI 등) 을 모두 능가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간성 확보: KidsNanny 는 VLM 기반 모델보다 9~34 배 빠른 추론 속도를 유지하면서도, 텍스트가 포함된 복잡한 유해 콘텐츠까지 탐지할 수 있는 능력을 입증했습니다. 이는 고부하 실시간 콘텐츠 조정 시스템에 실용적인 솔루션을 제공합니다.
• 아키텍처적 통찰: 이미지 내 텍스트와 시각적 요소의 상호작용을 이해하는 데 있어, 원시 픽셀을 직접 처리하는 VLM 보다 OCR 을 통한 명시적 텍스트 추출 + 텍스트 전용 LLM이 더 효율적이고 정확한 결과를 낸다는 것을 보여줍니다.
• 한계 및 향후 과제: 본 연구는 개발 팀 자체 평가 (Self-evaluation) 이며, 텍스트 전용 서브셋의 샘플 수 (44 장) 가 작아 통계적 유의성은 제한적입니다. 또한, 성 (Sexual) 카테고리 외의 다른 유해 콘텐츠 (폭력, 약물 등) 로의 확장 및 독립적인 제 3 자 검증이 필요합니다.

요약: KidsNanny 는 아동 안전을 위해 **속도 (실시간성)**와 **정확도 (텍스트 기반 위협 탐지)**를 모두 잡은 2 단계 멀티모달 아키텍처를 제안하며, 기존 VLM 기반 접근법의 한계를 극복하고 효율적인 콘텐츠 조정의 새로운 패러다임을 제시합니다.