KidsNanny: 児童安全のためのマルチモーダルコンテンツモデレーション

技術サマリー

1. 背景と課題 (Problem)

デジタルプラットフォームにおける児童保護の観点から、リアルタイムで有害コンテンツを検出する自動化システムの必要性が高まっています。しかし、既存のアプローチには以下の重大な課題が存在します。

• 単一モダリティの限界: 従来の画像分類モデル（NudeNet など）は視覚的な露出を検出できますが、画像内に埋め込まれたテキスト（いじめの言葉、性的な誘い、隠語など）を検知できません。
• VLM（ビジョン・ランゲージモデル）の非効率性: LlavaGuard や ShieldGemma-2 などの大規模 VLM は文脈理解に優れていますが、高解像度の画像ピクセル全体を処理するため推論に数百ミリ秒から数秒かかり、高ボリュームのストリームに対するリアルタイムモデレーションには不向きです。
• 評価のギャップ: 既存のベンチマーク（UnsafeBench など）にはテキスト埋め込み画像が含まれていますが、テキストに依存する脅威を検出する能力を体系的に評価した先行研究は存在しません。

2. 提案手法 (Methodology)

KidsNanny は、視覚スクリーニングと深層文脈分析を分離した2 段階のマルチモーダルパイプラインを提案します。この設計により、計算コストを抑えつつ、テキスト埋め込み脅威への対応力を強化しています。

アーキテクチャ

• Stage 1: 視覚スクリーニング (Visual Screening)
  • 構成: Vision Transformer (ViT) ベースの画像分類器と、CNN ベースの物体検出モジュール。
  • 処理: 入力画像をリアルタイムで分析し、安全性スコアと構造化された物体検出ラベル（Bounding Box）を出力します。
  • 性能: 1 画像あたり約 11.7 ms の推論速度。
• Stage 2: マルチモーダル分析 (Multimodal Analysis)
  • トリガー: Stage 1 で「危険」または「曖昧」と判定された場合、または OCR でテキストが検出された場合にのみ発動（条件付きルーティング）。
  • 構成: OCR エンジンで画像からテキストを抽出し、Stage 1 の物体ラベルと抽出されたテキストを 7B パラメータのテキスト専用 LLM に渡します。
  • 特徴: 生画像ピクセルを LLM に渡さず、テキストとラベルのみを入力とする点が最大の特徴です。これにより、VLM のような高コストな視覚エンコーダを回避し、文脈推論を高速化します。
  • 性能: パイプライン全体で約 120 ms。

評価設計 (Two-Regime Evaluation)

公平な比較のため、2 つの評価レジームを採用しました。

1. Vision-Only Regime: Stage 1 のみを実行し、OCR と LLM を無効化。既存の画像分類モデルと比較。
2. Multimodal Regime: 全パイプライン（Stage 1+2）を実行。ShieldGemma-2 や LlavaGuard などの VLM と比較。

3. 主要な貢献 (Key Contributions)

1. 2 段階アーキテクチャの提案: 高速な視覚スクリーニングと、テキスト抽出に基づく効率的な文脈推論を組み合わせ、VLM の遅延問題を解決。
2. アーキテクチャ整合的な評価レジーム: 視覚モデルとマルチモーダルモデルを公平に比較するための評価枠組みの確立。
3. テキスト埋め込み脅威のベンチマーク分析: UnsafeBench の「Sexual」カテゴリ（1,054 画像）から、テキスト依存のサブセット（テキスト＋視覚 257 画像、テキストのみ 44 画像）を抽出し、OCR ベースの検出能力を定量的に評価。
4. 性能と効率のバランス: 既存の VLM よりも遥かに高速でありながら、テキストを含む脅威において高い検出率を達成。

4. 評価結果 (Results)

評価は UnsafeBench の「Sexual」カテゴリ（1,054 画像）および PASS データセット（偽陽性検証用）で行われました。

全体性能 (UnsafeBench Sexual カテゴリ)

• Vision-Only Regime: KidsNanny Stage 1 は、4 つの既存モデル（NudeNet, FalconsAI など）を凌駕し、精度 80.27%、F1 スコア 85.39%、推論速度 11.7 ms を達成。
• Multimodal Regime: 全パイプライン（Stage 1+2）は、精度 81.40%、F1 スコア 86.16% を達成。
  • 速度: ShieldGemma-2 より約 9 倍、LlavaGuard より約 34 倍 高速（120 ms vs 1,136 ms / 4,138 ms）。
  • 精度向上: Stage 2 を追加することで、全体精度は +1.13 ポイント向上し、偽陽性を 10 件削減。

テキスト依存サブセット分析 (Text-Subset Analysis)

テキストが安全性判断の主要な要素である画像（44 画像）における結果は決定的でした。

• KidsNanny: リコール 100% (25/25)、精度 75.76%。すべてのテキスト脅威を検知。
• ShieldGemma-2: リコール 84%、精度 60%（偽陽性が多い）。
• LlavaGuard: リコール 56%、精度 66.67%。
• 結論: 埋め込みテキストの検出において、専用 OCR を使用した KidsNanny は、VLM の視覚エンコーダに依存するモデルよりも、リコールと精度のバランスが優れており、かつ推論速度が約 9 倍速いことを示しました。

5. 意義と限界 (Significance & Limitations)

意義

• 児童安全への最適化: 画像自体は安全に見えても、テキスト（性的な誘い、いじめなど）によって危険となるケースを、遅延なく検出できるシステムを初めて実証。
• 効率性の革新: 生画像を LLM に渡さない「テキストのみ」の推論アプローチにより、VLM の遅延問題を解決しつつ、その文脈理解能力を活用することに成功。
• 評価基準の確立: テキスト埋め込み画像に特化した評価サブセットの重要性を指摘し、今後のマルチモーダル安全性評価の方向性を示唆。

限界と今後の課題

• 自己評価バイアス: 開発チーム自身による評価であり、第三者による検証は行われていない（第一者技術レポート）。
• 再現性: 使用モデルの詳細（パラメータ数、ハイパーパラメータ）は非公開であり、完全な再現は不可能。
• データ規模: テキストのみのサブセットが 44 画像と小規模であり、統計的有意性は確立されていない。
• 評価範囲: 現時点では「性的コンテンツ」カテゴリに限定されており、暴力や薬物など他のカテゴリへの拡張が必要。

結論

KidsNanny は、視覚スクリーニングとテキストベースの推論を分離した 2 段階アーキテクチャにより、「高速性」と「テキスト埋め込み脅威への高い検出精度」を両立しました。特に、児童安全において重要な「画像内のテキストによる危険」に対して、従来の VLM approach よりも遥かに効率的かつ正確に検出できることを実証しました。