KidsNanny: A Two-Stage Multimodal Content Moderation Pipeline Integrating Visual Classification, Object Detection, OCR, and Contextual Reasoning for Child Safety

Visão Geral

O artigo apresenta o KidsNanny, uma arquitetura de moderação de conteúdo multimodal de duas etapas projetada especificamente para aplicações de segurança infantil. Diferente das abordagens existentes que dependem de classificação de imagem de única modalidade ou de modelos de linguagem-vision (VLMs) monolíticos, o KidsNanny separa a moderação em estágios complementares para equilibrar precisão, latência e a capacidade de detectar ameaças ocultas em texto embutido em imagens.

1. O Problema

A moderação de conteúdo para crianças enfrenta desafios críticos que as soluções atuais não resolvem adequadamente:

• Limitação de Modelos Unimodais: Classificadores de imagem tradicionais (como NudeNet ou FalconsAI) detectam bem conteúdo visual explícito, mas falham em identificar ameaças transmitidas através de texto sobreposto a imagens (ex: memes com linguagem de grooming ou cyberbullying).
• Ineficiência de VLMs: Modelos de Linguagem-Vision grandes (como LlavaGuard e ShieldGemma-2) possuem raciocínio contextual, mas processam pixels brutos através de codificadores visuais massivos, resultando em latências de centenas de milissegundos a segundos. Isso os torna impraticais para moderação em tempo real de alto volume.
• Gap de Avaliação: Não existia, até o momento, um sistema acadêmico publicado que integrasse classificação, detecção de objetos, extração de texto (OCR) e raciocínio contextual em um pipeline unificado, nem benchmarks que avaliassem especificamente a detecção de ameaças baseadas em texto dentro de imagens.

2. Metodologia: Arquitetura de Duas Etapas

O KidsNanny opera através de um pipeline condicional de duas etapas:

• Etapa 1: Triagem Visual (11,7 ms)

  • Utiliza um Classificador ViT (Vision Transformer) para gerar uma probabilidade de segurança.
  • Utiliza um Detector de Objetos baseado em CNN para identificar e rotular objetos relevantes para a segurança.
  • Decisão de Roteamento: Se a imagem for classificada como claramente segura e não houver texto, o processo termina aqui. Se for ambígua ou insegura, ou se texto for detectado, avança para a Etapa 2.
  • Saída: Não envia pixels brutos, apenas rótulos de objetos e probabilidades.

• Etapa 2: Análise Multimodal e Raciocínio (120 ms total)

  • Um motor OCR (Reconhecimento Óptico de Caracteres) extrai o texto embutido na imagem.
  • O texto extraído e os rótulos de objetos da Etapa 1 são enviados para um LLM de 7B parâmetros (apenas texto, sem entrada de pixels).
  • O LLM realiza raciocínio contextual para confirmar o veredito de segurança e gerar uma explicação em linguagem natural.
  • Vantagem Chave: Ao evitar o processamento de pixels brutos pelo LLM, o sistema elimina a sobrecarga computacional dos VLMs tradicionais.

3. Principais Contribuições

1. Arquitetura de Pipeline Híbrido: Separação eficiente entre triagem visual rápida e análise profunda baseada em texto, evitando o custo computacional de VLMs completos para todas as imagens.
2. Avaliação em Dois Regimes: O sistema foi testado sob dois regimes arquiteturais alinhados:
   • Apenas Visão: Avalia apenas a Etapa 1 contra classificadores de imagem puros.
   • Multimodal: Avalia o pipeline completo (Etapa 1+2) contra VLMs.
3. Análise de Subconjunto de Texto: Identificação e avaliação de subconjuntos específicos do benchmark UnsafeBench contendo texto embutido ("Text+Visual" e "Text-Only"), demonstrando a superioridade do OCR dedicado sobre a compreensão implícita de texto em VLMs.
4. Benchmarking de Latência: Demonstração de que é possível atingir alta precisão com latência drasticamente reduzida (9x a 34x mais rápido que os concorrentes).

4. Resultados

Os testes foram realizados no conjunto de dados UnsafeBench (Categoria Sexual, 1.054 imagens) em uma GPU NVIDIA RTX 4090.

• Regime Apenas Visão (Etapa 1):

  • Acurácia: 80,27% (Superior a NudeNet, FalconsAI, Adam-ViT e Freepik).
  • F1-Score: 85,39%.
  • Latência: 11,7 ms.

• Regime Multimodal (Pipeline Completo):

  • Acurácia: 81,40% (Superior ao ShieldGemma-2 e LlavaGuard).
  • F1-Score: 86,16%.
  • Latência: 120 ms (vs. 1.136 ms do ShieldGemma-2 e 4.138 ms do LlavaGuard).
  • Eficiência: O pipeline completo é 9x mais rápido que o ShieldGemma-2 e 34x mais rápido que o LlavaGuard.

• Análise de Subconjunto de Texto (Crítico para Segurança Infantil):

  • Em imagens onde a ameaça depende apenas do texto embutido (44 imagens), o KidsNanny alcançou:
    • Recall (Revocação): 100% (detectou todos os 25 casos positivos).
    • Precisão: 75,76%.
  • Comparação: O ShieldGemma-2 teve 84% de recall mas apenas 60% de precisão (muitos falsos positivos) e 9x mais lento. O LlavaGuard teve apenas 56% de recall.

5. Significado e Conclusão

O KidsNanny demonstra que uma arquitetura de duas etapas, que roteia apenas metadados (rótulos e texto extraído) para um modelo de linguagem, oferece o melhor equilíbrio entre eficiência, precisão e capacidade de detecção de ameaças complexas.

• Impacto na Segurança Infantil: A capacidade de detectar 100% das ameaças baseadas em texto (como linguagem de grooming em memes) com alta precisão e baixa latência preenche uma lacuna crítica deixada por modelos puramente visuais ou VLMs lentos.
• Viabilidade de Implantação: Com uma latência total de 120 ms, o sistema é viável para moderação em tempo real de fluxos de conteúdo de alto volume, onde modelos VLMs tradicionais falhariam devido ao atraso.
• Limitações e Transparência: O artigo reconhece que é um relatório técnico de primeira parte (avaliado pela própria equipe de desenvolvimento), que os detalhes do modelo são proprietários e que o subconjunto de "texto apenas" é pequeno (44 imagens), exigindo validação independente futura.

Em suma, o KidsNanny propõe um novo paradigma para moderação de conteúdo: não tentar fazer um único modelo gigante fazer tudo, mas sim orquestrar modelos especializados (ViT, OCR, LLM de texto) para maximizar a segurança e a velocidade.