CompAgent: An Agentic Framework for Visual Compliance Verification

Resumo Técnico: CompAgent – Um Framework Agêntico para Verificação de Conformidade Visual

1. O Problema

A verificação de conformidade visual é um desafio crítico em setores como mídia, entretenimento e publicidade, onde o conteúdo deve aderir a regras de políticas complexas e em constante evolução (ex.: GDPR, códigos de transmissão regionais).

• Limitações das Abordagens Atuais:
  • Modelos de Aprendizado Profundo Específicos: Requerem conjuntos de dados rotulados manualmente, que são caros de criar e pouco generalizáveis. Além disso, tornam-se obsoletos rapidamente conforme as políticas mudam.
  • Modelos de Linguagem Multimodal (MLLMs) Diretos: Embora possuam conhecimento de mundo amplo, eles frequentemente falham ao raciocinar sobre detalhes visuais finos ou aplicar regras estruturadas de conformidade de forma eficaz quando usados apenas com prompting (instruções diretas).
• Necessidade: Existe uma lacuna para um sistema automatizado que seja escalável, preciso, adaptável a novas políticas sem necessidade de retreinamento e capaz de fornecer justificativas interpretáveis.

2. Metodologia: O Framework CompAgent

O CompAgent é o primeiro framework agêntico projetado especificamente para verificação de conformidade visual. Em vez de depender de um modelo monolítico, ele utiliza uma arquitetura baseada em agentes que orquestra ferramentas visuais especializadas.

O sistema é composto por três componentes principais:

1. Agente de Planejamento (Planning Agent):

   • Utiliza um loop ReAct (Reasoning and Acting) para interpretar os requisitos da política de conformidade.
   • Dinamicamente seleciona quais ferramentas visuais invocar com base nas lacunas de evidência e nas capacidades das ferramentas disponíveis.
   • Não requer fine-tuning (ajuste fino); a seleção de ferramentas emerge do raciocínio em contexto (in-context reasoning).
   • Mantém um estado que inclui a imagem, a política e as evidências acumuladas.

2. Suite de Ferramentas (Tool Suite):

   • Um conjunto modular de ferramentas "off-the-shelf" (prontas para uso) que atuam como fontes de evidência.
   • Categorias de Ferramentas:
     • Sumarização: Gera descrições de cena em linguagem natural.
     • Detecção de Conteúdo: Detecção de rostos (atributos, não identidade), objetos, texto (OCR) e moderação de conteúdo (NSFW).
     • Ferramentas Especializadas de Conformidade: Modelos como LlavaGuard, Safe-CLIP e ICM Assistant para avaliações de segurança específicas e zero-shot.

3. Agente de Verificação de Conformidade (CVAgent):

   • Realiza a avaliação final após a coleta de todas as evidências.
   • É um MLLM que integra a imagem original, a política e a cadeia completa de evidências geradas pelas ferramentas.
   • Realiza raciocínio multimodal cruzado: compara as saídas das ferramentas (ex.: se a sumarização diz que a cena é benigna, mas a moderação de conteúdo sinaliza violência, o agente examina a imagem para arbitrar).
   • Gera uma saída estruturada: Classificação (Seguro/Inseguro), Categoria de Violação e uma Racional (justificativa detalhada).

3. Contribuições Chave

• Primeiro Framework Agêntico para Conformidade Visual: Introduz uma arquitetura que decompõe a tarefa de verificação em etapas modulares, orquestrando ferramentas especializadas em vez de depender de um único modelo.
• Agentes Conscientes de Política: Desenvolve agentes capazes de analisar políticas complexas, identificar regras aplicáveis, planejar a coleta de evidências e realizar a verificação sem mapeamento manual.
• Sem Treinamento e Eficiente em Custos: A abordagem não requer dados rotulados nem fine-tuning, tornando-a altamente adaptável a políticas em evolução e pronta para implantação no mundo real.
• Interpretabilidade: O sistema fornece traços de decisão explicáveis, detalhando quais ferramentas foram usadas e como as evidências levaram à conclusão final.

4. Resultados Experimentais

O CompAgent foi avaliado em dois conjuntos de dados públicos de referência: LlavaGuard e UnsafeBench, comparado com classificadores especializados, prompts diretos de MLLMs e baselines de roteamento curado.

• Desempenho Quantitativo:

  • No conjunto de dados LlavaGuard, o CompAgent alcançou um F1 de 0,93 para a classe "Inseguro", superando significativamente o estado da arte (o melhor baseline, LlavaGuard, atingiu 0,91).
  • No conjunto de dados UnsafeBench, alcançou um F1 de 0,76, representando uma melhoria de 10% sobre o estado da arte anterior.
  • Superou modelos MLLs de ponta (como Claude Opus 4 e Sonnet 4) e modelos fine-tuned em métricas de precisão, recall e F1 macro.

• Análise de Políticas e Adaptação:

  • O framework demonstrou alta capacidade de resposta a diferentes formulações de políticas (Policy Exception Rate de ~94%).
  • Mostrou-se superior em categorias que exigem raciocínio contextual nuanceado, como "Autolesão" e "Violência", onde a distinção entre conteúdo educativo e conteúdo prejudicial é crítica.

• Análise de Ferramentas (Ablação):

  • A remoção de qualquer componente (ferramentas de sumarização, detecção de conteúdo ou ferramentas especializadas) resultou em quedas significativas de desempenho (ex.: remoção de sumarização caiu o F1 para 0,68), provando a importância da orquestração dinâmica.
  • O uso de ferramentas específicas aumenta drasticamente para conteúdo inseguro (ex.: ICM Assistant e Safe-CLIP são chamados com muito mais frequência em casos inseguros), demonstrando um roteamento dinâmico e consciente do conteúdo.

5. Significância e Conclusão

O CompAgent representa um avanço fundamental na moderação de conteúdo visual. Ao substituir modelos estáticos e caros por um sistema agêntico dinâmico, o trabalho resolve o problema da obsolescência das políticas de conformidade.

• Escalabilidade: Permite a integração contínua de novas ferramentas de visão computacional sem retreinamento.
• Robustez: A capacidade de cruzar validações entre múltiplas ferramentas reduz falsos positivos e negativos, especialmente em casos ambíguos (ex.: imagens históricas ou artísticas que contêm elementos sensíveis).
• Futuro: Embora focado em imagens únicas, a arquitetura modular estabelece uma base sólida para expansão futura para verificação de conformidade em vídeo.

Em suma, o CompAgent demonstra que a combinação de planejamento agêntico com ferramentas visuais robustas supera as abordagens tradicionais de prompting direto e modelos de classificação especializados, oferecendo uma solução escalável, precisa e adaptável para os desafios modernos de segurança de conteúdo.