Resumo Técnico: PolicyShiftGuard

Declaração do Problema

As atuais salvaguardas de imagem são predominantemente treinadas e avaliadas sob políticas de segurança fixas, tratando implicitamente a segurança como uma propriedade intrínseca de uma imagem. No entanto, implantações no mundo real exigem salvaguardas adaptáveis à política, onde a aceitabilidade de uma imagem depende da política de tempo de execução específica (por exemplo, variando por produto, região, faixa etária ou anunciante). Os benchmarks e modelos existentes falham em abordar essa dinâmica:

• Lacuna de Avaliação: A maioria dos benchmarks de segurança visual atribui um rótulo único por imagem sob uma taxonomia fixa, falhando em distinguir entre o reconhecimento genérico de insegurança e a capacidade de seguir mudanças nos limites da política.
• Lacuna Metodológica: As salvaguardas existentes frequentemente detectam pistas de risco, mas falham em revisar decisões quando a mesma evidência visual é permitida sob uma política e bloqueada sob outra. Elas exibem fragilidade quando as definições de política mudam para além de configurações familiares.

Metodologia

1. Benchmark: POLICYSHIFTBENCH

Para avaliar as capacidades de adaptação de política, os autores introduzem o POLICYSHIFTBENCH, um benchmark abrangente projetado para testar se os modelos podem se adaptar a políticas ativas em vez de depender de priors de nível de imagem.

• Estrutura: O benchmark organiza a segurança visual em 7 categorias de risco (ex: Nudez, Violência, Bens Regulamentados, Segurança de PI) e 5 cenários amplos de moderação (ex: Redes Sociais Convencionais, Seguro para Crianças, Base Legal). A interseção desses elementos cria 28 variantes de política.
• Composição de Dados: Contém 2.000 instâncias discriminativas de política sobre 265 imagens únicas. Crucialmente, cada imagem é pareada com uma média de 7,55 prompts condicionados à política. 262 das 265 imagens aparecem tanto com rótulos de "pass" (permitir) quanto de "block" (bloquear) dependendo da política ativa.
• Curadoria de Dados: Os rótulos são gerados via um pipeline determinístico:
  1. Anotação de Atributos: Múltiplos anotadores multimodais preveem atributos atômicos da imagem (ex: "genitália exposta", "contexto médico", "tipo de arma") via voto majoritário.
  2. Execução de Regras: Regras de política executáveis são aplicadas a esses atributos para gerar decisões de nível de categoria.
  3. Composição de Bundle: Um bundle de política de tempo de execução (uma política por categoria) é formado, e o rótulo final é o OR lógico das decisões de categoria.
• Métricas: Além de Acurácia e F1, os autores introduzem o Score de Mudança de Política (PSS - Policy Shift Score). O PSS mede a capacidade de um modelo de lidar corretamente com pares de "flip" — instâncias onde a imagem e a categoria alvo permanecem constantes, mas a política ativa altera o rótulo de verdade fundamental de pass para block (ou vice-versa). Um modelo só recebe o crédito se prever corretamente ambos os lados do flip.

2. Modelo: PolicyShiftGuard

Os autores propõem o PolicyShiftGuard, um modelo de salvaguarda compacto treinado através de uma receita de dois estágios para lidar efetivamente com mudanças de política.

• Estágio 1: SFT de Política Aleatória (RP-SFT):
  • O modelo é treinado em dados de Ajuste Fino Supervisionado (SFT) condicionados à política, onde as imagens são disjuntas dos conjuntos de avaliação.
  • Aleatorização: A apresentação da política (ordem, identificadores de superfície, slots de categoria) é aleatorizada para evitar que o modelo dependa de posições ou templates fixos.
  • Objetivo: Ensina o modelo a seguir bundles de política completos e a produzir saídas concisas e estruturadas (ex: false ou true | <CategoryID>).
• Estágio 2: Adaptação de Política de Par de Fronteira (BP-Adapt):
  • Este estágio visa especificamente o modo de falha das salvaguardas de taxonomia fixa.
  • Dados de Treinamento: Construídos a partir de pares de fronteira correspondentes para a mesma imagem e categoria de risco: um prompt com uma política que permite a imagem (pass) e outro com uma política que a bloqueia (block).
  • Função de Perda: Combina a entropia cruzada padrão com uma perda de comparação de pares ($L_{pair}$). Esta perda força explicitamente o modelo a atribuir uma pontuação de "inseguro" mais alta para a política de bloqueio do que para a política de permissão para a mesma evidência visual, otimizando assim a margem de decisão para mudanças de política.

Resultados Principais

Experimentos no POLICYSHIFTBENCH revelam lacunas significativas nos sistemas existentes e a eficácia da abordagem proposta:

• Fragilidade de Modelos Existentes: Modelos de Linguagem Grande Multimodais (MLLMs) de propósito geral e salvaguardas especializadas alcançam pontuações F1 não triviais, mas pontuações PSS extremamente baixas (ex: GuardReasoner-VL-3B: 59,2 F1 vs. 3,2 PSS). Isso indica que eles reconhecem o risco, mas falham em adaptar as decisões às mudanças de política.
• Limitações de Escala: Aumentar o tamanho do modelo (ex: de 7B para 72B parâmetros) melhora o F1 geral, mas não resolve a lacuna de adaptação de política (ex: Qwen2.5-VL-72B alcança apenas 27,4 PSS).
• Desempenho do PolicyShiftGuard:
  • O modelo PolicyShiftGuard-7B alcança 76,9 de F1 Médio e 72,1 de PSS Médio, estabelecendo um novo estado da arte.
  • Ele supera significativamente seu modelo base (Qwen2.5-VL-7B), melhorando o F1 Médio de 20,6 para 76,9 e o PSS de 4,8 para 72,1.
  • Ele transfere bem para benchmarks externos como UnSafeBench e SafeEditBench.
• Troca Latência-Desempenho: O PolicyShiftGuard emprega um formato de saída conciso (decisões resolvidas em aproximadamente ~5 tokens), alcançando uma latência significativamente menor (163,9 ms para o modelo 7B) em comparação com abordagens pesadas de raciocínio e modelos de código fechado, mantendo um desempenho superior.

Significância e Alegações

O artigo alega três contribuições principais:

1. Benchmarking: A introdução do POLICYSHIFTBENCH estabelece um padrão rigoroso para avaliar a salvaguarda de imagem adaptável à política, indo além da detecção estática de segurança para o seguimento dinâmico de políticas.
2. Metodologia: O framework PolicyShiftGuard demonstra que combinar o seguimento de instrução de política aleatorizada com a supervisão explícita de pares de fronteira é essencial para uma adaptação de política estável. Os estudos de ablação confirmam que os pares de pass/block correspondentes são necessários para que o modelo aprenda a nuance das mudanças de política, em vez de simplesmente memorizar mais dados.
3. Implantação Prática: O trabalho destaca que, para salvaguardas do mundo real, latência e sensibilidade à política devem ser avaliadas conjuntamente. Os modelos propostos oferecem uma fronteira de Pareto favorável, fornecendo alto desempenho de adaptação de política com baixa latência de inferência, tornando-os adequados para caminhos críticos em pipelines de moderação de conteúdo.

Os autores concluem que salvaguardas de imagem eficazes devem fundamentar as decisões na política aplicada em vez de depender do reconhecimento fixo de seguro/inseguro, e que os modelos atuais falham amplamente em atender a esse requisito sem intervenções arquitetônicas e de treinamento específicas.