Open-Domain Safety Policy Construction

Resumo Técnico: Deep Policy Research (DPR)

1. O Problema

As camadas de moderação de conteúdo são componentes essenciais em produtos baseados em conteúdo gerado por usuários ou modelos. No entanto, a redação e a manutenção de políticas de segurança específicas para cada domínio são processos custosos e intensivos em mão de obra. Eles exigem expertise de domínio, iterações repetidas e atualizações frequentes à medida que os produtos evoluem e novos casos de borda surgem.

Embora existam estudos sobre como aplicar políticas automaticamente, a premissa atual é que uma política escrita por humanos é um pré-requisito para iniciar qualquer sistema de moderação. O artigo desafia essa suposição, perguntando: "Podemos utilizar Grandes Modelos de Linguagem (LLMs) para auxiliar na redação das próprias políticas?"

2. Metodologia: Deep Policy Research (DPR)

Os autores propõem o DPR, um sistema agênico minimalista projetado para redigir automaticamente uma política completa de moderação de conteúdo baseada apenas em uma informação de semente (seed) escrita por humanos (uma definição concisa do domínio) e acesso a um mecanismo de busca na web.

O DPR opera como um agente de pesquisa que executa um loop iterativo de $k$ iterações, utilizando apenas uma ferramenta externa (busca na web) e um esquema de "andaime" (scaffolding) leve. O processo consiste em três etapas principais por iteração:

1. Geração de Consultas (Query Generation):

   • O agente analisa a organização atual da política (índice) e identifica lacunas de cobertura ou partes ambíguas.
   • Gera consultas de pesquisa direcionadas para definir limites, casos de borda comuns, subtipos de alto risco e sinais de aplicação.
   • Recupera os principais resultados da busca (títulos, snippets, URLs) como evidência.

2. Extração e Consolidação de Regras:

   • O LLM extrai regras candidatas da evidência recuperada, formatando-as como predicados curtos com limites de decisão claros.
   • Realiza uma auto-crítica para refinar as regras: remove regras irrelevantes ou genéricas, funde regras redundantes e resolve conflitos priorizando fontes múltiplas ou de maior qualidade.

3. Indexação (Indexing):

   • As novas regras são mescladas ao rascunho da política.
   • O sistema organiza o conjunto completo de regras em seções coerentes usando agrupamento baseado em frases-chave (keyphrase-based clustering).
   • O LLM nomeia cada cluster e escreve um resumo da seção, criando um documento de política indexado e legível.

O objetivo não é criar arquiteturas complexas, mas sim isolar um loop de pesquisa mínimo e reprodutível que produza políticas estruturadas com utilidade mensurável downstream.

3. Contribuições Principais

• Definição de uma Nova Tarefa: Introduz a "Construção de Políticas de Domínio Aberto", onde a entrada é uma especificação de domínio e um motor de busca, e a saída é um documento de política estruturado.
• Sistema Agênico Minimalista: Demonstra que um agente simples, usando apenas busca na web e scaffolding leve, pode sintetizar políticas complexas sem necessidade de ferramentas externas pesadas ou fine-tuning massivo.
• Utilidade Downstream: A avaliação não é baseada apenas na qualidade textual, mas na eficácia prática: como a política gerada melhora a precisão de um modelo de moderação (reader LLM) quando usada em contexto (in-context learning).
• Reprodutibilidade: O código e os prompts são liberados publicamente, permitindo que a comunidade estude agentes de redação de políticas.

4. Resultados e Avaliação

O DPR foi avaliado em dois cenários distintos:

A. Benchmark de Conteúdo Indesejado da OpenAI (Texto)

• Domínios: Sexual, Odio, Violência, Assédio e Automutilação.
• Modelos Leitores: Llama 3.1 8B e Qwen2.5 7B.
• Comparação: DPR foi comparado com: (1) Apenas a informação de semente, (2) Aprendizado em contexto (few-shot) com exemplos humanos, e (3) Um sistema de pesquisa profunda geral (OpenAI Deep Research).
• Desempenho:
  • DPR superou consistentemente todas as baselines.
  • No Llama 3.1 8B, o F1 médio aumentou de 0.752 (apenas semente) para 0.792.
  • No Qwen2.5 7B, o F1 médio subiu de 0.810 para 0.831.
  • Os ganhos foram mais significativos em categorias subjetivas (Violência, Assédio, Automutilação), onde definições apenas textuais deixam ambiguidades.
  • DPR superou o sistema de pesquisa geral da OpenAI, sugerindo que um loop de pesquisa estruturado e específico para a tarefa é mais eficaz para redação de políticas do que uma pesquisa genérica.

B. Benchmark Interno de Moderação Multimodal (Anúncios)

• Cenário: Substituição de seções específicas de uma política humana por seções geradas pelo DPR em anúncios (texto + imagem).
• Domínios: Enganoso, Alegações Financeiras, Exploratório e Ofensivo.
• Desempenho:
  • Substituir uma seção humana por DPR recuperou a maior parte do benefício da política original em vários domínios.
  • Em domínios como "Enganoso" (Misrepresentative) e "Exploratório" (Exploitative), o DPR alcançou desempenho quase paritário com a política humana (98% da performance humana no cenário de votação majoritária).
  • Limitação: O domínio de "Alegações Financeiras" permaneceu um outlier, pois depende fortemente de linguagem de conformidade específica da organização e padrões de isenção de responsabilidade que não estão facilmente disponíveis na web aberta.

5. Significado e Conclusão

O artigo demonstra que é viável autonomamente sintetizar políticas de segurança eficazes a partir de orientações humanas de alto nível e pesquisa na web.

• Viabilidade: O DPR prova que agentes podem automatizar a fase de redação de políticas, reduzindo a dependência de especialistas humanos para a criação inicial e a cobertura de casos de borda.
• Eficiência: Um loop de pesquisa simples e estruturado supera abordagens genéricas de "pesquisa profunda", indicando que a estrutura da tarefa é crucial para a redação de políticas.
• Aplicabilidade Prática: As políticas geradas não são apenas teóricas; elas melhoram diretamente a precisão de modelos de classificação de segurança em cenários reais de texto e multimídia.
• Futuro: O trabalho abre caminho para agentes que podem gerar exemplos ilustrativos junto com as regras para esclarecer limites de decisão e adaptar a apresentação da política a modelos leitores específicos.

Em suma, o DPR oferece uma solução escalável para o custo de manutenção de políticas de segurança, permitindo que sistemas de moderação se adaptem rapidamente a novos domínios com intervenção humana mínima.