Resumo Técnico: Melhorando a Consistência de Rotulagem com Definições Constitucionais Detalhadas e Avaliação Impulsionada por IA

Declaração do Problema

Pipelines de rotulagem automatizada, particularmente em moderação de conteúdo, dependem de "rótulos dourados" derivados de especificações de categoria escritas. No entanto, definições padrão (frequentemente de uma ou duas frases) carecem da granularidade necessária para resolver casos limite de forma consistente. Quando as definições são muito breves, anotadores humanos e Modelos de Linguagem de Grande Escala (LLMs) recorrem a seus priors de treinamento internos ou intuição em vez das regras escritas. Isso leva a um desvio significativo na precisão e consistência da rotulagem, especialmente quando diferentes modelos ou anotadores interpretam a mesma definição curta de maneiras distintas. Além disso, os limites da memória de trabalho humana impedem que os anotadores retenham especificações complexas e repletas de regras, fazendo com que eles comprimam essas especificações em heurísticas.

Metodologia

Os autores propõem um fluxo de trabalho impulsionado por IA centrado em Especificações Constitucionais. Diferentemente de trabalhos anteriores de "IA Constitucional" focados em princípios comportamentais ou aplicação em tempo de execução, esta abordagem trata a constituição como uma especificação operacional detalhada, por categoria, projetada para produzir rótulos dourados consistentes para processos a jusante.

1. Estrutura da Constituição

Cada categoria (por exemplo, Assédio, Discurso de Ódio, Crime Não Violento) é definida por um documento estruturado em Markdown (~300+ linhas) contendo:

• Definição e Lógica de Decisão: Regras explícitas para acionar uma classificação positiva.
• Elementos Obrigatórios: Critérios específicos que devem ser todos atendidos.
• Notas de Roteamento e Limites: Decisões sobre categorias adjacentes e casos limite (por exemplo, distinguir crítica política de assédio).
• Exemplos Resolvidos: Raciocínio passo a passo para casos positivos e negativos.
• Formulação de Duplo Eixo: Dois rótulos binários independentes por categoria:
  • Intenção: Uma tentativa de causar ou obter dano.
  • Conteúdo: Material prejudicial aparecendo na conversa.
  • Nota: A avaliação ocorre sobre a conversa completa em vez de mensagens individuais para capturar ataques multi-turno e escalada gradual.

2. Pipeline de Autoria e Refinamento

O fluxo de trabalho segue um padrão "humano-direciona-IA-executa":

• Autoria: Humanos identificam lacunas (por exemplo, uma classificação incorreta ou um novo padrão de ataque) e direcionam a IA a revisar a constituição.
• Validação Cruzada entre Modelos: A constituição é aplicada a conversas de produção usando múltiplos LLMs de ponta de diferentes fornecedores (por exemplo, OpenAI, Anthropic, Google). Desacordos entre esses modelos são tratados como sinais diagnósticos indicando seções ambíguas ou incompletas da especificação.
• Loop de Refinamento: Uma habilidade de agente rastreia desacordos até seções constitucionais específicas, elabora correções direcionadas e as submete para revisão humana. Uma vez mescladas, a constituição é revalidada. Este processo iterativo converte decisões implícitas em explícitas.

3. Configuração de Avaliação

A abordagem foi avaliada em três categorias: Assédio, Crime Não Violento e Discurso de Ódio.

• Conjuntos de Dados: HarmBench (para medir divergência de definições e concordância entre avaliadores) e WildChat (para avaliar estabilidade entre modelos sob condições de produção realistas).
• Linhas de Base: Seis fontes de definição foram comparadas, incluindo quatro taxonomias publicadas (OpenAI, Llama Guard 3, MLCommons AILuminate, AEGIS), uma definição em nível de parágrafo e a constituição refinada final.
• Métricas: Taxas de desacordo par a par por 1.000 conversas e unanimidade de três avaliadores (comparando três anotadores humanos versus três LLMs de ponta lendo a mesma constituição).

Principais Resultados

1. Redução no Desacordo entre Modelos

A abordagem constitucional reduziu significativamente a inconsistência entre diferentes LLMs.

• No WildChat, o desacordo entre modelos foi reduzido em até 57× comparado a definições em nível de parágrafo.
• Para modelos de ponta (por exemplo, GPT-5.4, Opus 4.6, Gemini 3.1), as taxas de desacordo caíram para menos de 3 por 1.000 conversas, enquanto definições em parágrafo resultaram em taxas variando de 2 a 66 por 1.000.
• A redução foi mais dramática para categorias amplas como Crime Não Violento, onde definições curtas falharam em resolver subtipos, enquanto a constituição forneceu decisões de limites explícitas.

2. Superioridade de LLMs sobre Humanos na Aplicação de Especificações

Contrariando a suposição de que humanos são o padrão-ouro para aplicar regras, o estudo descobriu que três LLMs de ponta lendo a mesma constituição alcançaram maior unanimidade do que três anotadores humanos lendo o mesmo documento.

• Crime Não Violento: A não-unanimidade dos LLMs foi de 84,2 por 1.000 versus 301,0 para humanos.
• Assédio: A não-unanimidade dos LLMs foi de 37,9 versus 43,4 para humanos.
• Análise: Anotadores humanos frequentemente falharam ao tratar classificação multi-rótulo como única-rótulo (escolhendo uma categoria sobre outra) ou ao sinalizar dano superficial sem aplicar a lógica de decisão específica. LLMs, por outro lado, avaliaram cada categoria independentemente e aplicaram consistentemente o contexto completo do documento.

3. Valor Diagnóstico do Desacordo

O desacordo entre modelos serviu como uma ferramenta diagnóstica eficaz. A maioria dos desacordos residuais entre modelos de ponta não foram falhas de seguimento de instruções, mas ambiguidades genuínas onde a constituição aplicava múltiplas disposições sem um prior compartilhado sobre suspeita do usuário. Esses casos foram usados para refinar a "postura conservadora" e adicionar decisões de limites específicas.

Significado e Alegações

O artigo alega que constituições estruturadas por categoria acopladas a painéis de consenso de LLMs oferecem uma solução escalável para produzir rótulos dourados precisos, consistentes e auditáveis.

• Mudança no Papel Humano: O papel humano muda de anotação por conversa (que é propensa a desvio e sobrecarga cognitiva) para autoria de especificações e triagem de desacordos.
• Precisão Operacional: A formulação de duplo eixo (intenção/conteúdo) fornece aos consumidores a jusante (por exemplo, equipes de segurança, suporte ao cliente) sinais distintos. Por exemplo, um sistema pode registrar "intenção sem conteúdo" para investigar abusadores recorrentes mesmo se o modelo recusou a solicitação, uma distinção perdida em sistemas de rótulo único.
• Escalabilidade: A abordagem demonstra que a IA pode manter e refinar especificações complexas que excedem a capacidade da memória de trabalho humana, garantindo que o "rótulo dourado" permaneça estável entre diferentes modelos e ao longo do tempo.

Os autores notam limitações, incluindo a necessidade de melhor filtragem de correções geradas por IA antes de entrarem em um pipeline CI/CD e a observação de que modelos atuais podem lutar com listas de exceções extremamente longas ou complexas. No entanto, a descoberta central é que especificação mais rigorosa, aplicada por validação impulsionada por IA, produz resultados de segurança mais consistentes do que depender de definições curtas ou intuição humana.