🤖 machine learning

Understanding Annotator Safety Policy with Interpretability

Este artigo apresenta Modelos de Política de Anotador (MPAs), um framework interpretável que infere as políticas de segurança internas dos anotadores diretamente de seu comportamento de rotulagem para distinguir entre falhas operacionais, ambiguidade de política e pluralismo de valores, permitindo assim um design de política de segurança mais direcionado e inclusivo sem sobrecarga adicional de anotação.

Autores originais: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o chef de um restaurante massivo (um sistema de IA). Seu objetivo é servir comida que seja segura para todos comerem. Para isso, você contrata uma equipe de 100 críticos de comida diferentes (anotadores) para provar seus pratos e decidir: "Isso é seguro para servir?" ou "Isso é venenoso?"

O problema? Os críticos discordam. Às vezes, um crítico diz que um prato picante é "seguro", enquanto outro diz que é "tóxico". Às vezes, eles discordam porque não leram o cardápio corretamente. Às vezes, discordam porque as instruções do cardápio eram vagas. E às vezes, discordam porque genuinamente têm gostos culturais diferentes.

Normalmente, o gerente do restaurante apenas faz uma votação. Se 51% disserem "seguro", o prato é servido. Mas isso é perigoso. Isso esconde o fato de que 49% dos seus críticos acham que é veneno, e não diz a você por que eles discordaram.

Este artigo apresenta uma nova ferramenta chamada Modelos de Política de Anotadores (APMs). Pense nos APMs como "Óculos de Leitura Mental" que permitem ver exatamente como cada crítico decide o que é seguro, apenas olhando suas anotações passadas, sem nunca ter que pedir que eles expliquem a si mesmos.

Aqui está como o artigo desdobra isso:

1. O Problema: A "Caixa Preta" da Discordância

Quando críticos (humanos ou de IA) rotulam dados, eles frequentemente discordam.

Falhas Operacionais: O crítico não entendeu o trabalho. (Exemplo: Eles deveriam provar o molho do chef, mas provaram o molho picante do cliente em vez disso).
Ambiguidade de Política: O livro de regras era confuso. (Exemplo: A regra diz "Sem linguagem ofensiva", mas não diz se citar uma palavra ruim para uma lição conta como violação).
Pluralismo de Valores: Os críticos simplesmente têm valores diferentes. (Exemplo: Um crítico acha uma piada engraçada; outro acha que é dolorosa).

Normalmente, apenas contamos os votos. Mas se não sabemos por que votaram da maneira que votaram, não podemos corrigir o cardápio ou as regras.

2. A Solução: Os "Óculos de Leitura Mental" (APMs)

Em vez de perguntar aos críticos: "Por que você votou assim?" (o que é lento, caro e as pessoas frequentemente mentem ou esquecem), os autores construíram um modelo de computador que aprende o livro de regras interno do crítico apenas observando no que eles votam.

Como funciona: O modelo analisa milhares de votos passados. Ele encontra padrões. Por exemplo, pode perceber: "Ah, este crítico específico sempre vota 'inseguro' sempre que a palavra 'arma' aparece, mas não se importa com a palavra 'faca'."
A Magia: O modelo traduz esses padrões em regras simples e legíveis (como um fluxograma). Não diz apenas "Inseguro"; diz "Inseguro porque: Arma + Sem Contexto".
Sem Trabalho Extra: Os críticos não precisam fazer nada novo. O modelo apenas estuda seu trabalho existente.

3. O Que os Óculos Revelaram

Os autores testaram esses óculos em dois grupos: críticos de IA (LLMs) e críticos humanos.

A. Pegando Erros (Falhas Operacionais)
Os óculos mostraram que alguns críticos estavam olhando para a coisa errada. Eles estavam julgando a pergunta rude do cliente em vez da resposta educada do chef. O modelo identificou esse padrão instantaneamente, permitindo que o gerente reorientasse esses críticos específicos.

B. Encontrando Regras Vagas (Ambiguidade de Política)
Os óculos mostraram que alguns críticos estavam confusos com as regras. Por exemplo, quando um chef tentava mudar de assunto para evitar uma pergunta rude, alguns críticos marcaram como "inseguro" porque queriam uma recusa direta. O modelo destacou essa confusão, dizendo aos gerentes: "Ei, nosso livro de regras precisa ser mais claro sobre o que conta como uma recusa 'boa'."

C. Ouvindo Vozes Diferentes (Pluralismo de Valores)
Esta foi a parte mais interessante. Os óculos descobriram que críticos de diferentes origens (como diferentes idades ou níveis de educação) tinham diferentes "prioridades de segurança".

Exemplo: Um grupo de críticos achou que um modelo mudando educadamente de assunto era seguro. Outro grupo achou que era perigoso porque parecia que o modelo estava escondendo a verdade.
A Insight: Se você apenas fizer uma votação majoritária, você silencia o grupo minoritário. Os APMs permitem que você veja que esses diferentes grupos existem e do que se importam, para que você possa projetar um sistema que respeite mais perspectivas, em vez de apenas a mais barulhenta.

4. O Teste "E Se"

Para garantir que os óculos estavam funcionando, os autores fizeram uma pegadinha. Eles pegaram um texto que um crítico marcou como "inseguro" e usaram o modelo para descobrir exatamente o que o tornava inseguro. Em seguida, pediram a uma IA para mudar apenas aquela coisa (exemplo: trocar uma "bomba" por um "bolo").

O Resultado: Quando mostraram o novo texto ao crítico original, o crítico mudou seu voto para "seguro".
Por que importa: Isso provou que o modelo não estava apenas chutando; ele realmente entendia a lógica do crítico. Sabia exatamente qual ingrediente causou a etiqueta de "veneno".

Resumo

O artigo argumenta que não devemos apenas contar votos para decidir o que é seguro para a IA. Precisamos entender a lógica individual por trás dos votos.

Ao usar esses Modelos de Política de Anotadores, podemos:

Corrigir erros de treinamento.
Esclarecer regras confusas.
Garantir que pontos de vista diversos não sejam acidentalmente apagados por uma simples votação majoritária.

É como mudar de um restaurante onde você apenas faz uma votação no cardápio, para um restaurante onde você pode ver exatamente por que cada crítico gostou ou não de um prato, para que você possa fazer a comida melhor para todos.

Resumo Técnico: Compreendendo a Política de Segurança dos Anotadores com Interpretabilidade

Declaração do Problema

As políticas de segurança são fundamentais para definir e mitigar saídas prejudiciais de IA, mas os processos de anotação usados para treinar e avaliar esses sistemas sofrem de desacordos pervasivos. Esse desacordo decorre de três fontes distintas:

Falhas Operacionais: Anotadores entendem mal ou executam incorretamente a tarefa (por exemplo, rotulando o prompt do usuário em vez da resposta do modelo).
Ambiguidade da Política: As diretrizes de segurança contêm redação que permite múltiplas interpretações válidas (por exemplo, se a deflexão constitui uma recusa segura).
Pluralismo de Valores: Anotadores possuem perspectivas genuinamente diferentes sobre segurança com base em demografia, cultura e valores pessoais.

As práticas atuais, como a votação majoritária, confundem essas fontes, frequentemente falhando em abordar a ambiguidade genuína ou silenciando perspectivas minoritárias. Além disso, pedir diretamente aos anotadores que expliquem seu raciocínio é custoso, aumenta a carga de anotação e é frequentemente pouco confiável devido à racionalização post-hoc ou à infidelidade do raciocínio de cadeia de pensamento em LLMs. O artigo aborda o desafio de distinguir essas fontes de desacordo para permitir respostas direcionadas (por exemplo, melhor treinamento, refinamento de política ou design inclusivo) sem exigir esforço humano adicional.

Metodologia: Modelos de Política de Anotadores (APMs)

Os autores introduzem os Modelos de Política de Anotadores (APMs), modelos interpretáveis que aprendem as políticas de segurança internas de cada anotador diretamente de seu comportamento de rotulagem.

Arquitetura Central

Os APMs utilizam Modelos de Gargalo de Conceitos (CBMs) para decompor o processo de previsão em duas etapas:

Codificação de Conceitos ( $g$ ): O texto de entrada é mapeado para um espaço de características binário de $c$ conceitos relevantes para segurança. Para evitar o custo da rotulagem humana de conceitos, os autores empregam uma abordagem de CBM sem Rótulo. Eles geram uma lista candidata de conceitos a partir de conjuntos de dados de segurança (BeaverTails) usando GPT-4o, agrupam e resumem esses conceitos e, em seguida, utilizam modelos de incorporação (Gemini) para rotular a presença desses conceitos no texto por meio de similaridade de cosseno e do operador Sparsemax. Crucialmente, o espaço de conceitos captura a presença factual (por exemplo, "menção de uma arma") em vez de julgamentos interpretativos (por exemplo, "menção prejudicial").
Aprendizado de Política ( $f$ ): Para cada anotador $k$ $k$ , uma função simples e interpretável é treinada para mapear o vetor de conceitos binário para um rótulo seguro/inseguro. Os autores propõem duas classes de modelos:
- Regressão Logística Não Negativa (NNLR): Os pesos são restringidos a serem não negativos, garantindo que o modelo assuma "seguro" por padrão e preveja apenas "inseguro" quando características positivas acumularem evidências suficientes.
- Forma Normal Disjuntiva (DNF): Regras booleanas na forma "OUs de E", onde qualquer regra única acionada dispara uma previsão de "inseguro". Isso alinha-se com a intuição de que uma única violação de política torna o texto inseguro.

Princípios de Design

Apenas Características Positivas: As características representam a presença de conceitos, não sua ausência, para evitar correlações espúrias (por exemplo, "inseguro porque falta comida").
Seguro até que se Prove Inseguro: Os modelos assumem uma previsão segura por padrão, a menos que características inseguras específicas estejam presentes.

Validação e Resultados

Os autores validam os APMs usando tanto dados de anotação de LLM quanto de humanos.

Validação com LLM

Usando os conjuntos de dados BeaverTails e WildGuardMix, os APMs foram treinados em cinco diferentes anotadores LLM (GPT-4o, GPT-4o-mini e vários modelos Qwen).

Precisão Preditiva: Os APMs alcançaram 73–90% de precisão e 0,78–0,95 de AUC (para NNLR) entre os anotadores LLM, demonstrando que modelos interpretáveis simples podem aproximar o comportamento de modelos fundamentais complexos.
Generalização: Conceitos extraídos do BeaverTails generalizaram-se bem para o WildGuardMix com degradação mínima de desempenho.
Recuperação Controlada de Política: Em experimentos sintéticos onde "Alice" (trata armas como seguras) e "Bob" (trata drogas como seguras) foram simulados, os APMs recuperaram com sucesso essas diferenças de política conhecidas. A "comparação" dos modelos (comparando conjuntos de características) identificou automaticamente os conceitos específicos que impulsionavam a divergência.
Fidelidade Contrafactual: Quando as entradas foram minimamente modificadas para remover características identificadas pelo APM como causadoras de um rótulo "inseguro", a previsão do anotador original mudou na maioria dos casos, confirmando que os APMs capturam características causalmente relevantes em vez de meras correlações.

Aplicações em Anotação Humana (Conjunto de Dados DICES)

Aplicados ao conjunto de dados DICES (350 interações avaliadas por 123 anotadores humanos), os APMs trouxeram à tona três insights principais:

Falhas Operacionais: Identificou anotadores que rotularam sistematicamente a interação completa como insegura em vez de apenas a resposta do modelo, indicando um mal-entendido da tarefa.
Ambiguidade da Política: Revelou desacordos em casos limítrofes, como se "deflexão" ou "perguntas de acompanhamento" sobre tópicos prejudiciais constituem respostas seguras, destacando onde a redação da política é pouco clara.
Pluralismo de Valores: Ao treinar APMs em grupos demográficos (por exemplo, Millennials vs. Geração X+, Universitários vs. Ensino Médio), os autores encontraram diferenças sistemáticas nas prioridades de segurança. Por exemplo, anotadores Millennials foram mais propensos a sinalizar a "redireção gentil" de argumentos da Terra plana como insegura em comparação com anotadores da Geração X+.
- Contribuição Única de Regra (URC): O estudo validou que regras únicas aprendidas por APMs específicos de grupo ativaram preferencialmente em amostras onde esse grupo discordava dos outros, confirmando que essas regras capturam diferenças comportamentais genuínas.
- Supressão pela Votação Majoritária: A análise mostrou que a agregação por votação majoritária obscurece as perspectivas de grupos minoritários. Os APMs identificaram uma proporção significativa de amostras consideradas inseguras por grupos demográficos específicos, mas seguras pela maioria, sugerindo que a agregação padrão apaga essas preocupações de segurança.

Principais Contribuições

Modelos Interpretáveis de Política de Anotadores: A introdução de APMs para modelar explicitamente as políticas de segurança de cada anotador usando técnicas de interpretabilidade de ML sem exigir esforço adicional de anotação.
Validação Extensiva: Demonstração de que os APMs modelam com precisão o comportamento do anotador (>80% de precisão em LLMs), preveem fielmente respostas a edições contrafactuais e recuperam diferenças de política conhecidas em ambientes controlados.
Evidência das Fontes de Desacordo: Evidência empírica de que os APMs podem distinguir falhas operacionais, ambiguidade de política e pluralismo de valores em pipelines de anotação humana.
Análise Demográfica: A revelação de diferenças sistemáticas na priorização de segurança entre grupos demográficos e a demonstração de como a votação majoritária suprime essas diversas perspectivas.

Significado e Alegações

O artigo alega que os APMs fornecem um mecanismo para tornar o raciocínio dos anotadores visível e comparável, indo além de métodos de agregação opacos. Ao desvendar as fontes de desacordo, os desenvolvedores podem responder adequadamente:

Falhas operacionais podem ser abordadas por meio de treinamento aprimorado e controle de qualidade.
Ambiguidade da política pode ser resolvida por meio de refinamento e esclarecimento direcionados da política.
Pluralismo de valores pode ser abordado por meio de deliberação sobre como incorporar perspectivas diversas, potencialmente concatenando regras únicas de grupos sub-representados ao modelo de votação majoritária para garantir uma cobertura de segurança inclusiva.

Os autores enfatizam que, embora o foco seja a segurança, a metodologia é generalizável para qualquer tarefa de anotação subjetiva. Eles notam limitações, incluindo a dependência de conceitos gerados por LLM e o fato de que os APMs revelam o que os anotadores discordam, mas não necessariamente o porquê sociológico profundo sem estudos de usuário adicionais. O trabalho posiciona os APMs como uma ferramenta de diagnóstico para melhorar a transparência, o direcionamento e a inclusividade do design de políticas de segurança de IA.