Resumo Técnico: PLURIHARMS – Avaliando o Espectro Completo dos Julgamentos Humanos sobre Danos de IA

Declaração do Problema

Os atuais frameworks de segurança de IA tratam predominantemente a nocividade como uma classificação binária (benigno vs. nocivo). Esta abordagem monolítica falha em abordar o "meio-termo ambíguo" onde comunidades e indivíduos humanos mantêm valores e perspectivas diversas. Ao focar em extremos claros, os datasets de segurança existentes obscurecem os casos limítrofes onde os sistemas têm maior probabilidade de falhar. Além disso, as práticas atuais frequentemente tratam a discordância dos anotadores nesses casos limítrofes como ruído estatístico a ser neutralizado pela média, em vez de um sinal crítico de pontos de vista legítimos e diversos. Esta estratégia binária cria uma barreira para o desenvolvimento de sistemas de IA pluralistas capazes de navegar por considerações de segurança complexas e dependentes de contexto.

Metodologia

Os autores introduzem o PLURIHARMS, um benchmark projetado para estudar sistematicamente os julgamentos de dano humanos através de duas dimensões principais: o eixo de dano (variando de benigno a nocivo) e o eixo de concordância (variando de consenso a discordância).

1. Estrutura de Curadoria de Dados

O dataset foi construído utilizando um framework automatizado de múltiplos estágios e escalável:

• Geração de Prompts: Partindo de 5.692 prompts semente do AIR-Bench 2024, os autores utilizaram o DeepSeek-V3 para gerar 11 variantes por semente, abrangendo uma escala de dano ordinal de 0.0 (completamente benigno) a 1.0 (inequivocamente nocivo). Isso resultou em 62.612 prompts candidatos.
• Extração de Características: Modelos especializados foram empregados para extrair características interpretáveis por humanos:
  • O SafetyAnalyst gerou "árvores de dano" decompondo os prompts em 16 categorias de ações nocivas e 7 categorias de efeitos nocivos.
  • O KALEIDO anotou os prompts com 39 categorias distintas de valores humanos (ex: direitos, deveres, liberdades).
• Curadoria Estratégica: Um algoritmo genético selecionou um conjunto final de 150 prompts. Os critérios de seleção priorizaram a sobreamostragem de níveis de dano intermediários (0.4–0.8) para maximizar as taxas de discordância, garantindo simultaneamente a diversidade entre ações, efeitos e valores.

2. Anotação Humana

• Participantes: 100 anotadores humanos recrutados via Prolific.
• Tarefa: Cada anotador avaliou todos os 150 prompts em uma escala contínua de 0–100 (0 = benigno, 100 = dano máximo).
• Traços dos Anotadores: O estudo coletou dados demográficos abrangentes (idade, gênero, raça, educação, renda, filiação política, etc.) e medidas psicológicas (Schwartz Value Survey, Moral Foundations Questionnaire, Interpersonal Reactivity Index, literacia em IA).

3. Análise e Avaliação

• Modelagem Estatística: Modelos de regressão linear de efeitos mistos com regularização Lasso foram utilizados para analisar as contribuições das características dos prompts (ações, efeitos, valores) e dos traços dos anotadores (demografia, psicologia) para os julgamentos de dano. Interações entre traços e características de prompts foram explicitamente modeladas.
• Benchmarking de IA: Os autores avaliaram vários modelos de segurança de IA (WildGuard, SafetyAnalyst, GPT-4.1, Claude, Qwen) e métodos de alinhamento (zero-shot, steering de perfil de valor, steering k-shot) em sua capacidade de prever avaliações humanas. As comparações foram feitas entre modelos alinhados a avaliações agregadas (média) versus avaliações personalizadas (individuais).

Principais Resultados

1. Validação do Espectro de Dano

As avaliações humanas correlacionaram-se fortemente com os níveis de dano sintéticos atribuídos durante a geração (Spearman $r = 0.59$). Crucialmente, níveis de dano intermediários a altos (0.4–0.8) exibiram significativamente maior variância e entropia de resposta, confirmando que o dataset atinge com sucesso casos de alta discordância humana.

2. Vetores de Julgamento de Dano

• Características do Prompt: Características relacionadas a riscos iminentes e danos tangíveis (ex: Dano à Criança, Autoflagelação, Atividades Criminosas, Dano Físico) exerceram a influência positiva mais forte na percepção de nocividade. Por outro lado, características relacionadas a domínios indiretos, não físicos ou institucionais (ex: Dano Psicológico, Dano Social, Diversidade Cultural) foram associadas a uma percepção de nocividade menor.
• Traços dos Anotadores: Traços dos anotadores predisseram significativamente as avaliações. Maior exposição à toxicidade online e frequência de redes sociais correlacionou-se com avaliações de maior nocividade. Por outro lado, maior educação, gênero masculino e filiação política liberal correlacionaram-se com avaliações menores.
• Interações: A discordância não é meramente aditiva; ela emerge de interações estruturadas. Por exemplo, a influência de orientações pró-sociais foi amplificada pela educação, e as diferenças políticas tornaram-se mais pronunciadas quando combinadas com a experiência de toxicidade online. Grupos demográficos específicos (ex: indivíduos não heterossexuais, minorias) mostraram sensibilidade aumentada a tipos específicos de dano, como Dano à Criança.

3. Desempenho dos Modelos de IA

• Personalização vs. Agregação: Métodos de alinhamento personalizados superaram consistentemente os métodos agregados. Alinhar modelos às avaliações individuais de anotadores reduziu significativamente o Erro Médio Absoluto (MAE) em comparação ao alinhamento com as avaliações médias humanas.
• Comparação de Métodos: O k-shot steering (fornecer pares prompt-avaliação em contexto) apresentou o desempenho mais forte, superando resumos de perfis de valor. Isso sugere que perfis de valor em linguagem natural não capturam totalmente os fatores latentes que impulsionam os julgamentos humanos.
• Capacidades dos Modelos: Modelos de propósito geral (ex: GPT-4.1, Claude) frequentemente superaram modelos de segurança especializados (ex: WildGuard, SafetyAnalyst) na previsão de avaliações de dano sutis, embora modelos especializados tenham apresentado menos falhas de recusa/conclusão.

Principais Contribuições

1. Framework: Um framework escalável para gerar prompts calibrados abrangendo um espectro ordinal de dano, enfatizando especificamente casos limítrofes propensos à discordância.
2. Benchmark (PLURIHARMS): Um dataset de 150 prompts com 15.000 avaliações humanas, enriquecido com traços de anotadores (demográficos/psicológicos) e características interpretáveis ao nível do prompt (ações, efeitos, valores).
3. Insights: Evidência empírica de que características de prompts ligadas a danos tangíveis ampliam a percepção de nocividade, enquanto traços de anotadores e suas interações explicam a discordância sistemática, destacando o papel das perspectivas pluralistas.
4. Avaliação: Um benchmark de modelos de segurança demonstrando que o alinhamento personalizado melhora significativamente a precisão da previsão em relação às abordagens baseadas em consenso, ao mesmo tempo em que destaca as limitações dos sistemas atuais.

Significância e Alegações

O artigo argumenta que mover-se além da segurança de "tamanho único" em direção a uma IA pluralisticamente segura requer sistemas que modelem a discordância em vez de colapsá-la em consenso. O PLURIHARMS fornece um benchmark principiológico para esta mudança.

Os autores alegam que:

• Julgamentos de segurança não são fatos objetivos, mas são moldados conjuntamente pelo conteúdo e pelas perspectivas humanas pluralistas.
• Tratar a discordância dos anotadores como ruído obscurece o "meio-termo ambíguo" onde os sistemas de segurança têm maior probabilidade de falhar.
• O alinhamento personalizado é um passo necessário para capturar a nuance dos julgamentos de dano humanos, pois modelos agregados inevitavelmente borram as diferenças sistemáticas decorrentes de diversas identidades sociais e orientações de valores.

O trabalho é modesto quanto ao seu escopo, reconhecendo limitações de escala, cobertura demográfica (baseada nos EUA, apenas em inglês) e o foco em prompts em vez de interações completas humano-IA. No entanto, estabelece um passo fundamental para compreender e modelar o espectro completo dos julgamentos humanos sobre danos.