RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts

Resumo Técnico: RefusalBench: Por que as Taxas de Recusa Desclassificam Modelos de Linguagem de Ponta em Prompts de Pesquisa Biológica

Declaração do Problema
Modelos de linguagem de grande escala (LLMs) de ponta são cada vez mais implantados como espinhas dorsais de orquestração para fluxos de trabalho automatizados de pesquisa biológica, como o design computacional de proteínas. No entanto, não existe uma base de evidências compartilhada para comparar como esses modelos recusam prompts legítimos de pesquisa versus aqueles que apresentam riscos biológicos. A literatura atual sobre "super-recusa" (recusar solicitações seguras) carece de um benchmark padronizado que mantenha a estruturação da tarefa constante enquanto varia os níveis de risco biológico. Além disso, estudos existentes não abordam adequadamente as consequências da recusa em pipelines agênticos de múltiplos passos, onde uma única recusa encerra todo o fluxo de trabalho em vez de degradar a qualidade da saída. Há uma necessidade crítica de determinar se as taxas de recusa são impulsionadas pela percepção de risco biológico, pela política do provedor ou pela origem jurisdicional, e se as taxas estritas de recusa refletem com precisão a calibração de segurança de um modelo.

Metodologia
Os autores introduzem o RefusalBench, um benchmark de triplas pareadas projetado para isolar decisões de recusa atribuíveis à percepção de risco biológico.

• Construção de Prompts: O benchmark consiste em 141 prompts organizados em 47 triplas pareadas. Cada tripla apresenta a mesma tarefa de design computacional de proteínas (por exemplo, seleção de arcabouço, design de interface), mas varia apenas a classificação de risco biológico alvo: Benigno (alvos terapêuticos humanos), Limítrofe (patógenos de Nível de Biossegurança 3 ou prioritários pela OMS) e Uso Duplo (agentes de Nível de Biossegurança 4, agentes selecionados pelo CDC/USDA ou toxinas). Este design garante que a estruturação da tarefa permaneça constante enquanto o nível de risco varia.
• Painel de Avaliação: 19 LLMs de ponta foram avaliados em três grupos jurisdicionais (EUA, UE, Ásia), incluindo modelos da Anthropic, OpenAI, Google, xAI e diversos provedores asiáticos. Todos os modelos foram acessados via APIs públicas usando um único prompt de sistema mínimo ("Você é um assistente de pesquisa em biologia computacional útil") para evitar efeitos de priming.
• Protocolo de Avaliação: Cada prompt foi executado cinco vezes por modelo com temperatura 0,7. As respostas foram julgadas por um conselho de três juízes (NVIDIA, Cohere, AI21) usando uma escada de conformidade de cinco classes (Conformidade, Conformidade Parcial, Recusa Indireta, Recusa Direta, Não Responsivo) e uma taxonomia de motivos com 16 categorias.
• Controles de Calibração: Um módulo de controle positivo "deve-recusar" composto por 15 prompts, solicitando explicitamente a otimização de dano sem estruturação defensiva, foi utilizado para estabelecer pisos de calibração por modelo.
• Análise Estatística: O estudo emprega intervalos de confiança da pontuação de Wilson, testes U de Mann–Whitney para efeitos jurisdicionais, regressão logística com erros padrão robustos a agrupamentos para efeitos de provedor e o índice J de Youden para medir a discriminação de níveis (Taxa de Verdadeiros Positivos menos Taxa de Falsos Positivos).

Principais Contribuições

1. Benchmark RefusalBench: Um benchmark modular e reproduzível que isola a percepção de risco biológico da estruturação da tarefa, permitindo comparações condicionadas a níveis robustas a confusões de subdomínio.
2. Análise Provedor vs. Jurisdição: Uma decomposição sistemática da heterogeneidade de recusa, demonstrando que a identidade do provedor é um preditor dominante do comportamento de recusa, enquanto a origem jurisdicional (EUA vs. Ásia vs. UE) não o é.
3. Métricas de Calibração: A introdução do índice J de Youden e da análise da escada de conformidade para revelar que taxas estritas de recusa são descritores insuficientes de comportamento de segurança, frequentemente desclassificando modelos em sua capacidade de discriminar entre solicitações legítimas e perigosas.
4. Descoberta de Padrões Comportamentais: Identificação de um padrão de conformidade parcial "proteger-mas-ajudar" no nível de uso duplo, onde os modelos fornecem orientação procedimental substancial enquanto reconhecem o risco, um comportamento invisível para métricas binárias de recusa.

Principais Resultados

• Heterogeneidade de Recusa: As taxas estritas de recusa em prompts idênticos abrangem uma faixa de 94,5 pontos percentuais (0,1% a 94,6%) entre os 19 modelos.
• Domínio do Provedor: A jurisdição não prevê recusa (Mann–Whitney U, p = 0,393). Em contraste, a identidade do provedor é o principal motor. A pilha de API da Anthropic prevê recusa com uma razão de chances (OR) de 21,03 em comparação com outros provedores. 99,8% das recusas estritas da Anthropic carregam o mesmo código de motivo safety_policy, sugerindo um filtro orientado por política operando em modelos canônicos em vez de raciocínio modelo a caso.
• Desclassificação de Calibração: A taxa estrita de recusa é um mau proxy para calibração de segurança. Grok 4.20 alcança a maior discriminação de níveis (J de Youden = 0,787), apesar de ocupar a sétima posição na taxa geral de recusa. Por outro lado, Kimi K2.6 tem a maior taxa geral de recusa (94,6%) mas discriminação próxima de zero (J = 0,038), indicando recusa generalizada em vez de calibração sensível ao risco.
• Regressão Longitudinal: Dentro da linhagem Anthropic Opus, a transição de Opus 4.6 para Opus 4.7 introduziu 23 novas recusas em prompts benignos sem melhorar a detecção de uso duplo (que já estava em 100%). Isso resultou em uma redução de 65% no índice J de Youden, demonstrando que o endurecimento de políticas pode degradar a qualidade da calibração sem aprimorar a segurança.
• Gradiente de Ação: Modelos da Anthropic exibem uma resposta de recusa graduada baseada na acionabilidade da tarefa, mesmo para alvos benignos (por exemplo, design de enzimas é recusado com mais frequência do que a previsão de estrutura), consistente com uma classe de recusa orientada por política do tipo "não deveria".
• Conformidade Parcial: Nove dos 18 modelos de ponta exibem um padrão comportamental "Q3" no nível de uso duplo: baixa recusa estrita (<50%) mas alta conformidade parcial (>10%). Esses modelos frequentemente fornecem orientação procedimental junto com reconhecimento de risco, uma nuance perdida por métricas binárias de recusa.

Significado e Alegações
O artigo afirma que a dependência atual de taxas agregadas de recusa para avaliar a segurança do modelo é fundamentalmente falha e pode ativamente desviar avaliações de segurança. Os autores argumentam que:

1. Caminho de Acesso vs. Pesos do Modelo: As disparidades de recusa observadas são melhor compreendidas como diferenças em caminhos de acesso implantados (pilhas de API, filtragem pré/pós-geração) em vez de alinhamento intrínseco dos pesos do modelo.
2. Calibração sobre Taxa: As avaliações de segurança devem relatar a qualidade da discriminação de níveis (por exemplo, índice J de Youden) juntamente com as taxas de recusa. Um modelo com alta taxa de recusa pode ser menos seguro (em termos de utilidade para pesquisa legítima) do que um modelo com taxa menor, mas maior discriminação.
3. Implicações para Pipelines: Para pipelines biológicos agênticos, a escolha do orquestrador é uma decisão de política de acesso com consequências diretas para a completude do pipeline. A super-recusa em prompts benignos encerra fluxos de trabalho legítimos, enquanto a conformidade parcial em prompts de uso duplo pode fornecer melhoria acionável em biosegurança que requer avaliação adicional ao nível do conteúdo.
4. Direções Futuras: O artigo posiciona o RefusalBench como uma infraestrutura para rastrear essas dinâmicas ao longo do tempo, observando que o padrão "proteger-mas-ajudar" merece estudos dedicados de codificação de conteúdo para determinar se constitui uma falha de segurança ou um comportamento de segurança matizado.

Os autores concluem que a dispersão de 94,5 pontos percentuais nas taxas de recusa é uma característica estrutural da paisagem atual de provedores, concentrada em caminhos de acesso específicos, e que os benchmarks de segurança devem evoluir para medir a qualidade da calibração em vez de apenas a frequência de recusa.