RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts

Resumen Técnico: RefusalBench: Por qué la tasa de rechazo clasifica erróneamente a los LLM de vanguardia en solicitudes de investigación biológica

Enunciado del Problema
Los modelos de lenguaje grandes (LLM) de vanguardia se despliegan cada vez más como columnas vertebrales de orquestación para flujos de trabajo automatizados de investigación biológica, como el diseño computacional de proteínas. Sin embargo, no existe una base de evidencia compartida para comparar cómo estos modelos rechazan solicitudes legítimas de investigación frente a aquellas que plantean riesgos biológicos. La literatura actual sobre el "exceso de rechazo" (rechazar solicitudes seguras) carece de una evaluación estandarizada que mantenga constante la formulación de la tarea mientras varía los niveles de riesgo biológico. Además, los estudios existentes no abordan adecuadamente las consecuencias del rechazo en pipelines agénticos de múltiples pasos, donde un solo rechazo termina todo el flujo de trabajo en lugar de degradar la calidad de la salida. Existe una necesidad crítica de determinar si las tasas de rechazo están impulsadas por la percepción del riesgo biológico, la política del proveedor o el origen jurisdiccional, y si las tasas estrictas de rechazo reflejan con precisión la calibración de seguridad de un modelo.

Metodología
Los autores presentan RefusalBench, una evaluación de triplets emparejados diseñada para aislar las decisiones de rechazo atribuibles a la percepción del riesgo biológico.

• Construcción de Solicitudes: La evaluación consta de 141 solicitudes organizadas en 47 triplets emparejados. Cada triplet presenta la misma tarea de diseño computacional de proteínas (por ejemplo, selección de andamios, diseño de interfaces) pero varía únicamente la clasificación de riesgo biológico objetivo: Benigno (objetivos terapéuticos humanos), Límite (patógenos de nivel de bioseguridad 3 o prioritarios de la OMS) y Uso dual (nivel de bioseguridad 4, agentes selectos de los CDC/USDA o toxinas). Este diseño asegura que la formulación de la tarea permanezca constante mientras varía el nivel de riesgo.
• Panel de Evaluación: Se evaluaron 19 LLM de vanguardia en tres grupos jurisdiccionales (EE. UU., UE, Asia), incluyendo modelos de Anthropic, OpenAI, Google, xAI y diversos proveedores asiáticos. Todos los modelos se accedieron mediante APIs públicas utilizando un único prompt de sistema mínimo ("Eres un asistente de investigación en biología computacional útil") para evitar efectos de primado.
• Protocolo de Evaluación: Cada solicitud se ejecutó cinco veces por modelo con una temperatura de 0.7. Las respuestas fueron juzgadas por un consejo de tres jueces (NVIDIA, Cohere, AI21) utilizando una escalera de cumplimiento de cinco clases (Cumplimiento, Cumplimiento Parcial, Rechazo Indirecto, Rechazo Directo, No Responsivo) y una taxonomía de razones de 16 categorías.
• Controles de Calibración: Se utilizó un módulo de control positivo de "debería rechazar" de 15 solicitudes, que pedían explícitamente la optimización del daño sin un encuadre defensivo, para establecer los pisos de calibración por modelo.
• Análisis Estadístico: El estudio emplea intervalos de confianza de la puntuación de Wilson, pruebas U de Mann–Whitney para efectos jurisdiccionales, regresión logística con errores estándar robustos a agrupaciones para efectos del proveedor, y el índice J de Youden para medir la discriminación de niveles (Tasa de Verdaderos Positivos menos Tasa de Falsos Positivos).

Contribuciones Clave

1. Evaluación RefusalBench: Una evaluación modular y reproducible que aísla la percepción del riesgo biológico de la formulación de la tarea, permitiendo comparaciones condicionadas por niveles robustas a la confusión de subdominios.
2. Análisis de Proveedor vs. Jurisdicción: Una descomposición sistemática de la heterogeneidad del rechazo, demostrando que la identidad del proveedor es un predictor dominante del comportamiento de rechazo, mientras que el origen jurisdiccional (EE. UU. vs. Asia vs. UE) no lo es.
3. Métricas de Calibración: La introducción del índice J de Youden y el análisis de la escalera de cumplimiento para revelar que las tasas estrictas de rechazo son descriptores insuficientes del comportamiento de seguridad, clasificando a menudo erróneamente a los modelos en su capacidad para discriminar entre solicitudes legítimas y peligrosas.
4. Descubrimiento de Patrones de Comportamiento: Identificación de un patrón de "cumplimiento parcial de tipo 'reserva pero ayuda'" en el nivel de uso dual, donde los modelos proporcionan orientación procedimental sustantiva mientras reconocen el riesgo, un comportamiento invisible para las métricas binarias de rechazo.

Resultados Clave

• Heterogeneidad del Rechazo: Las tasas estrictas de rechazo en solicitudes idénticas abarcan un rango de 94.5 puntos porcentuales (0.1% a 94.6%) entre los 19 modelos.
• Dominio del Proveedor: La jurisdicción no predice el rechazo (U de Mann–Whitney, p = 0.393). Por el contrario, la identidad del proveedor es el motor principal. La pila de API de Anthropic predice el rechazo con una razón de probabilidades (OR) de 21.03 en comparación con otros proveedores. El 99.8% de los rechazos estrictos de Anthropic llevan el mismo código de razón safety_policy, lo que sugiere un filtro impulsado por políticas que opera sobre plantillas canónicas en lugar de un razonamiento modelo por caso.
• Clasificación Errónea de Calibración: La tasa estricta de rechazo es un mal proxy para la calibración de seguridad. Grok 4.20 logra la mayor discriminación de niveles (J de Youden = 0.787) a pesar de ocupar el séptimo lugar por tasa de rechazo general. Por el contrario, Kimi K2.6 tiene la tasa de rechazo general más alta (94.6%) pero una discriminación casi nula (J = 0.038), lo que indica un rechazo generalizado en lugar de una calibración sensible al riesgo.
• Regresión Longitudinal: Dentro de la línea de Anthropic Opus, la transición de Opus 4.6 a Opus 4.7 introdujo 23 nuevos rechazos en solicitudes benignas sin mejorar la detección de uso dual (que ya estaba al 100%). Esto resultó en una reducción del 65% en el índice J de Youden, demostrando que el endurecimiento de las políticas puede degradar la calidad de la calibración sin mejorar la seguridad.
• Gradiente de Accionabilidad: Los modelos de Anthropic exhiben una respuesta de rechazo graduada basada en la accionabilidad de la tarea incluso para objetivos benignos (por ejemplo, el diseño de enzimas se rechaza con más frecuencia que la predicción de estructuras), consistente con una clase de rechazo impulsada por la política de "no debería".
• Cumplimiento Parcial: Nueve de los 18 modelos de vanguardia exhiben un patrón de comportamiento "Q3" en el nivel de uso dual: bajo rechazo estricto (<50%) pero alto cumplimiento parcial (>10%). Estos modelos a menudo proporcionan orientación procedimental junto con reconocimientos de riesgo, un matiz pasado por alto por las métricas binarias de rechazo.

Significado y Afirmaciones
El artículo afirma que la dependencia actual de las tasas de rechazo agregadas para evaluar la seguridad del modelo es fundamentalmente defectuosa y puede desviar activamente las evaluaciones de seguridad. Los autores argumentan que:

1. Ruta de Acceso vs. Pesos del Modelo: Las disparidades observadas en los rechazos se entienden mejor como diferencias en las rutas de acceso desplegadas (pilas de API, filtrado pre/post-generación) en lugar de una alineación intrínseca de los pesos del modelo.
2. Calibración sobre Tasa: Las evaluaciones de seguridad deben informar la calidad de la discriminación de niveles (por ejemplo, índice J de Youden) junto con las tasas de rechazo. Un modelo con una alta tasa de rechazo puede ser menos seguro (en términos de utilidad para la investigación legítima) que un modelo con una tasa más baja pero mayor discriminación.
3. Implicaciones para Pipelines: Para pipelines biológicos agénticos, la elección del orquestador es una decisión de política de acceso con consecuencias directas para la integridad del pipeline. El exceso de rechazo en solicitudes benignas termina flujos de trabajo legítimos, mientras que el cumplimiento parcial en solicitudes de uso dual puede proporcionar una mejora de bioseguridad accionable que requiere una evaluación adicional a nivel de contenido.
4. Direcciones Futuras: El artículo posiciona a RefusalBench como una infraestructura para rastrear estas dinámicas a lo largo del tiempo, señalando que el patrón "reserva pero ayuda" merece estudios dedicados de codificación de contenido para determinar si constituye un fallo de seguridad o un comportamiento de seguridad matizado.

Los autores concluyen que la dispersión de 94.5 puntos porcentuales en las tasas de rechazo es una característica estructural del panorama actual de proveedores, concentrada en rutas de acceso específicas, y que las evaluaciones de seguridad deben evolucionar para medir la calidad de la calibración en lugar de solo la frecuencia de rechazo.