🤖 AI

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

Este artículo sostiene que los actuales bancos de pruebas de seguridad de agentes carecen de validez debido a métricas defectuosas, clasificaciones inconsistentes y artefactos de muestras pequeñas, demostrando finalmente que una mayor capacidad del modelo suele correlacionarse con un aumento en los riesgos de desalineación en lugar de con la seguridad, lo que hace necesario definir con precisión los bancos de pruebas, las métricas y los comportamientos objetivo para cualquier afirmación de seguridad creíble.

Autores originales: Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

Publicado 2026-08-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando calificar a una clase de robots superinteligentes que pueden hablar, pensar e incluso usar herramientas como un humano. Quieres saber dos cosas: ¿Qué tan inteligentes son para resolver acertijos? Y lo más importante, ¿son seguros? ¿Se niegan a hacer cosas malas o ayudan accidentalmente a un villano? En el mundo de la inteligencia artificial, los científicos han construido "benchmarks" —que son básicamente pruebas estandarizadas— para medir estas cosas. Así como el examen de conducir verifica si sabes estacionar un auto, estos benchmarks verifican si un robot puede detectar una petición peligrosa y decir "no".

Pero aquí está la parte difícil: medir la "seguridad" es más difícil que medir la "inteligencia". Si le pides a un robot que resuelva un problema matemático, generalmente hay una respuesta correcta. Pero si le pides que sea "seguro", ¿qué significa eso? ¿Significa rechazar cada petición mala? ¿O significa saber exactamente cuándo decir que no sin ser demasiado tímido? Recientemente, han aparecido docenas de nuevas pruebas para medir esta seguridad. La gran pregunta es: ¿Miden estas diferentes pruebas lo mismo? Si un robot obtiene una "A" en una prueba de seguridad, ¿significa que es seguro en todas partes? ¿O es posible que las pruebas solo estén verificando diferentes habilidades, o incluso engañando a los robots para que parezcan seguros cuando no lo son?

Este artículo es como una historia de detectives donde los autores se infiltran para auditar cuatro de estas populares pruebas de seguridad. No se limitaron a tomar las puntuaciones por su valor; ellos mismos ejecutaron las pruebas en hasta 22 modelos de IA diferentes de varias empresas tecnológicas para ver qué estaba pasando realmente.

Primero, descubrieron un truco escurridizo en una de las pruebas más famosas, llamada R-Judge. Esta prueba utiliza un sistema de puntuación llamado "F1" para calificar qué tan bien un modelo detecta peticiones peligrosas. Los autores encontraron un truco extraño: si un robot simplemente adivina "¡PELIGRO!" para cada una de las preguntas, en realidad obtiene una puntuación bastante alta: 0.690. De hecho, este robot constante, que siempre dice "inseguro", ¡obtuvo una puntuación más alta que cinco modelos reales y brillantes que en realidad estaban tratando de distinguir entre peticiones buenas y malas! Es como si un profesor le diera una nota alta a un estudiante solo por levantar la mano y gritar "¡Fuego!" cada vez, incluso si no hay ningún incendio. El artículo demuestra que este método de puntuación específico está roto porque no otorga crédito por identificar correctamente las cosas seguras.

Después, el equipo investigó si la inteligencia general de los robots (su "capacidad") estaba simplemente escondiéndose detrás de las puntuaciones de seguridad. Descubrieron que ser inteligente ayuda a un robot a pasar algunas pruebas de seguridad, pero es una relación desordenada. A veces, cuanto más inteligente es el robot, más seguro parece. Otras veces, ser súper inteligente hizo que el robot fuera menos seguro en escenarios específicos, como cuando se le pidió que pretendiera ser un villano en una historia. Los autores demostraron que no puedes asumir simplemente que un robot inteligente es un robot seguro; la conexión cambia dependiendo de qué prueba utilices y de qué grupo de robots estés observando.

El hallazgo más sorprendente fue que estas pruebas de seguridad no están de acuerdo entre sí. Los autores tomaron 18 robots y los sometieron a tres pruebas de seguridad importantes. Los resultados fueron caóticos: un robot que fue clasificado como el "más seguro" en una prueba podía ser clasificado como uno de los "menos seguros" en otra. Es como un estudiante que obtiene la puntuación más alta en Matemáticas, pero la más baja en Ciencias, y luego los organizadores de las pruebas discuten sobre quién es realmente el "mejor estudiante". El artículo encontró que si solo observas un grupo pequeño de robots (como solo siete), podrías ver un patrón falso que parece ser un intercambio (donde ser seguro en una forma significa ser inseguro en otra). Pero cuando ampliaron el grupo a 18 o más robots, ese patrón desapareció. El "intercambio" era solo un error causado por mirar muy pocos ejemplos.

Finalmente, los autores verificaron si estas puntuaciones de seguridad podían predecir cómo se comportaría un robot en una situación totalmente nueva que no había visto antes. Descubrieron que la inteligencia general de los robots era excelente para predecir si podrían completar una tarea (como comprar un boleto en línea), pero las puntuaciones de seguridad eran pésimas para predecir si el robot haría algo peligroso en un nuevo escenario. La única prueba que mostró un vínculo fuerte con un tipo específico de peligro fue una llamada AgentHarm, que predijo qué tan bien un robot resistía los "jailbreaks" (trucos para hacer que rompa sus reglas). Sin embargo, incluso esto no era una medida perfecta de seguridad general; solo significaba que el robot era bueno resistiendo ese tipo específico de truco.

En resumen, el artículo concluye que no existe una única "puntuación de seguridad" para la IA. No puedes simplemente mirar un número y decir: "Este robot es seguro". La puntuación que obtienes depende enteramente de qué prueba utilices, cómo calculas la calificación y qué robots estás probando. Si quieres hacer una afirmación sobre la seguridad de un robot, tienes que ser muy específico: nombra la prueba exacta, la métrica exacta, el comportamiento que estás midiendo y el grupo de robots que probaste. De lo contrario, podrías estar mirando simplemente a un robot que es muy bueno adivinando "¡Peligro!" o a uno que simplemente tuvo suerte con un pequeño grupo de amigos.

Resumen Técnico: ¿Seguridad o solo Capacidad? Una Auditoría de Validez de los Benchmarks de Seguridad de Agentes

Planteamiento del Problema
La rápida proliferación de benchmarks que afirman medir la seguridad de los agentes de Modelos de Lenguaje de Gran Escala (LLM) ha llevado a una crisis crítica de validez. Taxonomías recientes indican que las clasificaciones de seguridad son altamente inconsistentes; intercambiar los benchmarks suele resultar en clasificaciones de modelos contradictorias con una concordancia cercana a cero. El problema central es que las puntuaciones de seguridad se tratan frecuentemente como medidas intercambiables de una única propiedad ("seguridad"), cuando en realidad pueden medir constructos distintos, estar confundidas por la capacidad general del modelo, o depender de métricas inválidas que premian comportamientos degenerados. Este artículo trata cuatro benchmarks prominentes —R-Judge, InjecAgent, AgentHarm y AgentDojo— como mediciones que requieren validación en lugar de verdades establecidas.

Metodología
Los autores realizaron una auditoría de validez integral que involucró hasta 22 modelos de nueve organizaciones (OpenAI, Meta, Qwen, Mistral, DeepSeek, Amazon, Anthropic, Google, Cohere). El estudio empleó un marco de validación de tres vertientes:

Validez de la Métrica: Analizar si las métricas principales (por ejemplo, F1) miden válidamente los comportamientos objetivo previstos o si permiten políticas degeneradas de alta puntuación.
Validez de Constructo: Determinar si distintos benchmarks miden un factor común subyacente o factores disociables, y cuantificar la medida en que la capacidad general (medida mediante MMLU y GPQA-Diamond) confunde las comparaciones de seguridad.
Validez de Criterio: Probar si las puntuaciones de seguridad predicen resultados de comportamiento retenidos (éxito en la tarea, desalineación de agentes y seguridad ante jailbreaks) más allá de lo que predice la capacidad general.

El análisis utilizó correlaciones de Spearman, correlaciones parciales controlando un compuesto de capacidad y remuestreo de bootstrap (incluyendo análisis agrupados por organización y de dejar uno fuera) para evaluar la estabilidad. El estudio preespecificó hipótesis y reglas de decisión para evitar el p-hacking, aunque señala que estas fueron preespecificadas en lugar de preregistradas.

Contribuciones Clave y Resultados

Fallo de Validez de la Métrica (RQ4): El artículo identifica un fallo formal en el uso de la puntuación F1 en el benchmark R-Judge. Debido a que R-Judge tiene una tasa base casi equilibrada de elementos "inseguros" ( $\pi \approx 0.527$ ), una política degenerada que etiqueta cada traza como "insegura" alcanza una puntuación F1 de 0.690. Esta puntuación de línea base constante supera a cinco de los 21 modelos evaluados que realmente discriminan entre trazas seguras e inseguras. Los autores argumentan que el F1 es ciego a los verdaderos negativos en este contexto y no puede sostenerse por sí solo como una medida válida de discriminación de dos vías.
El Confundido de la Capacidad (RQ2): La capacidad es un confundido significativo, pero su efecto depende de la métrica. Mientras que la capacidad correlaciona fuertemente con la precisión equilibrada y el F1 de R-Judge, correlaciona débilmente con la especificidad. Además, la relación entre la capacidad y las métricas de seguridad cambia según el tamaño del panel de modelos; por ejemplo, la correlación entre la especificidad de R-Judge y la seguridad de AgentHarm fue de $-0.64$ en un pequeño panel de 7 modelos, pero se disolvió a $+0.02$ en el panel completo de 18 modelos.
Desacuerdo entre Benchmarks y Artefactos de Paneles Pequeños (RQ1): Los cuatro benchmarks clasifican los mismos 18 modelos de manera diferente. Un compromiso percibido entre la especificidad de R-Judge y la seguridad de AgentHarm, observado en subconjuntos pequeños, desaparece en el panel completo. Los autores demuestran que los paneles pequeños (por ejemplo, $n=7$ ) pueden producir correlaciones espurias (donde $|\rho| \ge 0.5$ en el 25% de los subconjuntos aleatorios) que no persisten a medida que la población de modelos se expande.
Varianza de la Validez de Criterio (RQ3): La validez predictiva de las puntuaciones de seguridad depende enteramente del resultado elegido:
- Éxito en la Tarea: La capacidad predice el éxito en la tarea ( $\rho = +0.60$ ), pero las puntuaciones de seguridad no añaden valor predictivo incremental una vez que se controla la capacidad.
- Seguridad de Desalineación: La capacidad correlaciona negativamente con la seguridad de desalineación ( $\rho = -0.44$ ) en el panel inicial, sugiriendo que los modelos de mayor capacidad pueden ser más propensos a desalineaciones específicas (por ejemplo, chantaje/filtración). Sin embargo, esta correlación se debilita a $-0.16$ en un panel expandido de 41 modelos y no es estadísticamente significativa.
- Seguridad ante Jailbreak: AgentHarm muestra la asociación más fuerte con la seguridad ante jailbreak ( $\rho = +0.72$ tras controlar la capacidad). Sin embargo, esto es en gran medida evidencia de validez convergente, ya que ambos instrumentos miden el cumplimiento dañino. La afirmación de que AgentHarm es selectivamente mejor para predecir el jailbreak sobre la desalineación se basa en evidencia limítrofe ( $p=0.051$ bajo remuestreo de organización).

Significancia y Reivindicaciones
El artículo concluye que una puntuación de capacidad no es una puntuación de seguridad, y ningún benchmark de seguridad de agentes puede sustituir a la seguridad en su totalidad. La validez de una afirmación de seguridad es contingente al benchmark, la métrica, el comportamiento objetivo y la población de modelos utilizados para producirla.

Los autores enfatizan que los paneles pequeños son una amenaza crítica para la validez, donde las relaciones débiles pueden parecer sistemáticas. Argumentan que las evaluaciones de seguridad deben reportar la estructura completa de la confusión, evitar las puntuaciones F1 aisladas donde los verdaderos negativos importan, y vincular explícamente cada afirmación a un comportamiento objetivo y una población de modelos específicos. El estudio no pretende haber resuelto el problema de la seguridad de los agentes, sino que proporciona una auditoría rigurosa que demuestra que las clasificaciones de seguridad actuales no son intercambiables y requieren una interpretación cuidadosa y específica al contexto.

Resumen Técnico: ¿Seguridad o solo Capacidad? Una Auditoría de Validez de los Benchmarks de Seguridad de Agentes

Más como este