🤖 AI

Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents

Este artículo introduce un marco de evaluación consciente del costo para agentes de seguridad que revela comportamientos de escalabilidad distintos entre tareas ofensivas y defensivas, demostrando que mientras el rendimiento ofensivo mejora con el aumento del cómputo, el éxito defensivo depende más del uso disciplinado de herramientas y la eficiencia operativa que del presupuesto de razonamiento bruto.

Autores originales: Paul Kassianik, Blaine Nelson, Yaron Singer

Publicado 2026-07-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Paul Kassianik, Blaine Nelson, Yaron Singer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde la inteligencia artificial no es solo un chatbot que escribe poemas, sino un detective digital y un ladrón digital todo en uno. Esta es la frontera de la ciberseguridad, un campo donde las computadoras son entrenadas para entrar en sistemas para encontrar debilidades (el lado "ofensivo") o para investigar escenas de crímenes digitales para detener ataques (el lado "defensivo"). Durante mucho tiempo, los científicos que prueban estos agentes de IA se han hecho una pregunta simple: "¿Qué tan bueno es esta IA resolviendo los acertijos más difíciles si le damos tiempo y dinero ilimitados?". Es como probar un auto de carreras dejándolo conducir hasta que el tanque se vacíe, ignorando el costo de la gasolina. Pero en el mundo real, cada paso que da una IA —cada pregunta que hace, cada base de datos que consulta— cuesta dinero real. Si una IA es demasiado cara de ejecutar, es inútil para un equipo de seguridad real, sin importar qué tan inteligente sea. Este artículo plantea una pregunta más práctica: "¿Cuánto puede hacer esta IA realmente por un presupuesto específico?".

Los investigadores, Paul Kassianik, Blaine Nelson y Yaron Singer, decidieron dejar de simplemente contar cuántos acertijos resolvía una IA y empezar a contar el precio. Pusieron a sus agentes de IA en dos tipos de desafíos muy diferentes. Primero, los enviaron a misiones de "Capture the Flag" (CTF), que son como búsquedas del tesoro digitales donde la IA tiene que hackear una computadora aislada para encontrar un código secreto. Segundo, los enviaron a misiones de "Centro de Operaciones de Seguridad" (SOC), que son como trabajo de detective donde la IA tiene que filtrar cantidades masivas de registros de seguridad para descubrir quién entró en una empresa y cómo.

Aquí está el giro que descubrieron: la ofensiva y la defensiva escalan de maneras completamente diferentes. Cuando la IA jugaba al hacker (el rol ofensivo), darle más dinero para pensar e intentarlo de nuevo usualmente ayudaba. Era como darle a un detective más tiempo para volver a leer una pista; cuanto más recursos tenían, más probable era que resolvieran el caso. Algunos modelos de código abierto, cuando se les daba un presupuesto decente, incluso podían alcanzar a los modelos propietarios más caros y de primer nivel.

Sin embargo, cuando la IA jugaba al detective (el rol defensivo), lanzarle más dinero al problema no necesariamente la hacía más inteligente. De hecho, los mejores exponentes fueron aquellos que fueron disciplinados. Sabían exactamente cuándo detenerse, cuándo pedir ayuda y cuándo ahorrar su presupuesto. El artículo encontró que para estas investigaciones, el éxito no se trataba de cuántas herramientas usaba la IA o cuánto tiempo pensaba; se trataba de usar las herramientas correctas en el momento adecuado. Una IA que llamaba frenéticamente a todas las bases de datos del mundo solo porque tenía un gran presupuesto, a menudo lo hacía peor que una que elegía cuidadosamente algunas piezas clave de evidencia.

Los autores también advirtieron que algunas de las puntuaciones "perfectas" en estas pruebas podrían ser engañosas. Debido a que los acertijos son públicos y antiguos, algunas IA podrían haber simplemente memorizado las respuestas durante su entrenamiento, como un estudiante que memoriza la clave de respuestas en lugar de aprender las matemáticas. Cuando los investigadores probaron las IA sin permitirles usar ninguna herramienta o mirar las pistas, las puntuaciones cayeron significamente para algunos modelos, demostrando que "saber la respuesta" no es lo mismo que "resolver el problema".

En última instancia, el artículo argumenta que debemos dejar de juzgar a las IA de seguridad solo por su rendimiento máximo en el vacío. En su lugar, necesitamos observar su "eficiencia económica". Un modelo que resuelve el 90% de los problemas por $5 es una mejor herramienta para un equipo de seguridad real que un modelo que resuelve el 95% de los problemas por $500. El estudio sugiere que para las tareas de hacking, más potencia de cómputo ayuda, pero para defender sistemas, el uso de herramientas inteligente y disciplinado es el verdadero superpoder. Incluso construyeron un sitio web para mostrar estas curvas de costo versus éxito, demostrando que en el mundo de la seguridad de la IA, ser barato e inteligente es a menudo mejor que ser rico e imprudente.

Resumen Técnico: Más allá de la tasa de éxito: Evaluación consciente del costo de agentes de seguridad ofensiva y defensiva

Planteamiento del problema

Las evaluaciones actuales de los agentes de seguridad se centran predominantemente en la capacidad ofensiva máxima bajo presupuestos de inferencia generosos, enfatizando métricas como el descubrimiento de vulnerabilidades, el desarrollo de exploits y la finalización de Capture The Flag (CTF). Si bien estas mediciones rastrean capacidades relevantes para el atacante, no reflejan la realidad operativa. En los entornos de seguridad de producción, cada paso de razonamiento, llamada a herramientas, consulta de telemetría y solicitud de enriquecimiento consume un presupuesto finito. Las evaluaciones existentes suelen colapsar los costos de inferencia y los costos de las herramientas, ignorando los compromisos económicos inherentes a los flujos de trabajo de los Centros de Operaciones de Seguridad (SOC). En consecuencia, existe una falta de comprensión sobre cómo el rendimiento del modelo escala con las restricciones de costo y si "más cómputo" se traduce en mejores resultados operativos tanto para tareas ofensivas como defensivas.

Metodología

Los autores evalúan los agentes de seguridad de modelos de lenguaje a través de una lente de "costo-éxito" utilizando un entorno común de evaluación de agentes (Inspect) a través de dos familias de benchmarks distintos:

Benchmark Ofensivo (Cybench): Un conjunto de 39 desafíos de CTF en entornos controlados que abarcan criptografía, explotación web, ingeniería inversa y forense. Los agentes cuentan con herramientas de bash y Python. El éxito se mide mediante la entrega de tokens de flags ocultos.
Benchmark Defensivo (Splunk BOTS v1): Un conjunto de datos público de investigación de incidentes que involucra 31 preguntas puntuadas basadas en telemetría del mundo real (defacement web de Po1s0n1vy y ransomware Cerber). Los agentes utilizan Splunk Search Processing Language (SPL), inspección de eventos y herramientas de enriquecimiento externas (Brave Search, WhoisXMLAPI, VirusTotal). El éxito se mide por los puntos oficiales de la competencia, penalizando los indicios incorrectos.

Diseño Experimental:

Contabilidad de Costos: El estudio descompone los costos en gasto de inferencia (tokens del modelo) y gasto de herramientas con precio (por ejemplo, $0.005 por Brave Search, $1.29 por compra de WhoisXMLAPI).
Restricciones de Presupuesto: En lugar de reportar solo el mejor caso de éxito, los autores comparan los modelos en niveles de costo fijos. Emplean topes de presupuesto retrospectivos (reproduciendo trazas completadas con un tope de $0.80 por muestra) para aislar el valor marginal del cómputo adicional.
Controles de Descontaminación: Dada la antigüedad y naturaleza pública de BOTS v1, los autores realizaron sondas de "sin herramientas" (respondiendo basándose únicamente en el texto de la pregunta y conocimiento previo) para evaluar el alcance de la fuga de datos y la memorización del modelo.
Manejo de Negativas (Refusals): Las negativas se clasifican al nivel de época de la muestra. En tareas ofensivas, las negativas se tratan como fallos; en tareas defensivas, se rastrean como contexto pero no niegan automáticamente los puntos si un intento posterior tiene éxito.

Contribuciones Clave

Comparación Costo-Éxito: Una evaluación unificada de los puntos de operación de Cybench y BOTS v1, introduciendo métricas como costo por pregunta resuelta y costo por 1,000 puntos de BOTS.
Análisis de Margen de Presupuesto: Un análisis emparejado que muestra dónde el gasto adicional por muestra cambia las puntuaciones observadas, distinguiendo entre modelos que escalan con el presupuesto y aquellos que no lo hacen.
Contabilidad de Costos Granular: Un desglose de los costos de investigación de SOC en tokens de modelo y herramientas externas con precio, revelando la eficiencia económica de diferentes agentes.
Controles de Descontaminación: Demostración de una recuperación sustancial de respuestas directas dependiente del modelo en BOTS v1 público sin herramientas, argumentando la necesidad de controles de descontaminación antes de interpretar las puntuaciones absolutas como afirmaciones de capacidad.

Resultados

Rendimiento de CTF Ofensivo (Cybench)

Escalabilidad con el Presupuesto: El rendimiento ofensivo generalmente mejora con el aumento del cómputo en tiempo de prueba. Modelos como Claude Opus 4.8 y DeepSeek v4 Flash muestran ganancias significativas cuando se les permite exceder un tope de presupuesto de $0.80 (ganando +18.8 y +10.3 puntos porcentuales, respectivamente).
Eficiencia del Modelo: GPT-5.5 logró la mayor tasa de éxito absoluta (94.1%) con un costo bajo ($1.16 por equivalente resuelto), resolviendo la mayoría de los desafíos por debajo del tope de presupuesto inferior.
Negativas por Política: Los modelos de frontera con salvaguardas estrictas (por ejemplo, Claude Fable 5, GPT-5.6 Sol) exhibieron altas tasas de negativa, limitando efectivamente sus puntuaciones ofensivas independientemente del presupuesto. Por ejemplo, Fable 5 rechazó el 100% de las muestras de Cybench, resultando en un 0% de éxito.
Uso de Herramientas: En la ofensiva, un mayor volumen de llamadas a herramientas (por ejemplo, DeepSeek v4 Flash realizando ~145 llamadas) se correlacionó con mayores tasas de éxito, sugiriendo que el volumen de interacción puede sustituir la calidad por llamada en los CTF.

Rendimiento de SOC Defensivo (BOTS v1)

Régimen de Escalabilidad Distinto: La investigación defensiva no escala con el presupuesto bruto de la misma manera que las tareas ofensivas. Aumentar el presupuesto para DeepSeek v4 Flash de $2.10 a$ 4.20 produjo un aumento insignificante en la puntuación (73.0% a 73.9%) a pesar de un aumento masivo en las llamadas a herramientas (4,450 a 4,938).
Disciplina de Herramientas: El éxito en tareas defensivas depende más fuertemente del uso disciplinado de herramientas, la navegación de telemetría y el enriquecimiento selectivo que del presupuesto de razonamiento bruto. Claude Opus 4.8 logró la puntuación más alta (93.9%) con el menor número de llamadas a herramientas (603) y la mejor eficiencia de costos ($2.98 por 1,000 puntos).
Varianza de Modelos: Mientras que GPT-5.6 Terra y Sol se acercaron al rendimiento de Opus 4.8, requirieron significativamente más tokens y llamadas a herramientas.
Contaminación: Las sondas de "sin herramientas" revelaron que modelos como GPT-5.6 Sol y Claude Opus 4.8 podían recuperar puntos significativos (hasta 77.2% y 74.8% respectivamente) sin ninguna herramienta o contexto, indicando que las puntuaciones de los benchmarks públicos pueden estar infladas por el solapamiento en los datos de entrenamiento.

Significancia y Reivindicaciones

El artículo argumenta que los benchmarks de agentes de seguridad deben evolucionar más allá de las tasas de éxito máximas para medir la eficiencia económica y la adecuación operativa.

Divergencia Ofensiva vs. Defensiva: Los autores afirman que los CTF ofensivos y las investigaciones de SOC defensivas representan regímenes de escalabilidad fundamentalmente diferentes. Las tareas ofensivas se benefician del aumento del cómputo y el volumen de interacción, mientras que las tareas defensivas requieren precisión, navegación de telemetría y enriquecimiento consciente del costo.
Relevancia Operativa: Un presupuesto fijo transforma el éxito en una cuestión operativa: "¿Cuánta capacidad compra un modelo por dólar?". Este marco es crítico para sistemas de producción donde los recursos son finitos.
Integridad del Benchmark: El estudio destaca que los benchmarks de SOC públicos como BOTS v1, aunque valiosos para la creación de entornos reproducibles y la contabilidad de costos, no pueden servir como tablas de clasificación limpias para afirmaciones de capacidad sin controles de descontaminación rigurosos debido a la alta recuperabilidad de las respuestas desde los datos de entrenamiento del modelo.
Utilidad Práctica: Los resultados sugieren que los modelos más pequeños o de pesos abiertos (como DeepSeek v4 Flash) pueden ser competitivos en costos para tareas ofensivas, mientras que las tareas defensivas actualmente favorecen a los modelos con patrones de uso de herramientas disciplinados (como Claude Opus 4.8) sobre aquellos que dependen del cómputo por fuerza bruta.

Los autores concluyen que "las evaluaciones conscientes del costo y nativas de SOC proporcionan una imagen más clara de qué modelos son prácticamente útiles hoy y dónde los agentes defensivos aún necesitan mejorar", instando a un cambio hacia la evaluación de los agentes basada en su capacidad para entregar respuestas de grado de analista bajo restricciones de presupuesto realistas.