JailbreakSkill: Scaling Automated Red-Teaming with Reusable and Ever-Evolving Skills

En el rápidamente expandido mundo de la inteligencia artificial, los modelos de lenguaje extensos se han convertido en herramientas poderosas capaces de escribir código, componer historias y responder preguntas complejas. Sin embargo, debido a que estos sistemas son entrenados con vastas cantidades de datos humanos, a veces pueden ser engañados para ignorar sus reglas de seguridad y generar contenido dañino. Para asegurar que estas herramientas sean seguras antes de ser lanzadas al público, los investigadores emplean una práctica llamada red-teaming (equipo rojo). Imagine a un equipo de seguridad tratando de entrar en un edificio para encontrar puntos débiles antes de que lo haga un ladrón; en el reino digital, esto significa usar sistemas automatizados para probar constantemente los modelos de IA con preguntas trucadas para ver si accidentalmente revelan información peligrosa. Durante años, estas pruebas automatizadas han dependido de la generación de preguntas ingeniosas y de un solo uso para eludir los filtros de seguridad. Pero a medida que los modelos de IA se vuelven más inteligentes y sus guardias de seguridad más sofisticados, estos intentos individuales a menudo fallan, obligando a los investigadores a intentarlo una y otra vez, ajustando su enfoque en cada ocasión.

Un equipo de investigadores ha introducido ahora un nuevo enfoque llamado JailbreakSkill, que desplaza el enfoque de la creación de infinitas preguntas únicas hacia la construcción de una biblioteca reutilizable de estrategias de ataque. En lugar de tratar cada intento fallido como un callejón sin salida, su sistema trata estos fallos como oportunidades de aprendizaje. El marco organiza las diferentes formas de engañar a una IA en "habilidades" distintas y modulares. Algunas habilidades podrían consistir en reescribir una solicitud dañina como una indagación histórica, mientras que otras podrían disfrazarla como una tarea de programación o una historia de ficción. Cuando una habilidad específica falla al romper las defensas de un modelo, el sistema no se limita a seguir adelante; analiza por qué falló. Luego utiliza ese análisis para refinar la habilidad existente, combinarla con otra o inventar una completamente nueva. Esto crea un ciclo de automejora donde la biblioteca de métodos de ataque se vuelve más fuerte y diversa con el tiempo, de forma muy similar a cómo un biólogo cría plantas para obtener mejores rasgos, pero aquí los rasgos son la capacidad de eludir las barras de seguridad digitales.

Los investigadores probaron este sistema contra una amplia variedad de modelos de IA avanzados, incluyendo algunos de los más potentes y alineados con la seguridad disponibles hoy en día. Descubrieron que, al organizar los ataques en estas habilidades reutilizables y permitir que el sistema las hiciera evolucionar basándose en fallos pasados, podían aumentar significativamente la tasa de éxito de sus pruebas. En sus experimentos, el sistema mejoró la tasa de éxito promedio en 17.5 puntos porcentuales en un importante benchmark de seguridad y en 13.4 puntos en otro. Quizás lo más sorprendente es que, al ser probado contra un modelo específico y altamente avanzado conocido como GPT-5.4, las habilidades evolucionadas aumentaron la tasa de éxito en casi 49 puntos, convirtiendo un sistema que anteriormente era muy difícil de vulnerar en uno que podía ser comprometido en la mayoría de los intentos. Esto sugiere que la capacidad de aprender del fracaso y adaptar las estrategias es un factor crítico para comprender las verdaderas vulnerabilidades de la IA moderna.

Lo que hace que este descubrimiento sea particularmente significativo es que el sistema no solo encontró un único "truco de magia" que funcionara en todo. En su lugar, construyó una colección de herramientas especializadas. Algunas de las nuevas estrategias que inventó fueron bastante creativas, tales como reformular una petición directa de información dañina como una tarea incompleta en un documento, forzando a la IA a completar el pensamiento para que la oración tuviera sentido. Los investigadores observaron que muchas de estas habilidades recién descubiertas no solo eran efectivas contra los modelos específicos con los que fueron probadas, sino que también podían transferirse a otros modelos de IA no vistos sin necesidad de ajustes adicionales. Esto indica que los mecanismos subyacentes de estos ataques son robustos y pueden generalizarse a través de diferentes tipos de inteligencia artificial.

El estudio también destacó las limitaciones de las medidas de seguridad actuales. Los investigadores encontraron que, si bien algunos modelos eran muy buenos rechazando peticiones directas, solían ser menos efectivos cuando la misma petición era envuelta en una narrativa compleja o en un formato técnico como un esquema JSON o una tarea de completado de código. Al explorar sistemáticamente estos diferentes ángulos, el marco de trabajo de JailbreakSkill reveló que los filtros de seguridad a menudo luchan por mantener su guardia cuando el contexto de una petición cambia, incluso si la intención central sigue siendo la misma. La capacidad del sistema para diagnosticar por qué un enfoque específico falló —ya fuera porque el modelo detectó la intención dañina, o porque la petición se volvió demasiado confusa— le permitió pivotar rápidamente hacia una estrategia más efectiva.

Al final, el trabajo demuestra que el red-teaming automatizado está evolucionando de un juego de azar a una ciencia estructurada de la adaptación. Al tratar los métodos de ataque como componentes modulares y reutilizables que pueden mejorarse continuamente, los investigadores pueden construir una imagen más completa de dónde la seguridad de la IA es propensa a fallar. Los hallazgos sugieren que, a medida que los modelos de IA se vuelven más capaces, sus defensas de seguridad también deben volverse más dinámicas, capaces de reconocer no solo las palabras utilizadas en un prompt, sino los patrones estructurales y contextuales que podrían ocultar una intención dañina. Los investigadores han puesto su código y la biblioteca de habilidades en evolución a disposición del público, permitiendo que otros científicos construyan sobre este trabajo y continúen con la tarea esencial de hacer que la inteligencia artificial sea más segura para todos.