GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking

Resumen Técnico: GAS-Leak-LLM

Declaración del Problema
Los Modelos de Lenguaje Extensos (LLMs) se despliegan cada vez más en dominios críticos, pero siguen siendo vulnerables a la manipulación adversaria, específicamente a las técnicas de "jailbreaking" (evasión de restricciones) que eluden los alineamientos de seguridad para generar salidas dañinas o que violan las políticas. Mientras que los sistemas comerciales emplean estrategias de moderación de contenido y alineamiento multicapa (como el Ajuste Fino Supervisado y RLHF), investigaciones recientes indican que estas salvaguardas no son impermeables. Los ataques adversarios tradicionales suelen depender del acceso de caja blanca (que requiere conocimiento de los parámetros del modelo) o de la ingeniería de prompts manual, lo cual es laborioso y carece de escalabilidad. Existe la necesidad de métodos sistemáticos y automatizados para evaluar la robustez de los modelos bajo modelos de amenazas realistas de caja negra, donde los atacantes no tienen acceso a la arquitectura interna o a los gradientes.

Metodología: GAS-Leak-LLM
Los autores proponen GAS-Leak-LLM, un nuevo marco que utiliza un Algoritmo Genético (GA) para generar y optimizar automáticamente sufijos adversarios universales. El ataque opera estrictamente en un entorno de caja negra, basándose únicamente en las interacciones de entrada-salida.

1. Modelo de Amenaza: El adversario busca construir un sufijo universal que, al ser anexado a un conjunto diverso de prompts dañinos, induzca consistentemente al LLM objetivo a generar salidas desalineadas. El modelo es tratado como una caja negra; solo se tiene acceso a las respuestas de las consultas.
2. Inicialización: El GA comienza con una población de sufijos candidatos ($M=10$). Estos se generan a partir de dos fuentes distintas:
   • Sufijos Sin Sentido (Meaningless Suffixes): Tokens muestreados aleatoriamente del vocabulario del modelo ($D_{s1}$), incluyendo caracteres no imprimibles.
   • Sufijos Con Sentido (Meaningful Suffixes): Oraciones coherentes en inglés generadas mediante el muestreo de palabras de un vocabulario de alta frecuencia ($D_{s2}$) y el uso de un LLM para construir oraciones gramaticalmente correctas.
3. Proceso Evolutivo: El marco itera a través de generaciones (hasta 100) utilizando operadores estándar de GA:
   • Evaluación: Cada sufijo candidato se anexa a un subconjunto de prompts dañinos ($n=20$ muestreados de un conjunto de 520). La respuesta del LLM se analiza frente a una respuesta dañina objetivo ($t_i$) y una respuesta de rechazo canónica ($t_r$).
   • Función de Aptitud (Fitness Function): La puntuación de aptitud se calcula basándose en la similitud semántica. Maximiza la similitud con la respuesta dañosa objetivo mientras minimiza la similitud con la respuesta de rechazo. Una puntuación $\geq 0.6$ indica un jailbreak exitoso.
   • Selección: Se emplea la selección por torneo para elegir los sufijos padres. Los autores experimentan con tamaños de torneo ($k=2$ y $k=3$).
   • Cruce (Crossover): Un cruce de un solo punto recombina segmentos de los sufijos padres de alta aptitud para crear descendientes.
   • Mutación: Una estrategia de mutación de reajuste aleatorio reemplaza un solo token en el descendiente con un nuevo token del vocabulario para mantener la diversidad.
   • Reemplazo: Una estrategia de elitismo preserva a los individuos con mejor desempeño para la siguiente generación.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Generación Automatizada de Sufijos: El desarrollo de una metodología para generar y optimizar automáticamente sufijos adversarios universales utilizando un Algoritmo Genético sin requerir los componentes internos del modelo.
2. Evaluación Exhaustiva: Una evaluación rigurosa de los sufijos generados bajo diversas condiciones, incluyendo prompts con sentido vs. sin sentido, truncamiento vs. no truncamiento, transferibilidad entre modelos y diferentes tamaños de selección por torneo.
3. Análisis Comparativo: Una comparación del desempeño de los sufijos universales generados a través de modelos de amenaza seleccionados (Qwen2.5-3B y Llama-3.2-3B-Instruct) para evaluar su efectividad y transferibilidad.

Resultados Experimentales
El estudio se llevó a cabo en dos modelos de código abierto: Qwen2.5-3B y Llama-3.2-3B-Instruct.

• Vulnerabilidad de Base (Baseline): Se observaron diferencias significativas en la vulnerabilidad base. Qwen2.5-3B exhibió una alta tasa de jailbreak base (92.88%) incluso sin sufijos, mientras que Llama-3.2-3B-Instruct mostró una fuerte resistencia (5.96%). Esto sugiere que el ajuste fino de instrucciones juega un papel fundamental en la mejora del alineamiento de seguridad.
• Efectividad de los Sufijos:
  • Llama-3.2-3B-Instruct: El ataque fue efectivo, aumentando la tasa de jailbreak del 5.96% al 17.76% utilizando sufijos autogenerados.
  • Con Sentido vs. Sin Sentido: Para el modelo Llama, que es más robusto, los sufijos con sentido (19.60% de éxito) superaron significativamente a los sufijos sin sentido (11.96%). Esto indica que la coherencia lingüística y la relevancia contextual amplifican el éxito del ataque en modelos alineados.
  • Qwen2.5-3B: Debido a su alta vulnerabilidad base, la adición de sufijos proporcionó poca mejora y, en algunos casos, redujo ligeramente las tasas de éxito, actuando probablemente como ruido.
• Transferencia entre Modelos: Los sufijos generados para un modelo mostraron una transferibilidad parcial al otro, aunque los sufijos específicos del modelo siguieron siendo más efectivos.
• Longitud del Sufijo: El truncamiento de los sufijos redujo significativamente la eficacia del ataque en el robusto modelo Llama (cayendo del 18.36% al 13.2%), mientras que el vulnerable modelo Qwen permaneció mayormente insensible al truncamiento.
• Presión de Selección: Variar el tamaño del torneo ($k=2$ vs. $k=3$) produjo diferencias marginales en el desempeño.

Significancia y Reivindicaciones
El artículo afirma que GAS-Leak-LLM proporciona un marco sistemático y reproducible para exponer las vulnerabilidades residuales en los LLMs alineados. Los hallazgos empíricos ofrecen tres ideas clave:

1. Ajuste Fino de Instrucciones: Confirmado como un factor crítico para fortalecer el alineamiento del modelo y reducir la susceptibilidad base.
2. Coherencia Semántica: Estableció que los sufijos adversarios semánticamente coherentes son sustancialmente más efectivos que los que carecen de sentido para inducir un comportamiento de jailbreak, sugiriando que los mecanismos de seguridad son más fáciles de eludir mediante entradas lingüísticamente coherentes.
3. Longitud del Sufijo: Reveló que la longitud del sufijo es un determinante crítico de la eficacia del ataque, particularmente para modelos robustos como los de la familia Llama, donde los sufijos más largos ejercen una mayor influencia conductual.

Los autores concluyen que estos hallazgos avanzan en la comprensión de la seguridad de los LLMs y proporcionan información accionable para diseñar mecanismos de alineamiento más resilientes. El trabajo destaca que, incluso con salvaguardas avanzadas, los modelos siguen siendo susceptibles a ataques adversarios evolutivos automatizados, particularmente cuando los ataques aprovechan la coherencia semántica.