RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

Resumen Técnico de RECAP: Un Método de Eficiencia de Recursos para el Prompting Adversario en Modelos de Lenguaje Extensos

Planteamiento del Problema

El despliegue creciente de Modelos de Lenguaje Extensos (LLMs) ha expuesto vulnerabilidades de seguridad significativas, específicamente la susceptibilidad de los modelos alineados al "jailbreaking" mediante prompts adversarios. Aunque los métodos automatizados como Greedy Coordinate Gradient (GCG), Progressive Ensemble Zip (PEZ) y Gradient-Based Distributional Attacks (GBDA) han demostrado la capacidad de generar sufijos adversarios que eluden las salvaguardas de seguridad, enfrentan limitaciones críticas:

1. Intensidad de Recursos: Métodos como GCG ofrecen altas tasas de éxito pero requieren recursos computacionales sustanciales y tiempo de entrenamiento, lo que los hace poco prácticos para organizaciones con presupuestos limitados.
2. Inconsistencia: Las tasas de éxito varían significativamente dependiendo de la categoría del prompt (por ejemplo, discurso de odio frente a narcóticos), lo que sugiere que ningún algoritmo único es universalmente óptimo.
3. Inaccesibilidad de Caja Negra: Los métodos de prueba adversaria existentes a menudo requieren acceso a los estados internos del modelo (logits y salidas puras) para calcular gradientes. Esto los vuelve ineficaces para evaluar modelos alojados, privados o de código cerrado (por ejemplo, Gemini, APIs propietarias) donde dicho acceso está restringido.

Metodología

El artículo presenta RECAP, un marco de eficiencia de recursos que aprovecha los principios de la Generación Aumentada por Recuperación (RAG) para evitar la necesidad de un entrenamiento adversario en tiempo real. En lugar de generar nuevos tokens adversarios mediante el descenso de gradiente para cada consulta, RECAP recupera ejemplos adversarios exitosos precomputados de una base de datos estructurada.

La metodología procede en tres etapas:

1. Curación y Clasificación de Datos:

   • Se curó un conjunto de datos de 1,000 prompts dañinos y se clasificó en siete categorías de intención: Odio, Contenido Sexual, Violencia y Crimen, Socio-Político, Sustancias Reguladas, Suicidio/Autolesión y Otros.
   • La clasificación fue realizada utilizando un modelo Vicuna-7B con ingeniería de prompts.
   • Cada prompt fue procesado a través de tres algoritmos adversarios (PEZ, GBDA y GCG) utilizando un modelo Llama 3 8B.
   • Las salidas fueron evaluadas utilizando el Clasificador HarmBench para determinar si el prompt adversario logró provocar una respuesta dañina.

2. Construcción de la Base de Datos de Recuperación Jerárquica:

   • Se compiló una base de datos estructurada que contiene los prompts originales, sus correspondientes sufijos adversarios (generados por PEZ, GBDA y GCG) y etiquetas de éxito.
   • Filtrado: Solo se retuvieron las filas con al menos un ataque exitoso, reduciendo el conjunto de datos de 780 a 226 ejemplos efectivos.
   • Jerarquía: Para GCG, que genera 13 variaciones de tokens por prompt, se almacenó la primera variación exitosa.
   • Clasificación: La base de datos organiza los ejemplos adversarios jerárquicamente. Para cada categoría de intención, el sistema prioriza el algoritmo con la tasa de éxito históricamente más alta para esa categoría específica (por ejemplo, los tokens de GCG se priorizan para prompts de violencia sexual).

3. Pipeline de Inferencia:

   • Codificación: Los nuevos prompts de usuario se codifican en representaciones de vectores densos utilizando el modelo SentenceTransformer all-MiniLM-L6-v2.
   • Búsqueda de Similitud: El prompt codificado se pasa a un índice FAISS (Facebook AI Similarity Search) para recuperar los prompts más semánticamente similares de la base de datos.
   • Selección: El sistema recupera el prompt con mejor coincidencia y selecciona el sufijo adversario asociado basándose en la jerarquía preestablecida (priorizando el algoritmo más exitoso para esa intención).
   • Ejecución: El sufijo adversario seleccionado se añade al query original del usuario y se envía al LLM objetivo. Este proceso no requiere computación de gradientes ni entrenamiento del modelo durante la inferencia.

Contribuciones Clave

• Eficiencia de Recursos: El método elimina la necesidad de un entrenamiento lento y cálculos de gradiente durante la inferencia, reduciendo significativamente la sobrecarga computacional.
• Compatibilidad de Caja Negra: Al depender de la recuperación en lugar de los estados internos del modelo (logits), RECAP permite realizar pruebas de seguridad en modelos de código cerrado y alojados donde los ataques tradicionales basados en gradientes son imposibles.
• Optimización Consciente de la Categoría: El enfoque explota la correlación entre la intención del prompt y el algoritmo de ataque más efectivo, utilizando una estrategia de recuperación jerárquica para maximizar la probabilidad de éxito sin reentrenar.
• Transferibilidad: Se encontró que los tokens adversarios generados y almacenados son efectivos en diferentes arquitecturas de modelos (por ejemplo, Vicuna, Phi) a pesar de haber sido derivados de un conjunto de entrenamiento Llama 3 8B.

Resultados Experimentales

El método fue evaluado en 145 prompts distintos utilizando un modelo Llama 3 8B y se comparó contra PEZ, GBDA y GCG.

• Tasas de Éxito (Tasa de Éxito Promedio - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • Nota: El autor atribuye la ASR ligeramente inferior al tamaño limitado actual de la base de datos de recuperación, anticipando una mejora a medida que la base de datos se expanda.

• Eficiencia (Tiempo para Procesar 20 Prompts):

  • GCG (Transferencia de Fuerza Bruta): ~6.3 minutos
  • PEZ: 7.3 minutos
  • GBDA: 7.1 minutos
  • RECAP: 4 minutos
  • Nota: El entrenamiento estándar de GCG tomó aproximadamente 8 horas para el mismo lote, mientras que RECAP requirió solo 4 minutos.

• Pruebas de Caja Negra:

  • RECAP fue probado en la API de Gemini (con filtros de daño desactivados). Aunque las tasas de éxito fueron menores (4–10%) debido al ajuste fino superior y la escala de parámetros del modelo, el experimento demostró que el método es aplicable donde otros algoritmos fallan por completo debido a la falta de acceso a los logits.

Significancia y Reivindicaciones

El artículo posiciona a RECAP como un marco práctico para las "pruebas de penetración" de la seguridad de la IA, particularmente para organizaciones con recursos computacionales limitados. Su principal significancia radica en:

1. Democratización de las Pruebas de Seguridad: Hacer que la evaluación adversaria sea accesible para entidades más pequeñas que no pueden costear los costos de GPU asociados con los ataques basados en entrenamiento como GCG.
2. Cerrar la Brecha de la Caja Negra: Proporcionar un mecanismo viable para evaluar la robustez de los LLM propietarios y de código cerrado sin requerir acceso interno al modelo.
3. Escalabilidad: Los autores afirman que a medida que la base de datos de recuperación crezca, se espera que la tasa de éxito siga un patrón de crecimiento logístico, permitiendo potencialmente que el método supere a los enfoques tradicionales basados en entrenamiento manteniendo un uso mínimo de recursos.

El artículo concluye reconociendo la naturaleza de doble uso de la herramienta, enfatizando su uso previsto para identificar vulnerabilidades para fortalecer las salvaguardas del modelo en lugar de generar contenido malicioso. El trabajo futuro se centra en expandir la base de datos RAG y refinar la integración de los tokens recuperados para optimizar aún más la inicialización del entrenamiento para otros algoritmos.