Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

Resumen Técnico: Secuestro de Prompts con Preservación Semántica mediante Búsqueda Local Codiciosa Adaptativa

Planteamiento del Problema
Los Modelos de Lenguaje Grande (LLM) se integran cada vez más con módulos de Optimización Automática de Prompts (APO), que reescriben la entrada del usuario antes de generar una respuesta para mejorar la transparencia y la usabilidad (por ejemplo, Microsoft Bing Copilot, Claude.ai). Aunque estos módulos pretenden fomentar la confianza al revelar las modificaciones, su mecanismo de selección autónoma del "mejor" candidato entre múltiples alternativas crea una nueva superficie de ataque. Los autores identifican que los atacantes pueden secuestrar este proceso de optimización induciendo cambios semánticos sutiles e imperceptibles en la entrada. El desafío central es diseñar entradas adversarias que mantengan una alta similitud semántica con el texto original (para parecer legítimas ante el optimizador) mientras causan que el LLM objetivo produzca una salida significativamente diferente y engañosa. Los métodos adversarios de caja negra existentes suelen fallar en este contexto específico porque carecen de la adaptabilidad dinámica necesaria para navegar las estrictas restricciones semánticas dentro de los procesos de optimización de múltiples etapas.

Metodología: Búsqueda Local Codiciosa Adaptativa (AGLS)
El artículo propone la Búsqueda Local Codiciosa Adaptativa (AGLS), un marco de ataque de caja negra diseñado para explotar los optimizadores de señales visibles. El método opera bajo la restricción de que la similitud semántica $S(t, t')$ entre la entrada original $t$ y la entrada adversaria $t'$ debe superar un umbral $\sigma$, asegurando al mismo tiempo que la salida del modelo cambie ($O(t) \neq O(t')$).

El marco AGLS procede a través de las siguientes etapas:

1. Descomposición de Entrada y Puntos de Control: La entrada de texto se segmenta en cláusulas jerárquicas basadas en la puntuación y la sintaxis. El final de cada cláusula sirve como un "punto de control" ($t_i$).
2. Ajuste Dinámico de Candidatos: En cada punto de control, el sistema calcula la similitud semántica entre el prefijo original y el prefijo adversario parcialmente generado utilizando una métrica de similitud basada en BERT. Un umbral dinámico guía la selección de palabras candidatas de reemplazo:
   • Si la similitud es demasiado baja, la búsqueda se desplaza hacia candidatos que aumenten la similitud.
   • Si la similitud es demasiado alta (desviación insuficiente), la búsqueda se desplaza hacia candidatos que aumenten la desviación.
   • Este bucle de retroalimentación permite al ataque equilibrar la preservación semántica con la maximización de la desviación de comportamiento.
3. Generación de Tokens Enmascarados: Las unidades lingüísticas clave (verbos, sustantivos plurales) se enmascaran y reemplazan utilizando un modelo de lenguaje enmascarado (BERT). Los $k$ mejores candidatos son clasificados, y el token final se selecciona según las reglas adaptativas descritas anteriormente.
4. Reconstrucción Iterativa: El proceso se repite incrementalmente, actualizando el contexto después de cada sustitución hasta que todas las posiciones enmascaradas se completan, dando como resultado el ejemplo adversario final.

La justificación teórica se proporciona enmarcando el ataque como un problema de decisión local secuencial en lugar de una optimización global, aproximando el óptimo global mediante decisiones locales mientras se evita la acumulación de deriva semántica mediante retroalimentación en tiempo real.

Contribuciones Clave

1. Identificación de una Nueva Superficie de Ataque: Los autores formalizan la vulnerabilidad introducida por los módulos de optimización de prompts visibles en los LLM de nivel de producción, donde el mecanismo de selección puede ser secuestrado mediante la deriva semántica.
2. Propuesta de AGLS: Un nuevo método de ataque de caja negra que equilibra dinámicamente la preservación semántica y la efectividad del ataque a través de una búsqueda basada en puntos de control adaptativos, evitando el "sesgo de compromiso temprano" común en los métodos de búsqueda de haz (beam search) estáticos.
3. Validación Empírica: Experimentos extensos en modelos comerciales (GPT-4, GPT-4o) y de código abierto (Llama-3, Qwen-2.5, Gemma-2) en cuatro conjuntos de datos diversos (GSM8K, Math QA, SQuAD, Strategy QA).

Resultados Experimentales
El artículo evalúa AGLS en más de 2,400 casos de prueba. Los hallazgos clave incluyen:

• Tasa de Éxito del Ataque (ASR) Superior: Bajo las mismas restricciones de similitud semántica, AGLS supera consistentemente a los métodos de vanguardia (incluyendo TextFooler, BERT-Attack, G2PIA y BeamAttack). Por ejemplo, en el conjunto de datos Math, AGLS alcanzó un ASR del 60.61%, superando al segundo mejor método por 6.79 puntos porcentuales.
• Rendimiento en Diversas Tareas: El método logra un ASR alto (frecuentemente >60%) en tareas de razonamiento numérico (GSM8K, Math QA), con algunos modelos mostrando un ASR de hasta 89.47%. El rendimiento es ligeramente inferior en tareas de QA textual (SQuAD, Strategy QA), atribuido a la naturaleza distribuida del razonamiento fáctico, pero sigue siendo competitivo.
• Eficiencia: El tiempo promedio de generación oscila entre 0.17s y 2.49s, demostando la viabilidad para ataques interactivos casi en tiempo real.
• Estudios de Ablación: Los resultados confirman que el mecanismo de ajuste dinámico de candidatos es crítico; las estrategias de selección estáticas resultan en un ASR significativamente menor (por ejemplo, cayendo de 90.91% a 36.36% en GPT-4). Se encontró que un alcance de búsqueda de 13,000 candidatos ofrece el mejor equilibrio entre efectividad y costo computacional.

Significancia y Reivindicaciones
El artículo afirma que AGLS establece un nuevo estado del arte para los ataques adversarios con preservación semántica, particularmente en escenarios que imitan los procesos de optimización de prompts del mundo real. El trabajo destaca una vulnerabilidad de seguridad crítica en los módulos de optimización que mejoran la transparencia, sugiriendo que las mismas características diseñadas para generar confianza en el usuario pueden ser explotadas para engañar a los modelos. Los autores enfatizan que la robustez no escala linealmente con los parámetros del modelo, ya que incluso los modelos grandes (por ejemplo, Llama-3.1-70B) siguen siendo altamente vulnerables a este vector de ataque específico.

El artículo concluye señalando las limitaciones y las posibles defensas, tales como la detección de consistencia de índice múltiple, la aleatorización en el cribado de candidatos y el riesgo de reducción de la eficacia si las palabras clave centrales son identificadas erróneamente durante el ataque. Se propone trabajo futuro para extender AGLS a entornos multimodales y de múltiples turnos.