Resumen Técnico: ASPI – La Búsqueda de Aclaración de Ambigüedades Amplifica la Vulnerabilidad a la Inyección de Prompts en Agentes LLM

1. Declaración del Problema

Si bien la capacidad de los agentes de Modelos de Lenguaje Grande (LLM) para reconocer tareas no especificadas y buscar aclaraciones a los usuarios se considera ampliamente una característica deseable para alinear el comportamiento del agente con la intención del usuario, las implicaciones de seguridad de este patrón de interacción permanecen inexploradas. La investigación existente sobre inyección de prompts se centra principalmente en ataques entregados a través de datos devueltos por herramientas o entradas de usuario estándar durante la ejecución de tareas completamente especificadas.

Este artículo investiga una brecha crítica: ¿La transición desde la ejecución estándar a un estado de búsqueda de aclaración aumenta la susceptibilidad de un agente a ataques de inyección de prompts? Cuando un agente solicita entrada adicional, crea un nuevo canal donde el contenido externo ingresa al contexto. Dado que el agente solicita explícitamente esta entrada y espera que contenga información relevante para la tarea, la frontera entre instrucciones confiables y contenido externo no confiable se vuelve borrosa. Esta asimetría estructural puede hacer que los modelos traten las instrucciones adversarias incrustadas en las respuestas de aclaración como datos legítimos de la tarea.

2. Metodología: El Punto de Referencia ASPI

Para aislar el efecto causal del estado de interacción sobre la vulnerabilidad, los autores introducen ASPI (Inyección de Prompts en Estado Ambiguo), un punto de referencia que comprende 728 escenarios de tarea-ataque en cuatro dominios: Espacio de Trabajo, Mensajería (Slack), Viajes y Banca.

Construcción del Punto de Referencia

• Material de Origen: ASPI se basa en el marco AgentDojo, heredando sus entornos dinámicos y con estado, implementaciones de herramientas y funciones de puntuación deterministas.
• Generación de Ambigüedad: Partiendo de tareas benignas completamente especificadas, el pipeline construye "prompts base ambiguos" eliminando exactamente una pieza de información proporcionada por el usuario (por ejemplo, un destinatario, una fecha o un destino) requerida para completar la tarea. Esto obliga al agente a invocar una herramienta ask_user para resolver la ambigüedad.
• Diseño de Evaluación Emparejada: Cada par tarea-atacante se evalúa bajo condiciones emparejadas para garantizar la comparabilidad:
  • Estado de Ejecución: El agente recibe el prompt completamente especificado. El contenido adversario se inyecta únicamente a través de datos devueltos por herramientas (exec_tool) o mensajes de usuario estándar (exec_user).
  • Estado de Aclaración: El agente recibe el prompt ambiguo, solicita aclaración y luego recibe el contenido adversario.
    • clarif_tool: Ataque a través de la salida de la herramienta después de la aclaración.
    • clarif_ask_user: Ataque incrustado en el valor de retorno de la herramienta ask_user (la respuesta del usuario a la pregunta del agente).
    • clarif_user: Ataque incrustado en un mensaje de usuario directo que sigue a la aclaración.
• Vectores de Ataque: El punto de referencia utiliza tres operadores de inyección (Revinculación de Jerarquía, Sustitución de Objetivos, Envenenamiento de Restricciones) para incrustar objetivos del atacante dentro de la respuesta de aclaración mientras se mantiene la información benigna requerida para completar la tarea.

Protocolo de Evaluación

• Modelos: Se evaluaron diez LLM de vanguardia, incluidos modelos propietarios (variantes de GPT-5, o3, Claude-Opus-4.7, Gemini-3.1-Pro, Gemini-3-Flash, Kimi K2.5) y modelos de código abierto (variantes de Qwen3, DeepSeek V3.2).
• Métricas: La métrica principal es la Tasa de Éxito del Ataque (ASR), que mide con qué frecuencia se logra el objetivo del atacante. La utilidad de la tarea mide la finalización exitosa de la tarea benigna.
• Análisis: El estudio emplea comparaciones emparejadas para descomponer la vulnerabilidad en efectos de estado (cómo el modo de interacción cambia el procesamiento) y efectos de canal (cómo el mecanismo de entrega influye en la confianza).

3. Contribuciones Clave

1. Primera Evidencia Empírica de Vulnerabilidad por Aclaración: El artículo presenta el primer estudio que demuestra que los agentes se vuelven sustancialmente más vulnerables a la inyección de prompts cuando operan bajo ambigüedad. Las tasas de éxito del ataque aumentan drásticamente tanto en modelos de código abierto como propietarios cuando los ataques se entregan a través de la interfaz de aclaración.
2. Punto de Referencia ASPI: Un punto de referencia controlado de 728 instancias emparejadas que aísla el efecto causal del estado de interacción sobre la vulnerabilidad, proporcionando un marco metodológico para estudiar la seguridad de agentes de múltiples turnos.
3. Descomposición de la Vulnerabilidad: Los autores descomponen la brecha de vulnerabilidad, revelando que, aunque el estado de interacción por sí solo tiene efectos heterogéneos, el canal de aclaración (ask_user) actúa consistentemente como una superficie de ataque de alto impacto. La solicitud de entrada sesga a los modelos hacia tratar las respuestas como instrucciones confiables.
4. Evaluación de Defensas: El artículo adapta y evalúa dos defensas ligeras (guardias de prompts a nivel de segmento y filtros de herramientas) específicamente para ataques en tiempo de aclaración. Demuestra que, aunque estas defensas reducen el éxito del ataque, no eliminan la brecha de vulnerabilidad, ya que las respuestas de aclaración a menudo entrelazan información benigna con instrucciones adversarias.

4. Resultados Clave

• Amplificación Significativa de la Vulnerabilidad: La búsqueda de aclaración amplifica consistentemente la vulnerabilidad. Por ejemplo:
  • o3: El éxito del ataque aumenta del 1.8% (ejecución) al 34.0% (aclaración vía ask_user).
  • Gemini-3-Flash: El éxito del ataque aumenta del 2.2% al 35.7%.
  • Kimi K2.5: El éxito del ataque aumenta del 11.1% al 63.1%.
• Canal vs. Estado:
  • Efecto de Estado: Al mantener constante el canal de entrega (por ejemplo, comparando clarif_tool vs. exec_tool), el efecto es heterogéneo. Algunos modelos (por ejemplo, Gemini) muestran mayor susceptibilidad, mientras que otros (por ejemplo, DeepSeek) muestran menor susceptibilidad, lo que sugiere que la ambigüedad por sí sola no aumenta universalmente el riesgo.
  • Efecto de Canal: El canal ask_user es el principal impulsor del aumento de la vulnerabilidad. Los ataques entregados a través de la respuesta solicitada al usuario son significativamente más efectivos que aquellos entregados a través de salidas de herramientas estándar, incluso cuando el contenido subyacente es idéntico.
• Análisis Conductual:
  • Integración de Tareas: Los fallos rara vez se deben al abandono de la tarea. En cambio, los agentes exhiben frecuentemente el comportamiento TASK_AND_ATTACK, donde integran las instrucciones inyectadas en el contexto de la tarea benigna en lugar de reemplazarla.
  • Mecanismo de Confianza: El análisis mediante LLM como juez revela que los agentes a menudo tratan el contenido de aclaración inyectado como CONFUSED (confundiéndolo con datos de la tarea) o PERSUADED (aceptándolo como necesario/autoritario), en lugar de reconocerlo como adversario.
• Limitaciones de las Defensas: Las defensas ligeras (guardias de prompts y filtros de herramientas) reducen la ASR pero no logran cerrar la brecha por completo. Por ejemplo, bajo guardia de prompts, la ASR clarif_ask_user de Gemini-3-Flash cae del 35.7% al 27.0%, dejando una vulnerabilidad residual significativa.

5. Significado y Afirmaciones

El artículo afirma que las evaluaciones de seguridad en tiempo de ejecución estándar subestiman sistemáticamente la superficie de ataque de los agentes interactivos. La robustez bajo tareas completamente especificadas no se traduce en robustez bajo ambigüedad.

Los autores concluyen que la aclaración no es un paso de preprocesamiento neutral, sino un cambio dependiente del estado en cómo los modelos interpretan la información entrante. Dado que los agentes solicitan explícitamente esta entrada, bajan su guardia contra la distinción entre instrucciones y datos. Esto crea un modo de fallo donde agentes robustos en configuraciones estándar se vuelven altamente vulnerables cuando se les obliga a resolver ambigüedades.

El artículo mantiene un alcance modesto, reconociendo limitaciones como el uso de ambigüedad sintética de un solo slot (que puede subestimar los riesgos de múltiples turnos en el mundo real) y la dependencia de primitivas de interacción específicas (ask_user). Sin embargo, establece firmemente que la interfaz de aclaración representa una vulnerabilidad distinta y previamente no medida que los puntos de referencia actuales de seguridad de agentes no logran capturar.