Resumen Técnico: Agentes de Llamada a Funciones de Blue Teaming

Declaración del Problema

Los agentes de llamada a funciones extienden los Modelos de Lenguaje Extensos (LLM) al permitir la interacción con entornos externos y la ejecución de herramientas. Aunque protocolos como Agent2Agent (A2A) y el Model Context Protocol (MCP) están impulsando la adopción de aplicaciones agénticas, la robustez de seguridad de estos sistemas sigue sin probarse. La literatura existente indica que las capacidades de llamada a funciones no garantizan inherentemente la resistencia a ataques adversarios, incluso cuando se aplican defensas. Este documento aborda la falta de una evaluación de seguridad empírica dirigida específicamente a modelos de llamada a funciones de código abierto, señalando que los trabajos previos se han centrado principalmente en sistemas propietarios o carecían de un análisis detallado de la implementación de herramientas.

Metodología

Los autores realizaron una evaluación experimental utilizando cuatro LLM de código abierto que afirman tener capacidades de llamada a funciones:

• Qwen3:8B
• Llama-3.2:3B
• Granite3.2:8B
• Granite3.3:8B

Estos modelos fueron seleccionados por su naturaleza de código abierto, su popularidad y su alineación con los objetivos de desarrollo de IA sostenible (menor consumo de energía). La evaluación utilizó el conjunto de datos Berkeley Function Calling Leaderboard (BFCL), específicamente un subconjunto saneado de 172 pares de consulta-respuesta que involucran llamadas a funciones únicas. Para simular condiciones realistas donde los agentes tienen acceso al código de la herramienta, los autores generaron implementaciones de herramientas plausibles utilizando Qwen2.5-Coder:32B.

El estudio evaluó tres vectores de ataque distintos y ocho mecanismos de defensa (tanto preventivos como activos):

Vectores de Ataque

Todos los ataques tenían como objetivo inducir al agente a llamar a una función objetivo maliciosa específica (get_result) con un parámetro param1=true, el cual ejecuta una inyección SQL (DROP TABLE users).

1. Inyección de Prompt Directa (DPI): Embebe instrucciones maliciosas directamente en las consultas del usuario para anular los prompts del sistema y forzar la llamada a la herramienta maliciosa.
2. Envenenamiento de Herramienta Simple (STP): Modifica las descripciones de las herramientas para incluir instrucciones maliciosas, induciendo erróneamente al agente a seleccionar la herramienta maliciosa sobre las legítimas.
3. Envenenamiento de Renombrado de Herramientas (RTP): Un ataque novedoso que explota la visibilidad de la implementación de la herramienta. Manipula simultáneamente tanto las descripciones como las implementaciones de las herramientas. Inyecta una carga útil en la descripción que dirige al agente a inspeccionar las variables de implementación, y se asigna una carga útil maliciosa correspondiente a una variable dentro del código de la herramienta.

Mecanismos de Defensa

• Defensas Preventivas:
  • Similitud de Coseno: Utiliza un modelo de embedding para emparejar las consultas del usuario con las herramientas, delegando la selección al modelo de embedding.
  • Ofuscación de Herramientas: Renombra sistemáticamente funciones y variables en las implementaciones de las herramientas para interrumpir los ataques basados en renombrado.
  • Reescritura de Descripción: Utiliza un LLM especializado en análisis de código (Granite-Code:8B) para regenerar las descripciones de las herramientas basándose estrictamente en sus implementaciones reales, eliminando discrepancias.
• Defensas Activas:
  • Marcado de Agua (Watermarking): Implementa autenticación criptográfica (HMAC/SHA-256) para los nombres de las herramientas con el fin de detectar modificaciones no autorizadas.
  • Detectores Basados en LLM: Utiliza un modelo guardián (granite-guardian-3.2-3b-a800m) para detectar:
    • Jailbreak de Consulta: Identifica intentos de DPI.
    • Consistencia de Consulta-Respuesta: Valida si las respuestas del modelo se alinean con las entradas esperadas.
    • Jailbreak de Herramientas: Escanea las implementaciones y descripciones de las herramientas en busca de compromisos.
    • Consistencia de Consulta-Herramientas: Analiza la relevancia de las herramientas seleccionadas respecto a las consultas del usuario.

Resultados Clave

La evaluación reveló que los modelos de llamada a funciones no son seguros por defecto.

• Vulnerabilidad: Sin defensas, las Tasas de Éxito de Ataque (ASR) variaron significativamente según el modelo y el tipo de ataque.
  • DPI fue altamente efectivo contra Qwen3:8B (94% ASR) y Llama3.2:3B (58% ASR), pero ineficaz contra Granite3.3:8B (0% ASR).
  • STP logró un 95% de ASR contra Qwen3:8B, pero tuvo tasas de éxito menores en otros modelos.
  • RTP fue efectivo solo contra Qwen3:8B (74% ASR), lo que sugiere que este modelo otorga un peso desproporcionado a los detalles de la implementación de la herramienta en comparación con las descripciones.
• Efectividad de la Defensa:
  • La Reescritura de Descripción demostró ser altamente efectiva contra los ataques de envenenamiento de herramientas (STP y RTP), reduciendo el ASR a cero en estos escenarios con un impacto insignificante en la precisión.
  • El Marcado de Agua detectó con éxito el 100% de las llamadas a herramientas maliciosas (ya que los atacantes carecen de la clave secreta), pero falló para Llama3.2:3B debido a su incapacidad para reportar el marcado de agua exactamente.
  • Las Defensas Activas Basadas en LLM generalmente sufrieron de altas Tasas de Falsos Positivos (FPR). Por ejemplo, los detectores de "Consistencia de Consulta-Respuesta" y "Consistencia de Consulta-Herramientas" marcaron entre un 11 y 13% de las interacciones seguras como maliciosas. El detector de "Jailbreak de Herramientas" tuvo un FPR muy alto para escenarios de no ataque y DPI.
  • La Similitud de Coseno mostró resultados mixtos, mejorando la precisión en algunos casos, pero degradándola significativamente en otros.

Significancia y Contribuciones

El documento realiza las siguientes contribuciones al campo de la seguridad de sistemas agénticos:

1. Enfoque Empírico en Código Abierto: A diferencia del trabajo previo centrado en modelos propietarios, este estudio proporciona una evaluación enfocada en sistemas de llamada a funciones de código abierto, resaltando sus vulnerabilidades específicas.
2. Identificación de Nuevos Vectores de Ataque: Los autores identifican que la visibilidad de la implementación de la herramienta crea oportunidades de ataque únicas no abordadas previamente. Esto llevó a la introducción del Envenenamiento de Renombrado de Herramientas (RTP) y su defensa correspondiente, la Ofuscación de Herramientas.
3. Limitaciones de las Defensas Actuales: El estudio demuestra que, si bien ciertas defensas (como la Reescritura de Descripción y el Marcado de Agua) muestran potencial, ninguna defensa única proporciona una protección integral contra todos los tipos de ataque.
4. Restricciones Prácticas: Los autores concluyen que los modelos "guardianes" actuales basados en LLM aún no son viables para el despliegue en el mundo real debido a las altas Tasas de Falsos Positivos o la falta de generalización. Sugieren que el progreso futuro requiere modelos especializados entrenados en conjuntos de datos específicos de llamada a funciones, los cuales actualmente no existen.

En resumen, el documento afirma que, aunque los sistemas agénticos están ganando popularidad, carecen de robustez inherente. Los mecanismos de defensa actuales son o demasiado específicos para ciertos ataques o introducen una fricción operativa inaceptable (alto FPR), lo que indica la necesidad de soluciones de seguridad más especializadas y específicas para cada escenario.