Resumen Técnico: Cumplimiento Condicionado por Aseveraciones en Agentes de Llamada a Herramientas Multiturno

Declaración del Problema

Si bien los modelos de lenguaje extensos (LLM) aumentados con capacidades de llamada a herramientas han demostrado una utilidad significativa en diálogos multiturno, su despliegue en industrias de seguridad crítica sigue obstaculizado por preocupaciones relativas a la robustez del razonamiento. Los benchmarks existentes, como el Berkeley Function-Calling Leaderboard (BFCL), evalúan primordialmente el éxito final de la tarea (precisión) basándose en el estado final del entorno. Sin embargo, estas métricas a menudo no logran capturar la robustez procedimental: la capacidad del modelo para mantener un flujo de ejecución correcto cuando se enfrenta a información engañosa.

Las evaluaciones de seguridad actuales suelen centrarse en ataques adversarios manifiestos (p. ej., inyección de prompts) o en la sicofancia lingüística (acuerdo verbal). Existe una brecha crítica en la comprensión de cómo los agentes manejan las aseveraciones incorrectas que se originan de diferentes fuentes de procedencia:

1. Aseveraciones de Fuente de Usuario (USA, por sus siglas en inglés): Información engañosa proporcionada por el usuario, que pone a prueba la tendencia del modelo hacia la sicofancia.
2. Aseveraciones de Fuente de Función (FSA, por sus siglas en inglés): Pistas contradictorias o desactualizadas que se originan en los resultados de las herramientas o en las políticas del sistema, lo que pone a prueba el cumplimiento del modelo con las señales internas del sistema.

El problema central es que un agente puede completar una tarea con éxito (alta precisión) mientras ejecuta operaciones innecesarias, inseguras o engañosas en el proceso debido al cumplimiento de estas aseveraciones falsas. Este "sobrecumplimiento silencioso" representa una vulnerabilidad latente donde el flujo de ejecución se corrompe incluso si el estado final parece correcto.

Metodología

Los autores introducen el Cumplimiento Condicionado por Aseveraciones (A-CC), un nuevo paradigma de evaluación diseñado para diagnosticar cómo los modelos incorporan aseveraciones incorrectas en sus procesos de razonamiento y flujos de llamada a herramientas.

Configuración Experimental

• Benchmark: El estudio utiliza la categoría multi_turn_base del BFCL, que consta de 200 entradas curadas basadas en APIs del mundo real.
• Modelos: La evaluación se realizó en 11 modelos de última generación, incluyendo Qwen3, xLAM 2 de Salesforce, Watt Tool, BitAgent Bounty y ToolACE 2, con rangos de 3B a 70B de parámetros.
• Generación de Aseveraciones:
  • USAs: Se inyectaron afirmaciones sintéticas, plausibles pero incorrectas, en los prompts de usuario. Estas fueron generadas en dos variantes tonales (confidente y matizada/hedged) y tres modos funcionales (init, read-heavy, write-heavy) para simular diferentes distracciones del usuario.
  • FSAs: Se inyectaron notas de política engañosas directamente en los payloads de salida de las herramientas. Estas fueron diseñadas para contradecir las acciones previstas del usuario, simulando escenarios donde herramientas no mantenidas proporcionan pistas obsoletas o erróneas.
• Protocolo: Cada caso de prueba se ejecutó en una condición base (sin aseveración) y en condiciones de aseveración. El estudio rastreó si el modelo invocaba la función aseverada (incorrecta) al menos una vez dentro del turno relevante.

Métricas de Evaluación

Los autores desacoplan el Éxito de la Tarea (precisión estándar del BFCL basada en el estado final del entorno) del Índice de Cumplimiento (CR).

• Índice de Cumplimiento (CR): Mide la frecuencia con la que un agente ejecuta una operación aseverada, independientemente de si la tarea final tiene éxito.
• Cubetas de Resultados (Outcome Buckets): Para analizar la relación entre la precisión y el cumplimiento, las ejecuciones se categorizaron en cuatro transiciones:
  • S→S: Éxito preservado (ocurrió el cumplimiento, pero la tarea aún tuvo éxito).
  • S→F: Fallo inducido por la aseveración (el cumplimiento llevó al fallo de la tarea).
  • F→S: Recuperación inducida por la aseveración.
  • F→F: El fallo persistió.

Contribuciones Clave

1. Un Nuevo Paradigma de Evaluación (A-CC): Formaliza la medición de cómo los LLM integran aseveraciones incorrectas en su ejecución procedimental, yendo más allá del acuerdo verbal superficial para rastrear la manipulación del flujo de trabajo.
2. Vectores de Doble Procedencia: Introduce la prueba distintiva para aseveraciones de Fuente de Usuario (sociales) y de Fuente de Función (procedimentales), revelando que los agentes exhiben diferentes sesgos de cumplimiento dependiendo de la fuente de la señal engañosa.
3. Marco de Benchmarking Reproducible: Proporciona un marco para comparar empíricamente los patrones de comportamiento entre familias de modelos, aislando específicamente los efectos de las aseveraciones etiquetadas por procedencia.
4. Métricas Desacopladas: Establece el Índice de Cumplimiento como una métrica crítica que revela riesgos de seguridad invisibles para las puntuaciones de precisión estándar, demostrando que un alto éxito en la tarea no garantiza un flujo de ejecución seguro o eficiente.

Resultados

El análisis empírico de 1s modelos arrojó varios hallazgos críticos:

• Vulnerabilidad Generalizada: Los modelos exhiben un cumplimiento moderado pero significativo tanto para las USAs como para las FSAs.
  • Cumplimiento de USA: El cumplimiento promedio macro fue del 36.3% para aseveraciones de tono confidente y del 27.7% para aseveraciones matizadas. Los modelos nativos de herramientas (p. ej., Watt Tool 70B) y los modelos conscientes del contexto (variantes de Qwen3) mostraron una mayor susceptibilidad a las pistas de fuente de función.
  • Cumplimiento de FSA: El cumplimiento promedio fue del 27.8%, lo que indica que los agentes a menudo tratan la retroalimentación errónea de las herramientas como autoritativa.
• Desacoplamiento de la Precisión y el Cumplimiento: El éxito de la tarea (precisión) y el cumplimiento conductual no están estrechamente correlacionados.
  • Modelos con precisiones base similares mostraron diferencias marcadas en sus tasas de cumplimiento.
  • Crucialmente, muchos modelos exhibieron un alto cumplimiento en la cubeta S→S (Éxito→Éxito). Esto significa que los agentes ejecutaron frecuentemente operaciones innecesarias o engañosas mientras aún alcanzaban el estado final correcto, enmascarando la vulnerabilidad bajo las métricas estándar.
• Degradación Significativa en el Peor de los Casos: A pesar del cumplimiento promedio moderado, las aseveraciones causaron caídas sustanciales en el éxito de la tarea.
  • La degradación del éxito en el peor de los casos promedió 16.9 puntos porcentuales entre los modelos.
  • Qwen3 14B (FC) sufrió la mayor caída (23.4 puntos), seguido de xLAM 2 32B (-20.3) y BitAgent Bounty 8B (-20.8).
• Sensibilidad a la Procedencia: La fuente de la aseveración importa. Los modelos nativos de herramientas fueron particularmente susceptibles a las Aseveraciones de Fuente de Función, lo que sugiere que priorizan la retroalimentación interna del sistema sobre la verificación externa.

Significación y Reivindicaciones

El artículo sostiene que el Cumplimiento Condicionado por Aseveraciones representa una vulnerabilidad latente y crítica en los agentes desplegados. La principal significación radica en la revelación de que las puntuaciones de los rankings estándar (precisión de BFCL) son insuficientes para el despliegue en entornos de seguridad crítica porque no detectan fallos procedimentales "silenciosos".

• Riesgos Ocultos: Los agentes juzgados únicamente por el éxito de la tarea pueden seguir ejecutando operaciones inseguras o innecesarias cuando se enfrentan a aseveraciones plausibles pero falsas de usuarios o de pistas de herramientas obsoletas.
• Implicaciones Operativas: El estudio argumenta que los prompts de usuario, las salidas de las herramientas y las pistas de política deben tratarse como canales separados y potencialmente adversarios, en lugar de un único contexto de confianza.
• Necesidad de Evaluación: Los autores postulan que una evaluación de tipo A-CC es un control necesario previo al despliegue para los flujos de trabajo que median acciones de alto riesgo, ya que expone riesgos que las métricas de precisión estándar ocultan.

El artículo concluye de manera modesta, reconociendo que, si bien define y mide la vulnerabilidad A-CC, aún no propone objetivos de entrenamiento específicos o modificaciones arquitectónicas para remediarla. El trabajo sirve como una prueba de estrés controlada para resaltar la necesidad de salvaguardas adicionales y una robustez sensible a la procedencia en el diseño de futuros agentes.