AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

Resumen Técnico: AdvPlan-Bench

Formulación del Problema
Las evaluaciones actuales de los agentes de generación de planes suelen evaluar un plan candidato de forma aislada, centrándose en si produce una respuesta final plausible, trazas de herramientas válidas o secuencias ejecutables. Sin embargo, en entornos adversarios, la calidad de un plan no es intrínseca; depende de cómo un agente opuesto busca respuestas, qué restricciones se enfatizan y si el conjunto de candidatos contiene alternativas significativas. Los benchmarks existentes (p. ej., BIG-bench, HELM, AgentBench) evalúan típicamente la completitud de la tarea o la corrección de las herramientas frente a claves de respuesta estáticas o entornos fijos. A menudo no logran capturar la robustez de un plan cuando se somete a un oponente adaptativo ni analizar la estructura de la frontera de candidatos (diversidad, optimalidad de Pareto) y el razonamiento a nivel de traza detrás de la selección.

Metodología: AdvPlan-Bench
AdvPlan-Bench es un benchmark sintético offline diseñado para evaluar agentes de generación de planes estructurados a través de una lente adversaria. Trata al objeto de evaluación no como un par de prompt-respuesta único, sino como una tupla $(s, c_B, C_R, U, D)$, que comprende un escenario, un plan estructurado BLUE, un conjunto de respuestas adversarias RED, una señal de ventaja tipo utilidad y trazas de diagnóstico.

• Representación: Los planes se representan como cadenas de acciones tipadas con ramificaciones condicionales opcionales, asignaciones de roles y espacios de llamadas a herramientas. Cada plan recibe una puntuación de calidad sintética $q = w_e e - w_c c - w_r r$ (efectividad, costo, riesgo).
• Configuración Adversaria:
  • Política BLUE: Genera un plan candidato estructurado $c_B$.
  • Política RED: Genera un conjunto de respuestas $C_R = \{c^1_R, \dots, c^k_R\}$ condicionadas al escenario y a $c_B$.
  • Selección: Un selector evalúa los candidatos utilizando una función de puntuación $S(b_i)$ que equilibra la calidad reescalada ($Q$), la alineación de restricciones ($D$), la diversidad de candidatos ($V$) y la presión adversaria ($P$).
• Ejes de Evaluación: El benchmark rastrea seis ejes en lugar de una única puntuación agregada:
  1. Validez de la Representación: Inspectabilidad de los objetos de plan tipados.
  2. Estructura del Plan: Métricas como la opcionalidad de ruta, la parsimonia de vértices y la completitud de la línea de mundo.
  3. Robustez Adversaria: Cómo cambia la calidad de BLUE a medida que aumenta el presupuesto de respuesta de RED ($k$).
  4. Calidad de la Frontera: Diversidad y alternativas no dominadas de Pareto dentro de los conjuntos de candidatos.
  5. Selección Sensible a Restricciones: El compromiso entre la calidad sintética y la estructura cualitativa.
  6. Reproducibilidad de la Traza: La capacidad de regenerar resultados a partir de artefactos por escenario.
• Líneas Base y Controles: El estudio compara respuestas RED de muestra única contra políticas de mejor respuesta muestreadas (codiciosas en calidad y conscientes de las restricciones), una línea base de contrato de política de LLM offline, y un consejo multi-agente de dos etapas (generar, estresar, revisar, adjudicar).

Contribuciones Clave

1. Configuración Adversaria Formal: Un marco donde los candidatos estructurados se evalúan contra conjuntos de respuestas muestreados en lugar de claves de respuesta fijas.
2. Benchmark Offline Reproducible: Un sistema que proporciona trazas de planes tipados, comparaciones de políticas BLUE/RED, diagnósticos de coherencia de restricciones, curvas de presupuesto de respuesta y análisis de la frontera de Pareto.
3. Evidencia Empírica: Datos de 150 escenarios sintéticos a través de cinco plantillas de planificación (estabilidad urbana, interdicción marítima, coordinación multidominio, supresión de defensa aérea, evacuación humanitaria) que demuestran cómo el muestreo adversario y la crítica multi-agente alteran la tasa de victoria y las conclusiones sobre la calidad del plan.
4. Hallazgo de Desarrollo del Benchmark: Una demostración de que las variables de encuadre (framing) del escenario deben estar conectadas en la generación de contenido para tener un efecto; de lo contrario, los cambios de encuadre resultan en un "no-op silencioso".

Resultados

• Impacto Adversario: Aumentar el presupuesto de respuesta de RED de una sola muestra ($k=1$) a ocho muestras ($k=8$) reduce la ventaja de BLUE de 0.518 a 0.486 y la tasa de victoria de BLUE de 0.900 a 0.820.
• Diversidad de Candidatos: Los conjuntos de candidatos RED muestreados exhiben una variación no trivial, con una diversidad media de tipos de acción de 0.681 y un promedio de 2.17 candidatos óptimos de Pareto por conjunto de ocho.
• Desempeño de la Línea Base:
  • La línea base de política de LLM offline logra una ventaja de BLUE de 0.496 y una tasa de victoria de 0.700, con la coherencia de restricciones de RED alcanzando 1.000.
  • El consejo multi-agente de dos etapas mejora el desempeño de BLUE respecto a la búsqueda fuerte de RED, logrando una ventaja de BLUE de 0.509 y una tasa de victoria de 0.813. En el 75.3% de los escenarios, el plan seleccionado final proviene del conjunto revisado.
• Sensibilidad de la Rúbrica: Un estudio con tres evaluadores independientes sobre 600 registros mostró un acuerdo inter-evaluador de 0.978, indicando que la rúbrica heurística no es frágil ante pequeñas perturbaciones de puntuación.
• Sensibilidad de Encuadre: Cuando el generador fue parcheado para usar el encuadre del escenario para modificar objetivos, el delta de sensibilidad medido fue de 0.066, confirmando que el encuadre debe ser activo en la generación para influir en los resultados.

Significancia y Reivindicaciones
El artículo posiciona a AdvPlan-Bench como una contribución metodológica en lugar de una arquitectura de decisión operativa o un nuevo algoritmo de aprendizaje de auto-juego. Su significancia radica en:

• Granularidad: Desplazar la unidad de evaluación de un par de prompt-respuesta a una traza adversaria estructurada, permitiendo a los investigadores inspeccionar la "frontera de candidatos" y la estabilidad de los planes bajo una mayor presión adversaria.
• Reproducibilidad: Proporcionar un artefacto transparente donde los supuestos (p. ej., puntuaciones de calidad sintética, heurísticas de restricciones) son inspeccionables antes de pasar a modelos vivos o datos del mundo real.
• Capacidad Diagnóstica: Exponer fallos silenciosos en el diseño de benchmarks (p. ej., el no-op de encuadre) y distinguir entre efectos de reparación genuinos y artefactos de puntuación en sistemas multi-agente.

Los autores declaran explícitamente que AdvPlan-Bench no es un planificador operativo, no utiliza datos del mundo real y no debe usarse para la toma de decisiones en el mundo real. Sirve como un banco de pruebas controlado para estudiar la evaluación de planes adversarios, la sensibilidad del presupuesto de respuesta y las trazas de crítica y revisión multi-agente.