Resumen Técnico: CAPO – Optimización de Prompts Consciente de Restricciones para Agentes LLM

1. Formulación del Problema

Los Modelos de Lenguaje Grande (LLMs) se despliegan cada vez más como agentes que dependen de prompts de sistema para ejecutar tareas utilizando herramientas externas. Aunque estos agentes pueden completar tareas con éxito, a menudo fallan en los requisitos de despliegue debido a restricciones operativas como el uso excesivo de herramientas, la escalación humana innecesaria, prompts excesivamente largos o violaciones de las políticas de seguridad y formato.

Los métodos existentes de optimización automática de prompts suelen fallar al abordar estas restricciones de manera efectiva porque dependen de:

• Puntuaciones de Pesos Estáticos: Asignar coeficientes fijos a las restricciones antes de comenzar la búsqueda, lo cual no puede adaptarse cuando la "restricción vinculante" (el requisito más violado) cambia entre dominios o rondas de optimización.
• Ranking de Pareto: Identificar prompts óptimos de Pareto sin asegurar que satisfagan umbrales de despliegue específicos, lo que potencialmente deja a todos los candidatos fuera de la región factible.
• Post-Entrenamiento: Requerir acceso a los pesos del modelo y datos supervisados, lo cual suele ser inviable para modelos congelados o solo accesibles vía API.

El artículo formula el problema como una optimización con restricciones de umbral:
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
donde $R(p)$ es la recompensa de la tarea, $C_i(p)$ es el costo de la restricción $i$, y $\tau_i$ es el presupuesto explícito. El objetivo es encontrar un prompt que maximice el rendimiento de la tarea mientras satisface todas las restricciones simultáneamente.

2. Metodología

El artículo introduce CAPO (Constraint-Aware Prompt Optimization), un método primal–dual que trata la optimización de prompts como un problema de búsqueda con restricciones utilizando multiplicadores de Lagrange adaptativos.

2.1 CAPO: Búsqueda Primal–Dual con un Reescritor Congelado

CAPO opera en rondas, alternando entre un paso primal (reescritura de prompts) y un paso dual (actualización de los pesos de las restricciones).

• Ranking Lagrangiano: Para un conjunto de multiplicadores $\lambda_i \geq 0$, el método define un objetivo Lagrangiano:
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  Los prompts se clasifican por $J(p, \lambda)$. Este ranking guía la selección de padres para la reescritura y determina qué prompts se retienen en el pool.
• Reescrituras Primales Aproximadas: Un LLM "crítico" congelado resume los fallos de la tarea y las violaciones de las restricciones. Un LLM "reescritor" congelado genera entonces nuevos prompts basados en esta evidencia y en el estado dual actual (multiplicadores). La instrucción de reescritura incluye explícitamente los pesos $(1, \lambda_1, \dots, \lambda_m)$ para priorizar las restricciones con multiplicadores más grandes.
• Actualizaciones Duales Impulsadas por Residuos: Tras evaluar el pool expandido, los multiplicadores se actualizan mediante un paso de subgradiente proyectado basado en el residuo empírico de los mejores candidatos:
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  Si se viola una restricción ($\hat{\rho} > \tau$), su multiplicador aumenta, incrementando su peso en el ranking y la reescritura futuros. Si hay holgura, el multiplicador disminuye.
• Pool de Prompts: Un pool de prompts retenidos preserva los candidatos fuertes, permitiendo que las reescrituras exitosas sirvan de semilla para futuras rondas.

2.2 DCAPO: CAPO Entrenado Dinámicamente

Para mejorar la eficiencia y la adaptabilidad, los autores introducen DCAPO, que aprende una política de reescritura condicionada por el feedback y el estado dual ($\pi_\theta$) en lugar de depender de un LLM congelado.

• Entrenamiento: DCAPO utiliza GRPO basado en pool (Optimización de Política Relativa de Grupo). Toma muestras de padres del pool de prompts en evolución, genera grupos de prompts hijos, los evalúa con el agente de tarea congelado y actualiza la política del reescritor basándose en las puntuaciones de Lagrange adaptativas.
• Condicionamiento: El reescritor está condicionado por el prompt padre, la reescritura previa en una secuencia de profundidad, las trayectorias de comportamiento (llamadas a herramientas, fallos) y el estado dual actual $\lambda_t$.
• Separación de Preocupaciones: El agente de tarea desplegado permanece congelado; solo se entrena el reescritor.

2.3 Análisis Teórico

El artículo proporciona un análisis de sustitución que caracteriza la convergencia del método. Modela las reescrituras de texto discretas como un paso de ascenso inexacto en un espacio de sustitución continuo. El análisis establece un límite primal–dual que tiene en cuenta:

1. Errores de aproximación de pool finito.
2. Residuos de reescritura discreta (la brecha entre la reescritura de texto discreta y el ascenso continuo ideal).
3. Errores estándar de optimización dual.
   El límite muestra que, bajo supuestos específicos (concavidad fuerte, gradientes acotados), el método converge a una solución factible a medida que los tamaños de paso se desvanecen.

3. Contribuciones Clave

1. Optimización de Prompts Consciente de Restricciones: El desarrollo de un procedimiento primal–dual basado en pool que utiliza residuos con signo para ponderar adaptativamente las restricciones, yendo más allá de la la la escala estática o el ranking de Pareto.
2. Factibilidad Empírica Consistente: Demostrar que CAPO alcanza de manera fiable puntos operativos donde cada presupuesto operativo se satisface en diversos dominios (Aerolíneas, Retail, Telecomunicaciones) y tamaños de modelo.
3. Un Reescritor Aprendido (DCAPO): Introducción de un método para entrenar una política de reescritura utilizando GRPO basado en pool. DCAPO produce prompts factibles en diversos dominios y iguala o supera la precisión de los baselines mientras mantiene el agente de tarea congelado.
4. Análisis de Sustitución: Provisión de una caracterización teórica de cómo los errores de pool finito y de reescritura discreta se propagan a través del procedimiento primal–dual inexacto.

4. Resultados Experimentales

La evaluación abarca tres áreas principales: TAU2-BENCH (agentes de uso de herramientas), Benchmarks de Chatbot/Privacidad y Agentes de Codificación.

4.1 Uso de Herramientas Agénticas (TAU2-BENCH)

• Factibilidad: A través de seis combinaciones de tres dominios (Aerolíneas, Retail, Telecomunicaciones) y dos modelos de tarea (GPT-5-mini, GPT-5.1), CAPO fue el único método que satisfizo todas las restricciones en cada configuración.
  • Los baselines (Initial, APO, GEPA, MOPO) lograron la factibilidad en como máximo una combinación.
  • CAPO logró la factibilidad en las seis combinaciones manteniendo o mejorando la precisión de la tarea en comparación con el prompt inicial.
  • Nota: Mientras que CAPO(EA) (una variante que usa elegibilidad igual para los padres) logró la factibilidad en 5 de 6 configuraciones, la variante estándar de CAPO fue la única en lograr la factibilidad en las 6 configuraciones.
• Modelos de Pesos Abiertos: Al aplicarse a Ministral-8B, CAPO fue el único método evaluado que satisfizo todas las restricciones en los tres dominios, demostando robustez incluso con modelos que tienen menores capacidades base de seguimiento de instrucciones.
  • Nota: Mientras que APO logró la factibilidad en los dominios de Aerolíneas y Retail para Ministral-8B, falló en el dominio de Telecomunicaciones, mientras que CAPO tuvo éxito en los tres.

4.2 Asistente y Restricciones de Privacidad

• Suite de Chatbot: Las variantes de CAPO satisficieron los cuatro presupuestos (precisión de GSM8K, longitud de respuesta, seguridad, sobre-rechazo) e igualaron la precisión de los baselines infactibles.
• Delegación de Privacidad (PUPA–IFBench): CAPO logró el objetivo más alto entre todos los métodos factibles, mostrando que el framework se extiende más allá de los costos de uso de herramientas hacia la seguridad, el formato y el seguimiento de instrucciones.

4.3 Rendimiento de DCAPO

• Factibilidad: DCAPO produjo prompts factibles en cada dominio y tamaño de agente de tarea evaluado (Qwen3-8B y Qwen3-32B).
• Comparación con RL: A diferencia de Agent-GRPO (que actualiza el agente de tarea con penalizaciones fijas) o StablePrompt, DCAPO satisfizo consistentemente las restricciones en todos los dominios.
• Ablaciones:
  • Fuente de Feedback: Se demostró que el feedback de comportamiento online (usando trayectorias completas) es crítico para la factibilidad en comparación con el feedback de solo resumen.
  • Profundidad de Reescritura: El uso de un segundo paso de reescritura (D=2) generalmente preservó la factibilidad y mejoró la precisión.

4.4 Robustez y Transferencia

• Sensibilidad al Ruido: CAPO se mantuvo factible bajo ruido leve en el feedback dual para el dominio de Retail, aunque los dominios más estrictos (Aerolíneas, Telecomunicaciones) mostraron sensibilidad, resaltando la importancia de una estimación de costos precisa.
• Desplazamiento de Clúster de Tareas: CAPO mantuvo la factibilidad en un clúster de tareas desplazado definido por embeddings, demostando la generalización dentro de un dominio.
• Transferencia Zero-Shot: Un reescritor entrenado en un dominio (Telecomunicaciones) pudo reducir el uso de herramientas en otros dominios (Retail, Aerolíneas), pero no logró la factibilidad completa sin la adaptación al dominio objetivo, lo que indica la necesidad de un ajuste fino específico del dominio para restricciones estrictas.

5. Significado y Reivindicaciones

El artículo afirma que CAPO ofrece un cambio significativo en cómo se aborda la optimización de prompts para agentes desplegados:

• De Estático a Adaptativo: Reemplaza los pesos de las restricciones fijos con un bucle de feedback donde los residuos de las restricciones medidas determinan dinámicamente qué fallos reciben atención durante la búsqueda.
• La Factibilidad como Objetivo Primario: El método prioriza encontrar prompts que satisfagan todos los umbrales de despliegue, en lugar de optimizar una suma ponderada que puede violar restricciones críticas.
• Aplicabilidad a Modelos Congelados: Al optimizar el prompt del sistema en lugar de los pesos del modelo, CAPO es aplicable a modelos solo vía API o modelos congelados, un requisito crítico para muchos despliegues en el mundo real.
• Reescritura Aprendible: DCAPO demuestra que el proceso de reescritura mismo puede aprenderse a partir del feedback de comportamiento, permitiendo una adaptación eficiente sin reentrenar al agente de tarea.

Los autores concluyen que los requisitos de despliegue deben servir no solo como criterios finales de evaluación, sino como la señal de feedback activa que guía el proceso de búsqueda. Este enfoque proporciona un camino más fiable para desplegar agentes de LLM que sean tanto capaces como conformes con las restricciones operativas.