Resumo Técnico: CAPO – Otimização de Prompts Consciente de Restrições para Agentes de LLM

1. Formulação do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como agentes que dependem de prompts de sistema para executar tarefas usando ferramentas externas. Embora esses agentes possam completar tarefas com sucesso, eles frequentemente falham em requisitos de implantação devido a restrições operacionais, como uso excessivo de ferramentas, escalonamento humano desnecessário, prompts excessivamente longos ou violações de políticas de segurança e formatação.

Os métodos existentes de otimização automática de prompts geralmente falham em abordar essas restrições de forma eficaz porque dependem de:

• Pontuações de Pesos Estáticos: Atribuir coeficientes fixos às restrições antes do início da busca, o que não consegue se adaptar quando a "restrição vinculante" (o requisito mais violado) muda entre domínios ou rodadas de otimização.
• Classificação de Pareto: Identificar prompts Pareto-ótimos sem garantir que eles satisfaçam limiares de implantação específicos, potencialmente deixando todos os candidatos fora da região viável.
• Pós-Treinamento: Exigir acesso aos pesos do modelo e dados supervisionados, o que é frequentemente inviável para modelos congelados ou acessíveis apenas via API.

O artigo formula o problema como uma otimização com limiares de restrição:
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
onde $R(p)$ é a recompensa da tarefa, $C_i(p)$ é o custo da restrição $i$, e $\tau_i$ é o orçamento explícito. O objetivo é encontrar um prompt que maximize o desempenho da tarefa enquanto satisfaz todas as restrições simultaneamente.

2. Metodologia

O artigo introduz o CAPO (Constraint-Aware Prompt Optimization), um método primal–dual que trata a otimização de prompts como um problema de busca com restrições usando multiplicadores de Lagrange adaptativos.

2.1 CAPO: Busca Primal–Dual com um Reescritor Congelado

O CAPO opera em rodadas, alternando entre um passo primal (reescrita de prompts) e um passo dual (atualização de pesos de restrição).

• Classificação Lagrangiana: Para um conjunto de multiplicadores $\lambda_i \geq 0$, o método define um objetivo Lagrangiano:
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  Os prompts são classificados por $J(p, \lambda)$. Essa classificação guia a seleção de pais para reescrita e determina quais prompts são retidos no pool.
• Reescritas Primais Aproximadas: Um LLM "crítico" congelado resume falhas de tarefa e violações de restrição. Um LLM "reescritor" congelado então gera novos prompts baseados nesta evidência e no estado dual atual (multiplicadores). A instrução de reescrita inclui explicitamente os pesos $(1, \lambda_1, \dots, \lambda_m)$ para priorizar restrições com multiplicadores maiores.
• Atualizações Duais Baseadas em Resíduos: Após avaliar o pool expandido, os multiplicadores são atualizados usando um passo de subgradiente projetado baseado no resíduo empírico dos principais candidatos:
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  Se uma restrição é violada ($\hat{\rho} > \tau$), seu multiplicador aumenta, aumentando seu peso na classificação e reescrita futuras. Se houver folga, o multiplicador diminui.
• Pool de Prompts: Um pool de prompts retidos preserva candidatos fortes, permitindo que reescritas bem-sucedidas sirvam de semente para rodadas futuras.

2.2 DCAPO: CAPO Treinado Dinamicamente

Para melhorar a eficiência e a adaptabilidade, os autores introduzem o DCAPO, que aprende uma política de reescrita condicionada a feedback e ao estado dual ($\pi_\theta$) em vez de depender de um LLM congelado.

• Treinamento: O DCAPO utiliza GRPO baseado em pool (Group Relative Policy Optimization). Ele amostra pais do pool de prompts em evolução, gera grupos de prompts filhos, avalia-os com o agente de tarefa congelado e atualiza a política do reescritor com base nos scores de Lagrange adaptativos.
• Condicionamento: O reescritor é condicionado ao prompt pai, à reescrita anterior em uma sequência de profundidade, trajetórias comportamentais (chamadas de ferramentas, falhas) e ao estado dual atual $\lambda_t$.
• Separação de Preocupações: O agente de tarefa implantado permanece congelado; apenas o reescritor é treinado.

2.3 Análise Teórica

O artigo fornece uma análise de substituição caracterizando a convergência do método. Ele modela as reescritas de texto discretas como um passo de ascensão inexato em um espaço contínuo substituto. A análise estabelece um limite primal–dual que considera:

1. Erros de aproximação de pool finito.
2. Resíduos de reescrita discreta (a lacuna entre a reescrita de texto discreta e a ascensão contínua ideal).
3. Erros padrão de otimização dual.
   O limite mostra que, sob suposições específicas (concavidade forte, gradientes limitados), o método converge para uma solução viável conforme os tamanhos de passo diminuem.

3. Principais Contribuições

1. Otimização de Prompts Consciente de Restrições: O desenvolvimento de um procedimento primal–dual baseado em pool que usa resíduos assinados para ponderar adaptativamente as restrições, indo além da escala escalar estática ou classificação de Pareto.
2. Viabilidade Empírica Consistente: Demonstrar que o CAPO alcança de forma confiável pontos de operação onde cada orçamento operacional é satisfeito em diversos domínios (Aéreo, Varejo, Telecom) e tamanhos de modelo.
3. Um Reescritor Aprendido (DCAPO): Introduzir um método para treinar uma política de reescrita usando GRPO baseado em pool. O DCAPO produz prompts viáveis em diversos domínios e iguala ou supera a precisão das bases de comparação enquanto mantém o agente de tarefa congelado.
4. Análise de Substituição: Fornecer uma caracterização teórica de como os erros de pool finito e de reescrita discreta se propagam através do procedimento primal–dual inexato.

4. Resultados Experimentais

A avaliação abrange três áreas principais: TAU2-BENCH (agentes de uso de ferramentas), benchmarks de Chatbot/Privacidade e agentes de Codificação.

4.1 Uso de Ferramentas Agênticas (TAU2-BENCH)

• Viabilidade: Em seis combinações de três domínios (Aéreo, Varejo, Telecom) e dois modelos de tarefa (GPT-5-mini, GPT-5.1), o CAPO foi o único método a satisfazer todas as restrições em todas as configurações.
  • As bases de comparação (Initial, APO, GEPA, MOPO) alcançaram viabilidade em no máximo uma combinação.
  • O CAPO alcançou viabilidade em todas as seis combinações enquanto mantinha ou melhorava a precisão da tarefa em relação ao prompt inicial.
  • Nota: Embora o CAPO(EA) (uma variante usando elegibilidade igual para pais) tenha alcançado viabilidade em 5 de 6 configurações, a variante padrão do CAPO foi a única a alcançar viabilidade em todas as 6 configurações.
• Modelos de Pesos Abertos: Quando aplicado ao Ministral-8B, o CAPO foi o único método avaliado a satisfazer todas as restrições em todos os três domínios, demonstrando robustez mesmo com modelos que possuem menores capacidades de seguimento de instruções.
  • Nota: Embora o APO tenha alcançado viabilidade nos domínios de Aéreo e Varejo para o Ministral-8B, ele falhou no domínio de Telecom, enquanto o CAPO teve sucesso em todos os três.

4.2 Restrições de Assistente e Privacidade

• Suíte de Chatbot: As variantes do CAPO satisfizeram todos os quatro orçamentos (precisão GSM8K, comprimento de resposta, segurança, recusa excessiva) e igualaram a precisão das bases de comparação inviáveis.
• Delegação de Privacidade (PUPA–IFBench): O CAPO alcançou o objetivo mais alto entre todos os métodos viáveis, mostrando que o framework se estende além dos custos de uso de ferramentas para segurança, formatação e seguimento de instruções.

4.3 Desempenho do DCAPO

• Viabilidade: O DCAPO produziu prompts viáveis em todos os domínios e tamanhos de agente de tarefa avaliados (Qwen3-8B e Qwen3-32B).
• Comparação com RL: Ao contrário do Agent-GRPO (que atualiza o agente de tarefa com penalidades fixas) ou do StablePrompt, o DCAPO satisfez consistentemente as restrições em todos os domínios.
• Ablações:
  • Fonte de Feedback: O feedback comportamental online (usando trajetórias completas) mostrou-se crítico para a viabilidade em comparação com o feedback de resumo.
  • Profundidade de Reescrita: O uso de um segundo passo de reescrita (D=2) geralmente preservou a viabilidade e melhorou a precisão.

4.4 Robustez e Transferência

• Sensibilidade ao Ruído: O CAPO permaneceu viável sob ruído leve no feedback dual para o domínio de Varejo, embora domínios mais rigorosos (Aéreo, Telecom) tenham mostrado sensibilidade, destacando a importância da estimativa de custo precisa.
• Mudança de Cluster de Tarefa: O CAPO manteu a viabilidade em um cluster de tarefa deslocado definido por embedding, demonstrando generalização dentro de um domínio.
• Transferência Zero-Shot: Um reescritor treinado em um domínio (Telecom) pôde reduzir o uso de ferramentas em outros domínios (Varejo, Aéreo), mas não alcançou a viabilidade total sem adaptação ao domínio alvo, indicando a necessidade de ajuste fino específico do domínio para restrições rigorosas.

5. Significância e Alegações

O artigo afirma que o CAPO oferece uma mudança significativa na forma como a otimização de prompts é abordada para agentes implantados:

• Do Estático ao Adaptativo: Ele substitui pesos de restrição fixos por um loop de feedback onde os resíduos medidos determinam dinamicamente quais falhas recebem atenção durante a busca.
• Viabilidade como Objetivo Primário: O método prioriza encontrar prompts que satisfaçam todas as cláusulas de implantação, em vez de otimizar uma soma ponderada que pode violar restrições críticas.
• Aplicabilidade a Modelos Congelados: Ao otimizar o prompt de sistema em vez dos pesos do modelo, o CAPO é aplicável a modelos de API e modelos congelados, um requisito crítico para muitas implantações do mundo real.
• Reescrita Aprendível: O DCAPO demonstra que o processo de reescrita pode ser aprendido a partir de feedback comportamental, permitendo a adaptação eficiente sem o retreinamento do agente de tarefa.

Os autores concluem que os requisitos de implantação devem servir não apenas como critérios finais de avaliação, mas como o sinal de feedback ativo que guia o processo de busca. Esta abordagem fornece um caminho mais confiável para implantar agentes de LLM que sejam simultaneamente capazes e em conformidade com as restrições operacionais.