Resumo Técnico: Quando os Playbooks de Agentes do Lado do Prompt são Transferíveis?

Declaração do Problema

Playbooks do lado do prompt — instruções compactas e congeladas, destiladas de falhas e sucessos anteriores de agentes — são cada vez mais utilizados para melhorar agentes de linguagem que utilizam ferramentas sem a necessidade de retreinamento. Embora atraentes para implantação imediata e reutilização entre sistemas, sua portabilidade além do cenário de origem é incerta. O problema central que este artigo aborda é determinar quando um playbook aprendido em um cenário permanece útil após a transferência para outro. Especificamente, os autores investigam se playbooks congelados podem transferir-se com sucesso através de diferentes domínios de destino, escalas de modelos, famílias de modelos e regimes de tempo de execução, ou se correm o risco de injetar padrões de ação errados, desperdiçar turnos ou desestabilizar o comportamento de parada.

Metodologia

O estudo emprega um protocolo compartilhado de destilação–validação–transferência através de três benchmarks distintos, cada um servindo a um papel específico no argumento:

1. Protocolo:

   • Destilação: Agentes de origem (ex: Qwen2.5-7B/14B/32B, Tongyi-DeepResearch-30B) executam trajetórias. Um destilador de código fechado mais forte (Claude Opus 4.6 ou GPT-5.4 via Codex) minera pacotes de falha total e resultados mistos para abstrair regras recorrentes, prioridades de busca e heurísticas de recuperação em um playbook compacto.
   • Validação: O playbook resultante é validado no split de origem e, então, congelado.
   • Transferência: O artefato congelado é inserido nos prompts dos agentes de destino sem qualquer retuning ou fine-tuning do lado do alvo.

2. Benchmarks:

   • ALFWorld: Serve como um teste de existência controlado para transferência sob decodificação correspondente (greedy vs. sampling) através de OOD de cena, escalas de alvo e famílias de modelos.
   • TAU2-Bench: O principal benchmark de agente de serviço, avaliando a transferência através de domínios de negócios (companhias aéreas, varejo, telecomunicações), tamanhos de modelo e famílias. Emprega correções estatísticas rigorosas (Holm, Benjamini-Hochberg) sobre 135 hipóteses de nível de rota para distinguir sinal de ruído.
   • XBench-DeepSearch: Um teste de estresse de mudança de tempo de execução que avalia um único artefato sob diferentes orçamentos de contexto (32K vs. 128K) para avaliar a estabilidade operacional.

3. Métricas:

   • Sucesso: Taxa de sucesso normalizada (ALFWorld), Pass@1/Pass@3 (TAU2, XBench).
   • Custo/Operações: Comprimento da trajetória, contagem de tokens, chamadas de ferramenta e comportamento de parada (ex: término atrasado, consultas repetidas).
   • Controles: Inclui baselines sem playbook, placebos de mesmo comprimento (conselhos de fluxo de trabalho genéricos) e comparações com demonstrações de poucos disparos (few-shot) fixas.

Contribuições Principais

1. Protocolo Orientado à Implantação: O artigo define um protocolo especificamente para avaliar a transferência de prompt congelado, distinto de retuning de prompt do lado do alvo ou novos algoritmos de aprendizado.
2. Realidade da Transferência Condicional: Os autores demonstram que a transferência é real, mas altamente não uniforme. Casos positivos existem sob condições controladas (ex: ALFWorld com decodificação greedy), mas em configurações heterogêneas de agentes de serviço (TAU2), as evidências são modestas e altamente sensíveis à compatibilidade.
3. Orientação Destilada vs. Demonstrações Fixas: Em uma comparação de orçamento quase equivalente no ALFWorld, a orientação destilada superou cinco demonstrações fixas, estabelecendo valor incremental em configurações compatíveis.
4. Custo Operacional como uma Métrica Crítica: O estudo destaca que a avaliação de implantação deve incluir custo operacional e comportamento de término. Um playbook pode preservar heurísticas úteis enquanto desestabiliza o comportamento de parada, levando à inflação de custos (observado no XBench).

Resultados

ALFWorld: Sucesso Controlado

Sob decodificação greedy controlada ($t=0$), playbooks transferidos melhoraram consistentemente as taxas de sucesso através de OOD de cena, escalas de modelo e famílias. Os ganhos foram mais fortes em alvos maiores (até +23,6 pontos percentuais no Qwen3-32B) e foram acompanhados por traços de interação mais curtos. No entanto, a robustez dependia da decodificação; em modelos menores com temperatura mais alta ($t=0,3$), artefatos específicos (ex: X7D) tornaram-se prejudiciais, aumentando o comprimento das trajetórias e as taxas de falha.

TAU2-Bench: Heterogeneidade Sensível à Compatibilidade

No cenário realista de agente de serviço, os resultados de transferência foram mistos:

• Vantagem Agregada: Uma modesta vantagem média de domínio correspondente (+1,72 pp) foi observada, mas isso não se generalizou para a maioria das rotas individuais.
• Significância Estatística: Após a correção global de Holm em 135 hipóteses de rota, apenas uma rota positiva sobreviveu. Duas rotas negativas entre famílias foram retidas por correções específicas de família, mas não pelas globais.
• Perfil de Custo: Quando a transferência ajudava, era frequentemente neutra em termos de custo. No entanto, configurações negativas mostraram quedas de desempenho acompanhadas de aumentos de custo.
• Controle Placebo: Placebos genéricos de mesmo comprimento falharam em replicar os efeitos de playbooks de domínio específico, sugerindo que o conteúdo procedimental importado importa, não apenas o comprimento ou estrutura do prompt.

XBench-DeepSearch: Desestabilização por Mudança de Tempo de Execução

Um único playbook destilado de trajetórias de contexto de 32K exibiu precisão mista, mas instabilidade operacional significativa quando transferido para contextos de 128K:

• Mudança de Comportamento: Sob 128K, o playbook preservou a busca agressiva, mas induziu consultas repetidas e atraso na parada.
• Inflação de Custo: Chamadas de busca subiram de 5,9 para 15,7, e as taxas de trajetórias excessivamente longas (>30 turnos) saltaram de 8% para 25%.
• Conclusão: O artefato tornou-se "menos limitado", produzindo inflação de custo substancial sem ganhos correspondentes de precisão.

Significância e Lições Práticas

O artigo conclui que a transferência de playbook congelado é uma opção de cold-start condicional, não uma estratégia de reutilização por padrão.

• Não é Universalmente Preferível: Artefatos transferidos não são automaticamente superiores à redistilação do lado do alvo. Uma vez que trajetórias de falha do lado do alvo estejam disponíveis, redistilar ou reparar o artefato é frequentemente preferível.
• Validação é Obrigatória: As equipes devem validar a transferência em fatias do lado do alvo, verificando sucesso, término, compatibilidade de protocolo e custo.
• Compatibilidade Operacional: A transferência funciona quando as suposições codificadas no playbook (fluxo de trabalho, capacidade do alvo, regime de decodificação, orçamento de tempo de execução) permanecem alinhadas com o alvo da implantação. Quando essas suposições desalinham, o mesmo playbook pode injetar padrões de ação errados ou desestabilizar o agente.

O estudo não propõe um novo algoritmo de aprendizado, mas fornece um framework de diagnóstico: playbooks de prompt são artefatos de implantação que exigem triagem rigorosa antes da implementação, particularmente em ambientes heterogêneos ou com mudanças de tempo de execução.