Resumo Técnico: SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration)

Declaração do Problema

O artigo aborda o desafio da Otimização Automática de Prompts (APO), especificamente no domínio da Engenharia de Contexto — a otimização do contexto informacional que envolve consultas a Grandes Modelos de Linguagem (LLMs) sem atualizar os parâmetros do modelo.

Os autores argumentam que a área carece de uma perspectiva teórica unificadora. Embora trabalhos recentes (Melcer et al., 2025) tenham estabelecido que a APO é fundamentalmente um problema de busca de caixa-preta (pois gradientes textuais não funcionam como gradientes reais), as abordagens existentes sofrem de duas limitações primárias:

1. Busca Míope: Métodos por amostra processam um exemplo de treinamento por vez, acumulando edições de forma gananciosa (greedy). Isso é computacionalmente caro e propenso a ótimos locais.
2. Análise Superficial: A maioria dos métodos restringe a otimização ao raciocínio apenas via LLM. Mesmo abordagens multi-agentes que utilizam ferramentas de código frequentemente as utilizam para a construção de artefatos procedurais em vez de análise diagnóstica de padrões de erro.

O cenário de prompts é caracterizado como um problema de otimização de caixa-preta ruidoso, com avaliações caras, baixa dimensionalidade efetiva e rica estrutura local. A eficácia de uma estratégia de otimização depende da interação entre a estrutura do cenário (rugosidade) e o tipo específico de erros presentes.

Metodologia: Estrutura SPO

Os autores introduzem o SPO (Stochastic Prompt Optimization), um framework que formaliza a APO como uma subida de colina estocástica (stochastic hill climbing) sobre um espaço de prompts estruturado. O loop central gera $Q$ candidatos por iteração e adota apenas o melhor se este melhorar estritamente o atual (seleção monotônica).

O artigo compara três estratégias de sofisticação crescente dentro desta estrutura:

1. SPO-RS (Residual Search)

• Mecanismo: Gera $Q$ candidatos via amostragem de LLM de alta temperatura ($\tau=0.9$).
• Entrada: Condicionada ao melhor prompt atual e um resumo de seus erros.
• Natureza: Espelha o refinamento informado por erro, mas baseia-se em perturbação estocástica em vez de operadores estruturados.

2. SPO-GA (Algoritmo Genético)

• Mecanismo: Aplica operadores evolutivos (crossover e mutação) a uma população de prompts top-P.
• Entrada: O crossover combina dois pais e seus resumos de erro; a mutação visa melhorias em um único pai.
• Natureza: Segue o paradigma de "LLM-como-operador-evolutivo", trocando parte da diversidade por uma melhoria direcionada (temperatura mais baixa $\tau=0.7$).

3. SAGE (Agent-Guided Exploration)

• Mecanismo: Um pipeline multi-agente onde agentes escrevem e executam código diagnóstico para informar as edições de prompts.
• Fluxo de Trabalho:
  1. Analyzer (Analisador): Executa scripts nos resultados de avaliação para trazer à tície $H$ hipóteses baseadas em evidências sobre padrões de erro.
  2. Orchestrator (Orquestrador): Triagem das hipóteses em $I$ direções de investigação.
  3. Investigators (Investigadores): Mergulho profundo em paralelo para verificar hipóteses com contagens exatas e análise de rastreamento, retornando correções prontas para implementação.
  4. Generators (Geradores): Produzem prompts revisados com base nos relatórios de investigação.
• Distinção Chave: Diferente de trabalhos anteriores onde o código constrói artefatos, o SAGE utiliza a execução de código para diagnóstico estatístico (agrupamento de erros, execução de testes estatísticos, identificação de padrões de falha sobre-representados) dentro de um procedimento fixo.

Configuração Experimental

O framework foi avaliado em três benchmarks e um deployment de produção:

• XBRL Formula: Raciocínio financeiro (500 treino / 200 teste).
• FiNER: Reconhecimento de Entidades Nomeadas Financeiras (1.000 treino / 441 teste).
• AppWorld: Tarefas de agentes autônomos envolvendo compreensão de API e geração de código.
• Deployment de Produção: "Ash", um chatbot de saúde mental da Slingshot AI, otimizado sob um paradigma de otimização contínua.

Baselines: Os métodos foram comparados contra Base LLM, In-Context Learning (ICL), MIPROv2, GEPA, Dynamic Cheatsheet e ACE offline. O LLM alvo foi o DeepSeek-V3.1; o metamodelo propondo as edições foi o Claude Sonnet 4.6.

Principais Resultados

Desempenho nos Benchmarks

Nenhuma estratégia única dominou em todas as tarefas; a eficácia dependeu da interação entre a estrutura do cenário e o tipo de erro:

• Formula (Rugoso, Erros em Cascata): O SAGE liderou, pois sua profundidade analítica foi recompensada ao diagnosticar erros de raciocínio em cascata.
• FiNER (Cenário Suave): O SAGE alcançou a maior acurácia de treinamento, mas estratégias mais simples (SPO-GA) generalizaram melhor para o conjunto de teste. O cenário era suave (correlacionado em grandes distâncias), tornando a análise profunda menos crítica para a generalização.
• AppWorld (Rugoso, Erros Procedimentais): Todas as variantes de SPO superaram as baselines. O SAGE alcançou a maior acurácia de treinamento, mas a acurácia de validação oscilou devido ao pequeno conjunto de avaliação. O SPO-GA alcançou a maior acurácia de teste, sugerindo que para erros procedimentais por tarefa, a busca simples é suficiente.

Análise de Cenário

Usando semivariogramas de geoestatística, os autores quantificaram a rugosidade do cenário:

• Formula e AppWorld: Descorrelacionaram dentro de pequenos vizinhanços semânticos (rugosos).
• FiNER: Mantiveram-se correlacionados por $\sim4\times$ a distância (suaves).
• Descoberta: A rugosidade sozinha não prevê a estratégia vencedora. O fator decisivo é a estrutura do erro: erros de raciocínio em cascata beneficiam-se da análise de causa raiz do SAGE, enquanto erros procedimentais cedem à busca mais simples.

Deployment de Produção (Chatbot de Saúde Mental)

O SAGE foi implantado no chatbot "Ash" durante oito ciclos de otimização contínua.

• Processo: Cada ciclo envolvia o deploy do melhor prompt, execução do SAGE sobre conversas coletadas, testes A/B de candidatos e promoção do vencedor.
• Resultado: Sete de oito ciclos produziram um braço vencedor positivo. Embora os ciclos individuais fossem frequentemente estatisticamente insignificantes (ruidosos), o encadeamento dos deltas por ciclo resultou em uma melhoria relativa cumulativa de +29,4% na retenção do dia seguinte (D1) com significância não paramétrica.
• Significância: Isso demonstra que testes A/B individualmente ruidosos podem se acumular em um ganho estatisticamente robusto quando acoplados à otimização contínua.

Contribuições e Significância

O artigo reivindica três contribuições principais:

1. Framework de Otimização de Caixa-Preta: O SPO formaliza a APO como uma busca de caixa-preta ruidosa sobre um cenário estruturado, fornecendo uma ablação controlada para isolar o valor da profundidade analítica e da diversidade de exploração.
2. Execução de Código Diagnóstico: O SAGE é o primeiro framework de APO onde a execução de código serve para o diagnóstico estatístico (analisando padrões de erro) em vez de construção de artefatos procedimentais ou raciocínio apenas via LLM.
3. Deployment de Produção: O artigo introduz um paradigma de otimização contínua para diálogo aberto. Demonstra que acoplar diagnóstico qualitativo (via agentes) com validação quantitativa (via testes A/B) permite a otimização eficaz em domínios que carecem de sinais de correção nítidos (como saúde mental), onde benchmarks tradicionais falham.

Os autores argumentam que esta "otimização agêntica de mistura qualitativa-quantitativa" é a chave para melhorar sistemas de diálogo orientados a tarefas de código aberto onde a correção não pode ser definida antecipadamente. Eles observam limitações, incluindo a dependência de funções de avaliação automatizadas, potenciais mudanças de distribuição na otimização contínua e a novidade limitada do refinamento impulsionado por agentes (que refina comportamentos existentes em vez de inventar novos inteiramente sem direção externa).