Resumo Técnico: SePO (Self-Evolving Prompt Optimization)

1. Definição do Problema

Os métodos atuais de otimização de prompts de sistema visam melhorar o comportamento do agente sem modificar os pesos subjacentes do modelo, produzindo instruções legíveis por humanos e agnósticas ao modelo. No entanto, existe uma assimetria crítica nas estruturas existentes: enquanto o prompt de sistema do agente de tarefa é tratado como um alvo de otimização, o agente de prompt (a entidade responsável por refinar o prompt do agente de tarefa) permanece projetado manualmente e fixo.

Abordagens existentes, como busca evolutiva ou frameworks de gradiente textual, dependem de um agente de prompt que não melhora à medida que encontra mais tarefas. Consequentemente, o processo de otimização é limitado pelo design humano inicial do agente de prompt e não consegue acumular experiência ou generalizar habilidades de otimização entre diferentes domínios. O problema central é que o próprio "otimizador" não é otimizado.

2. Metodologia: SePO

Os autores propõem o Self-Evolving Prompt Optimization (SePO), um framework que trata o próprio prompt de sistema do agente de prompt como um alvo de otimização junto com o prompt do agente de tarefa. Isso é alcançado através de um design autorreferencial e de um pipeline de treinamento de dois estágios.

2.1 Design Autorreferencial

O SePO define uma "tarefa de prompt" onde o agente de prompt atua como um agente de tarefa especial. Seu objetivo é melhorar os prompts de outros agentes de tarefa. Ao aplicar o mesmo procedimento de otimização ao prompt de sistema do próprio agente de prompt ($\tilde{p}$) que é aplicado ao prompt do agente de tarefa ($p$), o SePO cria um "fechamento autorreferencial".

• Mecanismo: O agente de prompt refina uma cópia de si mesmo.
• Busca Evolutiva: O processo utiliza uma busca evolutiva aberta sobre uma população de prompts candidatos. Ele mantém um arquivo (archive) de prompts candidatos, permitindo que prompts anteriores bem-sucedidos sirvam como "degraus" para melhorias posteriores, evitando que a busca fique presa em ótimos locais.

2.2 Pipeline de Treinamento de Dois Estágios

Espelhando o paradigma padrão de pré-treinamento e ajuste fino (fine-tuning), o SePO organiza a otimização em dois estágios distintos:

1. Estágio 1: Pré-treinamento (Agente de Prompt Autoevolutivo)

   • Objetivo: Evoluir o prompt de sistema do agente de prompt ($\tilde{p}$) para adquirir habilidades de otimização de prompt amplas e generalizáveis.
   • Processo: O agente de prompt passa por uma busca evolutiva em um pool multi-tarefa.
   • Configurações:
     • SePO-Generalist (Padrão): Treina em uma mistura diversificada de tarefas para maximizar a robustez e a generalização.
     • SePO-Specialist: Treina em uma única tarefa idêntica à tarefa de ajuste fino alvo.
   • Resultado: Um único agente de prompt evoluído ($\tilde{p}^*$) capaz de otimizar prompts em vários cenários.

2. Estágio 2: Ajuste Fino (Otimizar o Agente de Tarefa Alvo)

   • Objetivo: Otimizar o prompt de sistema ($p$) para um agente de tarefa específico.
   • Processo: O agente de prompt evoluído (do Estágio 1) é fixado e usado para guiar a busca evolutiva para o prompt do agente de tarefa alvo.
   • Eficiência: O custo de autoevoluir o agente de prompt é amortizado em muitas tarefas de ajuste fino, pois o agente de prompt pré-treinado é reutilizado.

3. Principais Contribuições

• Fechando o Ciclo de Otimização: O SePO é o primeiro método que trata o próprio agente de prompt como um componente aprendível, removendo a dependência de um otimizador fixo e projetado manualmente.
• Evolução Autorreferencial: Introduz um mecanismo onde o mesmo procedimento refina tanto o agente de tarefa quanto o agente de prompt, permitindo o acúmulo de habilidades de otimização.
• Treinamento de Dois Estágios: Ao separar o pré-treinamento (aquisição de habilidade) do ajuste fino (aplicação da tarefa), o método desacopla o custo de desenvolver o otimizador de sua aplicação a tarefas específicas.
• Busca Baseada em Arquivo: O uso de um arquivo permite que o sistema aproveite sucessos históricos como degraus, facilitando uma evolução aberta em vez de um simples refinamento iterativo.

4. Resultados Experimentais

Os autores avaliaram o SePO em cinco benchmarks diversos: AIME'25 (matemática), ARC-AGI-1 (raciocínio abstrato), GPQA (ciência de nível de pós-graduação), MBPP (geração de código) e Sudoku (lógica de quebra-cabeças).

• Desempenho: O SePO superou consistentemente três baselines:
  • Manual-CoT: Prompts criados manualmente com Cadeia de Pensamento (Chain-of-Thought).
  • TextGrad: Um framework de gradiente textual com um otimizador de prompt fixo.
  • MetaSPO: Uma abordagem de meta-aprendizado com um meta-otimizador fixo.
• Ganhos de Acurácia: O SePO-Generalist alcançou a maior acurácia em todas as cinco tarefas, melhorando a acurácia média em 4,49 pontos em comparação ao Manual-CoT.
• Generalização:
  • As habilidades de otimização de prompt aprendidas durante o pré-treinamento generalizaram-se para tarefas fora do conjunto de mistura do pré-treinamento (ex: Sudoku não estava no conjunto de pré-treinamento, mas a acurácia melhorou significamente).
  • O método demonstrou robustez entre diferentes pares de modelos (trocando DeepSeek-V3.2 e Gemini 3.1 Pro Preview por Gemini 3.1 Flash-Lite e Claude Opus 4.6).
• Eficiência de Custo: Embora o pré-treinamento incorra um custo, o SePO-Generalist amortiza esse valor ao longo de múltiplas tarefas, resultando em um custo por tarefa menor em comparação ao treinamento de um especialista para cada tarefa ou ao uso de métodos como o TextGrad que não amortizam o treinamento do otimizador.

5. Significância e Alegações

O artigo afirma que o SePO muda fundamentalmente a otimização de prompts de sistema de uma ferramenta fixa para uma habilidade aprendível. Ao permitir que o agente de prompt se autoaperfeiçoe, o framework quebra o teto imposto pelo design manual humano.

• Alegações Modestas: Os autores declaram explicitamente que o SePO opera apenas no prompt de sistema de linguagem natural, deixando os pesos do modelo, ferramentas e fluxos de trabalho intocados. Eles reconhecem que, embora o trabalho atual foque em prompts, o design autorreferencial poderia, teoricamente, estender-se a ferramentas e arquiteturas em trabalhos futuros, mas não alegam ter implementado isso ainda.
• Insight Central: A principal significância reside em demonstrar que a otimização de prompt não é meramente um problema de busca para uma única tarefa, mas uma habilidade que pode ser adquirida e transferida. O "agente de prompt" não é mais um componente estático, mas um componente em evolução que se fortalece com a experiência.

Os autores concluem que o SePO incentiva pesquisas adicionais em agentes autoevolutivos que possam ampliar continuamente o escopo de sua própria auto-melhoria.