🤖 AI

From Monolithic to Modular: Segment-level Automatic Prompt Optimization

Este artigo apresenta o SAPO, um método de otimização automática de prompts em nível de segmento que decompõe prompts em componentes distintos para visar fraquezas específicas e supera as abordagens monolíticas existentes em diversos benchmarks.

Autores originais: Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a escrever uma história, resolver um problema de matemática ou resumir um artigo de notícias. Você faz isso dando a ele um conjunto de instruções, que os cientistas chamam de "prompt". Pense em um prompt como uma receita: se as instruções forem vagas ou bagunçadas, o robô pode acabar fazendo um bolo com gosto de sabão em vez de chocolate. Por muito tempo, pesquisadores tentaram consertar essas receitas reescrevendo a receita inteira do zero toda vez que o robô cometia um erro. Era como jogar fora um bolo inteiro porque a cobertura estava um pouco errada, esperando que a próxima tentativa fosse perfeita. Este método, conhecido como otimização "monolítica", muitas vezes funcionava bem para uma parte da tarefa, mas acidentalmente estragava outra, deixando o robô confuso e os resultados inconsistentes.

O artigo que você está prestes a ler aborda este problema com uma nova abordagem chamada SAPO (Otimização Automática de Prompt em Nível de Segmento). Em vez de jogar fora a receita inteira, o SAPO age como um mestre cuca que prova cuidadosamente o bolo, identifica exatamente qual ingrediente está errado (talvez muito sal, ou pouco açúcar) e conserta apenas essa parte, deixando as partes perfeitas intactas. Os autores testaram este método em cinco tipos diferentes de tarefas, desde responder perguntas de compreensão de leitura até resolver problemas matemáticos complexos, usando dois cérebros robóticos diferentes (GPT-3.5-Turbo e GPT-4o-mini). Eles descobriram que, ao dividir as instruções em pedaços menores e gerenciáveis e apenas consertar os pontos fracos, poderiam obter resultados muito melhores do que os métodos anteriores, melhorando o desempenho em até 7,25% em algumas tarefas.

A Receita para um Robô Melhor

Vamos mergulhar em como isso funciona. Imagine que você está dando a um robô um manual de instruções muito longo e complicado. No passado, se o robô errasse a resposta, um otimizador automático tentaria reescrever o manual inteiro de uma só vez. É como tentar consertar o motor de um carro substituindo o carro inteiro. Às vezes, esse novo carro funciona muito bem para dirigir, mas é terrível para estacionar. O método antigo frequentemente tornava o robô melhor em uma coisa, mas pior em outra, um problema que os autores chamam de "deriva de prompt" (prompt drifting).

Os autores deste artigo, Nikita Kulin e sua equipe, sugerem uma maneira mais inteligente. Eles perceberam que um bom manual de instruções não é apenas um grande bloco de texto; é feito de diferentes seções, como capítulos de um livro. Eles dividem o prompt em quatro segmentos específicos:

Papel (Role): Quem o robô deve ser? (ex: "Você é um historiador prestativo.")
Contexto (Context): Qual é a história de fundo ou a situação? (ex: "Você está falando com um estudante.")
Tarefas (Tasks): O que exatamente o robô precisa fazer? (ex: "Resuma este texto em três frases.")
Formato de Saída (Output Format): Como a resposta deve parecer? (ex: "Dê-me uma lista com marcadores.")

O Jogo de Detetive do SAPO

O novo método, SAPO, trata esses quatro segmentos como pistas em um jogo de detetive. Aqui está o processo passo a passo que eles utilizam:

Primeiro, o sistema coloca o robô em uma sessão de treinamento com vários exemplos. Ele analisa os resultados e seleciona os 5 melhores exemplos (onde o robô acertou) e os 5 piores exemplos (onde o robô errou).

Em seguida, o sistema joga de detetive. Ele pede a um segundo robô, mais inteligente (atuando como um juiz), para olhar os 5 melhores e os 5 piores exemplos e descobrir por que o robô teve sucesso ou falhou. O segmento de "Papel" confundiu o robô? A "Tarefa" foi vaga demais? O juiz identifica quais segmentos eram "fortes" (funcionando bem nos bons exemplos) e quais eram "fracos" (causando problemas nos exemplos ruins).

Então vem a parte mágica: Síntese Restrita (Constrained Synthesis). Em vez de reescrever todo o manual, o sistema gera novas versões do prompt que mantêm os segmentos fortes exatamente como estão e apenas alteram os mais fracos. É como manter a massa perfeita de um bolo de chocolate, mas trocar a cobertura queimada por uma nova remessa. Isso garante que as partes da instrução que já estavam funcionando não sejam acidentalmente quebradas.

Finalmente, o sistema testa esses novos prompts parcialmente revisados em um conjunto separado de perguntas (o conjunto de validação). Se o novo prompt tiver um desempenho melhor, ele é aceito. Se não, o sistema mantém o antigo. Isso acontece repetidamente até que o robô seja o melhor possível.

Os Resultados: Um Vencedor Claro

A equipe testou este método em cinco desafios muito diferentes:

SQuADv2: Responder perguntas baseadas em um texto de leitura.
TweetEval: Classificar o humor de tweets.
XSUM: Resumir artigos de notícias.
CommonGen: Criar frases a partir de uma lista de palavras.
GSM8K: Resolver problemas matemáticos de nível escolar.

Eles realizaram esses testes em dois modelos de robôs diferentes: GPT-3.5-Turbo e GPT-4o-mini. Os resultados foram bastante impressionantes. Quando comparado a outros métodos populares que reescrevem o prompt inteiro de uma vez (como APE, OPRO e EvoPrompt), o SAPO consistentemente obteve pontuações mais altas em média.

No modelo GPT-3.5-Turbo, o SAPO melhorou a pontuação média em 5,13% em comparação ao próximo melhor método. No mais avançado GPT-4o-mini, a melhoria foi ainda maior, saltando 7,25% acima da concorrência. As maiores vitórias ocorreram em tarefas que exigem respostas muito rigorosas, como os problemas matemáticos (GSM8K) e a compreensão de leitura (SQuAD2), onde um erro minúsculo nas instruções pode levar a uma resposta completamente errada.

Por Que Isso Importa

Os autores sugerem que esse sucesso ocorre porque o SAPO interrompe a "interferência destrutiva" que acontece quando você muda tudo de uma vez. Ao localizar as mudanças apenas nas partes fracas do prompt, o sistema preserva as partes que já estão funcionando perfeitamente. É uma abordagem mais cuidadosa e cirúrgica para ensinar robôs.

No entanto, o artigo também observa algumas limitações. O método atual utiliza um conjunto fixo de quatro segmentos. Embora isso funcione bem para muitas tarefas, pode não ser detalhado o suficiente para cada tipo de problema. Os autores sugerem que versões futuras poderiam permitir que o robô descobrisse automaticamente novos tipos de segmentos, se necessário, em vez de ficar preso apenas a esses quatro.

Em resumo, o SAPO mostra que, quando você quer ensinar um robô superinteligente, às vezes a melhor maneira de consertar um erro não é começar do zero, mas identificar cuidadosamente exatamente o que deu errado e consertar apenas aquela peça. É uma mudança de "reescrever tudo" para "consertar o que está quebrado" e, por enquanto, parece ser a estratégia vencedora.

Resumo Técnico: Otimização Automática de Prompts em Nível de Segmento (SAPO)

Declaração do Problema

A Otimização Automática de Prompts (APO) visa gerar e selecionar prompts aprimorados iterativamente usando dados e feedback de modelos, oferecendo uma alternativa amigável à implantação em comparação ao ajuste fino (fine-tuning) para Grandes Modelos de Linguagem (LLMs). No entanto, os pipelines de APO existentes tratam predominantemente os prompts como strings monolíticas, otimizando-os por meio de reescritas globais. Essa abordagem sofre de "deriva de prompt" (prompt drifting), onde edições destinadas a corrigir casos de falha específicos degradam inadvertidamente comportamentos anteriormente corretos. Além disso, a eficácia dos otimizadores atuais é frequentemente sensível às capacidades do modelo e às escolhas de configuração, carecendo de um mecanismo para controlar onde e como as edições são aplicadas dentro da estrutura do prompt.

Metodologia: SAPO

O artigo introduz o SAPO (Segment-level Automatic Prompt Optimization), uma estratégia modular que decompõe prompts em segmentos explícitos e operacionalmente separáveis, em vez de otimizá-los como um bloco único.

1. Decomposição de Prompt
O SAPO estrutura os prompts em quatro segmentos distintos:

Papel ( $s_{role}$ ): Define a postura comportamental (ex: classificador, analista).
Contexto ( $s_{context}$ ): Codifica o embasamento da tarefa, injeção de entrada e restrições de domínio.
Tarefas ( $s_{tasks}$ ): Especifica requisitos acionáveis e regras de decisão.
Formato de Saída ( $s_{output}$ ): Rege o esquema de resposta e as restrições de formatação.

2. O Ciclo de Otimização
O método opera através de um pipeline de geração de dois estágios dentro de um loop de busca com validação de portão:

Estágio A: Diagnóstico Contrastivo. O prompt atual é avaliado em um conjunto de treinamento ( $D_{train}$ ). O sistema extrai os top-5 (fortes) e bottom-5 (fracos) exemplos baseados em métricas de desempenho. Para métricas discretas, utiliza-se a seleção consciente de classe para garantir evidências equilibradas. Um único LLM, guiado por meta-prompts estáticos, analisa esses exemplos para diagnosticar quais segmentos estão associados ao sucesso (forte) e quais ao fracasso (fraco), gerando recomendações específicas para revisão.
Estágio B: Síntese de Candidatos Restrita. O mesmo LLM gera $K$ prompts candidatos. Crucialmente, a síntese é restrita: os candidatos devem preservar os segmentos identificados como "fortes" enquanto modificam primordialmente os segmentos "fracos". Isso reduz a interferência entre segmentos.
Seleção e Aceitação. Os candidatos são avaliados em um conjunto de validação ( $D_{val}$ ). Um candidato é aceito apenas se melhorar a pontuação de validação. Em caso de empate, o candidato com a menor distância de edição em relação ao prompt atual é selecionado para favorecer atualizações conservadoras.

Principais Contribuições

O artigo delineia três contribuições primárias:

Objetivo de Otimização Explícito por Segmento: Diferente das reescritas globais, o SAPO decompõe o prompt em papel, contexto, tarefas e formato de saída, permitindo edições direcionadas.
Síntese de Candidatos Restrita: O método impõe a preservação de segmentos fortes e a revisão de segmentos fracos, utilizando um desempate por distância de edição para garantir que as atualizações permaneçam conservadoras.
Estágio de Diagnóstico Contrastivo: As decisões de atualização são fundamentadas em evidências explícitas de topo/base, incluindo o tratamento consciente de classe para métricas por exemplo discretas, para identificar modos de falha específicos.

Resultados Experimentais

O SAPO foi avaliado em cinco conjuntos de dados diversos (SQuADv2, TweetEval, XSUM, CommonGen, GSM8K) utilizando dois backbones de modelo: GPT-3.5-Turbo e GPT-4o-mini. Foi comparado contra o prompting Zero-shot e fortes baselines de APO, incluindo APE, OPRO, EvoPrompt, GEPA e StraGO.

Desempenho: O SAPO alcançou a melhor pontuação média em todos os conjuntos de dados e em ambos os backbones de modelo.
Ganhos: Em relação ao baseline mais forte, o SAPO rendeu uma melhoria média de +5,13% no GPT-3.5-Turbo e +7,25% no GPT-4o-mini.
Sensibilidade à Tarefa: Os maiores ganhos relativos foram observados no GSM8K (raciocínio matemático) e XSUM (sumarização abstrativa), sugerindo que o controle por nível de segmento é particularmente benéfico para tarefas que exigem extração estrita de respostas ou geração estritamente delimitada.
Robustez: O método demonstrou desempenho consistente, superando todos os baselines no GPT-4o-mini em todos os cinco conjuntos de dados, indicando que a otimização por nível de segmento complementa o escalonamento de capacidade do modelo.

Significância e Alegações

Os autores posicionam o SAPO como uma ponte entre o meta-prompting estático e a otimização consciente de estrutura. O artigo alega que as melhorias observadas decorrem da hipótese de que a separação explícita entre segmentos fracos/fortes reduz a interferência destrutiva entre as edições. Ao localizar as revisões nos componentes fracos enquanto preserva estruturas de alto desempenho, o SAPO aborda a instabilidade e a "deriva de prompt" comuns na APO iterativa.

O trabalho afirma que o SAPO oferece um pipeline amigável à implantação e compatível com caixa-preta que impõe o controle por nível de segmento sem exigir uma sobrecarga de implementação complexa. Embora os autores reconheçam limitações em relação à natureza fixa da taxonomia de segmentos e ao potencial de perder modos de erro de granularidade mais fina com janelas fixas de top/bottom, eles concluem que o SAPO fornece um caminho interpretável para extensões futuras na otimização automática de prompts.