🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

Este artigo introduz o TRAS, um framework plug-and-play que estabiliza a otimização de prompts de caixa-preta ao combinar regularização textual de predições bem-sucedidas com agregação de sinal de Monte Carlo para filtrar ruído, melhorando assim a precisão, a velocidade de convergência e a robustez contra migração de modelos em comparação com métodos existentes.

Autores originais: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas ligeiramente imprevisível, a resolver quebra-cabeças. Você não consegue ver dentro do cérebro dele (é uma "caixa preta"), então só pode falar com ele escrevendo instruções, chamadas de prompts.

Por muito tempo, a melhor maneira de melhorar essas instruções era um método chamado Otimização de Prompt Automática (APO). Pense nisso como um aluno fazendo uma prova, errando uma questão e, então, perguntando ao professor: "Por que eu errei isso?". O professor dá uma crítica (um "gradiente textual") e o aluno altera sua folha de respostas para corrigir esse erro específico.

O artigo argumenta que essa abordagem de "corrigir os erros" tem uma grande falha: ela é focada demais no que deu errado e ignora o que deu certo.

O Problema: A Armadilha da "Correção Excessiva"

Imagine que você está sintonizando um rádio para encontrar uma estação clara.

O Jeito Antigo (Apenas Erro): Toda vez que você ouve estática (um erro), você gira o botão loucamente para consertar. Mas, como você só ouve a estática, pode acabar girando o botão além da estação clara, ou apagando uma configuração que estava funcionando perfeitamente bem. Você acaba girando em círculos, piorando o sinal antes de melhorá-lo. Em termos do artigo, isso é chamado de deriva semântica — você corrige um pequeno erro, mas acidentalmente deleta uma instrução crucial que estava ajudando no geral.

A Solução: TRAS

Os autores propõem um novo framework chamado TRAS (Textual Regularization with Aggregated Signals - Regularização Textual com Sinais Agregados). É como dar ao aluno dois tipos de feedback em vez de apenas um.

1. O Sinal "Não Mexa Nisso!" (Regularização Textual)

Em vez de apenas perguntar "O que está errado?", o TRAS também pergunta: "O que está funcionando?".

A Analogia: Imagine que você está cozinhando um ensopado. O método antigo apenas diz: "Esta cenoura está muito dura, corte-a em pedaços menores!". O TRAS também diz: "Ei, o nível de sal está perfeito e o caldo está rico — não mude isso!".
Como funciona: Quando o modelo acerta uma resposta, o TRAS analisa por que ela estava certa e cria um "regularizador" (uma regra) que diz: "Mantenha estas partes da instrução exatamente como estão". Isso evita que o robô apague acidentalmente as coisas boas enquanto tenta consertar as ruins.

2. O "Comitê de Especialistas" (Agregação de Sinais de Monte Carlo)

LLMs são um pouco como humanos; se você fizer a mesma pergunta duas vezes, eles podem dar respostas ligeiramente diferentes. Às vezes, eles são ruidosos ou confusos.

A Analogia: Imagine que você pede direções a uma pessoa e ela diz: "Vire à esquerda no grande carvalho". Você pergunta a uma segunda pessoa e ela diz: "Vire à esquerda no grande carvalho". Você pergunta a uma terceira pessoa e ela diz: "Vire à esquerda no grande carvalho". Você está confiante. Mas se você perguntar a uma quarta pessoa e ela disser: "Vire à direita no posto de gasolina", você sabe que essa quarta pessoa é um ponto fora da curva ou está confusa.
Como funciona: O TRAS não pede o feedback ao modelo apenas uma vez. Ele pede múltiplas vezes (amostrando múltiplos "gradientes" e "regularizadores"). Ele então age como um sábio presidente de comitê, ouvindo todas as opiniões e encontrando o conselho comum e consistente. Ele ignora os pontos fora da curva estranhos e ruidosos e fornece ao robô uma instrução única, clara e confiável.

O Bônus: "Mudando de Casa" (Migração Automática de Prompt)

O artigo também aborda um problema prático chamado Migração Automática de Prompt (APM).

O Cenário: Você passou semanas aperfeiçoando um conjunto de instruções para o "Modelo A" (como o GPT-3.5). Agora, você quer usar essas mesmas instruções no "Modelo B" (como o GPT-4o).
O Risco: Se você apenas pegar suas instruções perfeitas e tentar "reotimizá-las" para o novo modelo usando o antigo método de "corrigir os erros", o novo modelo pode ficar confuso e acidentalmente deletar as partes das instruções que estavam realmente funcionando. É como mudar seus móveis para uma casa nova e, no entusiasmo de rearranjá-los, jogar fora as peças que se encaixavam perfeitamente.
A Correção do TRAS: Ao mudar para um novo modelo, o TRAS ativa imediatamente o sinal "Não Mexa Nisso!". Ele trata as instruções antigas e funcionais como uma base preciosa e faz apenas ajustes pequenos e seguros para se adaptar ao novo modelo, garantindo que você não perca o conhecimento "especialista" que já construiu.

Os Resultados

O artigo testou isso em várias tarefas de lógica e raciocínio.

Melhor Precisão: O robô resolveu mais problemas corretamente.
Aprendizado Mais Rápido: Ele não precisou girar em círculos tentando encontrar as configurações certas; ele chegou lá mais rápido.
Mais Barato: Como aprendeu mais rápido e cometeu menos erros, utilizou menos "chamadas de API" (que custam dinheiro).
Estabilidade: Os resultados foram mais consistentes; não houve oscilações selvagens entre o bom e o mau desempenho.

Em resumo, o TRAS nos ensina que, para ensinar bem uma IA de caixa preta, você não deve apenas gritar com ela quando ela falha. Você também deve sussurrar para ela quando ela tem sucesso, dizendo exatamente o que manter, e deve pedir conselhos a um grupo para garantir que não está ouvindo uma voz confusa.

Resumo Técnico: Estabilizando a Otimização de Prompts de Caixa-Preta com Regularização Textual e Agregação de Sinais

1. Declaração do Problema

O artigo aborda os desafios da Otimização Automática de Prompts (APO - Automatic Prompt Optimization) para Grandes Modelos de Linguagem (LLMs) acessados via APIs de caixa-preta, onde estados internos do modelo (gradientes, estados ocultos) são inacessíveis. Embora os métodos recentes de APO refinem iterativamente os prompts usando críticas geradas pelo modelo (gradientes textuais) derivadas de falhas, os autores identificam duas limitações críticas:

Subutilização do Sucesso: Os métodos existentes otimizam predominantemente com base na correção de erros, ignorando a informação contida em previsões bem-sucedidas sobre quais componentes do prompt são eficazes.
Instabilidade e Deriva Semântica: Depender exclusivamente de atualizações impulsionadas por erros pode levar à "deriva semântica", onde edições destinadas a corrigir falhas locais inadvertidamente apagam componentes globalmente benéficos do prompt. Isso força o otimizador em ciclos custosos de "remover-e-redescobrir".
Falha na Migração Automática de Prompts (APM - Automatic Prompt Migration): Em cenários onde um prompt especialista otimizado para um modelo (ex: GPT-3.5-turbo) deve ser adaptado para outro (ex: GPT-4o), a reotimização ingênua frequentemente resulta em perda de instrução, onde instruções de suporte do prompt de origem são sobrescritas durante o processo de adaptação.

2. Metodologia: Estrutura TRAS

Os autores propõem o TRAS (Regularização Textual com Sinais Agregados), uma estrutura centrada em feedback projetada para ser plug-and-play com backbones de busca de APO existentes (ex: estratégias baseadas em MCTS como o PromptAgent). O TRAS opera através de três mecanismos principais:

A. Geração de Sinal Duplo

Em vez de depender apenas de sinais de erro, o TRAS gera dois sinais textuais complementares em cada etapa de otimização $t$ :

Gradiente Textual (Sinal Corretivo): Derivado de falhas ( $B_t^-$ ). Uma política de crítica $\pi_g$ analisa previsões incorretas para gerar instruções em linguagem natural sobre o que mudar (ex: restrições ausentes, problemas de formatação).
Regularização Textual (Sinal de Preservação): Derivado de sucessos ( $B_t^+$ $B_{t}^{+}$ ). Uma política de atribuição $\pi_r$ $π_{r}$ analisa previsões corretas para identificar quais componentes do prompt contribuíram para o sucesso. Isso gera um regularizador $r_t$ $r_{t}$ que prescreve restrições de "não remover", "manter inalterado" ou "fortalecer" para preservar estruturas benéficas.
- Cronograma de Warm-up: Para evitar o ancoramento em inicializações ruins, o sinal de regularização é desativado para as primeiras $\tau_{warmup}$ iterações, permitindo que o otimizador explore livremente antes de estabilizar.

B. Agregação de Sinais de Monte Carlo (MCSA)

Como tanto o gradiente textual quanto o regularizador são saídas estocásticas de LLM, eles podem ser ruidosos. O TRAS utiliza MCSA para reduzir a variância:

O sistema amostra $K$ sinais independentes tanto para o gradiente quanto para o regularizador.
Um operador de agregação (resumidor LLM) consolida essas $K$ amostras em diretrizes únicas e acionáveis ( $\bar{g}_t, \bar{r}_t$ ).
Este processo enfatiza conselhos consistentes e acionáveis enquanto filtra outliers. Os autores observam um compromisso (trade-off): aumentar $K$ reduz a variância, mas corre o risco de "diluição" (resumos genéricos) se muitos sinais forem comprimidos.

C. Atualização e Migração de Prompt

O próximo prompt $p_{t+1}$ é gerado por uma política de atualização que aplica as mudanças corretivas agregadas enquanto respeita as restrições de preservação.

Para APM: Ao migrar um prompt de um modelo de origem para um modelo alvo, o TRAS ativa a regularização textual imediatamente ( $\tau_{warmup} = 0$ ) e utiliza uma contagem de amostras $K$ menor (devido à menor variância de prompts especialistas com warm-start). Isso garante que incompatibilidades específicas do alvo sejam corrigidas via $\bar{g}_t$ , enquanto a estrutura transferível do prompt especialista é preservada via $\bar{r}_t$ .

3. Principais Contribuições

O artigo formaliza e contribui com o seguinte:

Formalização da Migração Automática de Prompts (APM): Os autores definem APM como o problema prático de adaptar prompts especialistas entre versões ou provedores de modelos, evitando explicitamente a "perda de instrução".
Regularização Textual: A introdução de um sinal condicionado ao sucesso que incentiva a preservação de componentes benéficos do prompt, estabilizando a trajetória de otimização.
Agregação de Sinais de Monte Carlo (MCSA): Uma técnica para agregar múltiplos sinais estocásticos para reduzir a variância e gerenciar a diluição de conselhos acionáveis.
Estrutura TRAS: Um método unificado que combina esses elementos para melhorar a robustez tanto em cenários padrão de APO quanto em APM.

4. Resultados Experimentais

Os autores avaliaram o TRAS em cinco tarefas de raciocínio (Causal Judgment, Geometric Shapes, Penguins, Biosses, CB) usando GPT-3.5-turbo para APO padrão e GPT-4o para APM (migrando de GPT-3.5-turbo).

APO Padrão (GPT-3.5-turbo):
- O TRAS alcançou melhorias de precisão consistentes e estatisticamente significativas sobre o baseline (PromptAgent), variando de 4,9% a 21,5% entre as tarefas.
- Reduziu o desvio padrão entre sementes aleatórias, indicando uma otimização mais estável.
- Reduziu as chamadas de API de LLM em 0,5% a 3,3% ao evitar ciclos ineficientes de remover-e-redescobrir.
Migração Automática de Prompts (GPT-3.5-turbo $\to$ GPT-4o):
- A reotimização ingênua de prompts especialistas frequentemente erodiu ganhos iniciais devido à perda de instrução.
- O TRAS consistentemente melhorou a precisão final sobre o baseline, com ganhos variando de 2,2% a 16,0%.
- Melhorias notáveis foram vistas em Geometric Shapes (+12,5%) e Biosses (+16,0%), onde a preservação da estrutura específica do domínio era crítica.
- O TRAS reduziu o total de chamadas de API em 4,2% a 6,2% no cenário de migração.
Estudos de Ablação:
- Warm-up: O desempenho atingiu o pico quando a regularização ativou após 3–4 iterações; ativar cedo demais ancorou prompts fracos, enquanto ativar tarde demais permitiu a deriva.
- Contagem de Agregação ( $K$ ): A precisão melhorou até $K \approx 6$ (reduzindo a variância), mas degradou para $K$ maiores devido à diluição do sinal.

5. Significância e Alegações

O artigo afirma que o TRAS oferece uma solução robusta para a instabilidade inerente à otimização de prompts de caixa-preta. Ao mudar de um paradigma puramente impulsionado por erro para uma abordagem centrada em feedback que equilibra correção com preservação, o TRAS:

Estabiliza a Otimização: Reduz a deriva semântica e a variância na trajetória de busca do prompt.
Permite uma Migração Eficaz: Resolve o problema prático de adaptar prompts entre versões ou provedores de modelos sem perder instruções críticas, um modo de falha comum na reotimização ingênua.
Melhora a Eficiência: Alcança maior precisão com menos chamadas de API, convergindo de forma mais confiável e evitando ciclos redundantes.

Os autores posicionam o TRAS como ortogonal às estratégias de busca, o que significa que ele pode aprimorar vários backbones de APO existentes. Eles sugerem que trabalhos futuros poderiam explorar mecanismos de agregação alternativos, cronogramas de regularização adaptativos e extensões para configurações de implantação de múltiplos turnos ou contínuos.