💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Este artigo apresenta o OPTS, um framework de otimização de prompts que melhora o desempenho de otimizadores existentes como o EvoPrompt ao implementar mecanismos explícitos baseados em bandits (especificamente Thompson sampling) para selecionar e aplicar estratégias de design de prompt de forma eficaz, superando, assim, métodos que dependem de seleção implícita de estratégias.

Autores originais: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Publicado 2026-06-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas às vezes teimoso (um Modelo de Linguagem Grande ou LLM), a resolver um quebra-cabeça difícil. Você dá instruções ao robô, chamadas de "prompt". Se as instruções forem vagas, o robô fica confuso. Se forem perfeitas, o robô resolve o quebra-cabeça instantaneamente.

Por muito tempo, os humanos tentaram escrever essas instruções perfeitas manualmente, ou usaram programas de computador para ajustar automaticamente as instruções até que funcionassem melhor. Isso é chamado de Otimização de Prompt.

No entanto, há um problema: esses programas automáticos costumam criar instruções que são funcionais, mas carecem do "tempero secreto" que os especialistas humanos utilizam. Eles perdem truques comprovados como "pense passo a passo" ou "aja como um especialista".

O Problema: O Jogo de Adivinhação Ruim do Robô

Recentemente, uma ferramenta chamada APET tentou consertar isso. Ela deu ao robô um menu de "estratégias de design" (como um menu de técnicas culinárias: adicionar sal, picar finamente, cozinhar em fogo baixo). O robô deveria olhar para o menu e decidir quais truques usar para o quebra-cabeça específico.

Mas o artigo argumenta que pedir ao robô para fazer essa escolha é como pedir a um chef cansado para adivinhar qual tempero salvará uma sopa queimada. O robô frequentemente adivinha errado, escolhendo estratégias que na verdade tornam as instruções piores. É uma escolha implícita (o robô apenas "sente" que deve usar um truque), e ele não é muito bom nisso.

A Solução: OPTS (O Sommelier Inteligente)

Os autores deste artigo introduzem um novo método chamado OPTS (Optimizing Prompts with sTrategy Selection - Otimizando Prompts com Seleção de Estratégia).

Em vez de deixar o robô adivinhar, o OPTS atua como um sommelier inteligente (um especialista em vinhos) ou um gerente de cassino administrando um jogo de azar. Veja como funciona usando uma analogia simples:

Imagine que você tem uma fileira de máquinas caça-níqueis (os pesquisadores as chamam de "braços").

Máquina 1: Adiciona "Pense Passo a Passo" às instruções.
Máquina 2: Diz ao robô para "Ler a pergunta novamente".
Máquina 3: Diz ao robô para "Agir como um especialista em matemática".
Máquina K+1: Não faz nada (mantém as instruções exatamente como estão).

No método antigo (APET), o robô simplesmente puxaria uma alavanca aleatoriamente ou baseado em um palpite.

No novo método OPTS, o sistema usa uma estratégia matemática chamada Amostragem de Thompson (Thompson Sampling). Pense nisso como um jogador de azar inteligente que mantém uma planilha de pontuação:

Ele testa uma máquina (uma estratégia).
Se o rob na resolver o quebra-cabeça melhor, o sistema dá um "polegar para cima" para essa máquina e torna mais provável que ela seja escolhida na próxima vez.
Se o robô falhar, o sistema dá um "polegar para baixo" para essa máquina e para de escolhê-la.
Crucialmente, ele também mantém uma máquina de "Não Fazer Nada". Se todos os truques estiverem tornando as coisas piores, o sistema aprende a simplesmente deixar as instruções como estão.

O Que Eles Descobriram

Os pesquisadores testaram isso em dois robôs diferentes (LLMs) usando um conjunto de quebra-cabeças de lógica e raciocínio muito difíceis (chamados de BIG-Bench Hard).

O Resultado: Ao usar essa abordagem de "jogador inteligente" para escolher a estratégia certa, o sistema criou instruções muito melhores do que os próprios robôs conseguiriam fazer sozinhos.
O Campeão: O método de Amostragem de Thompson (o jogador inteligente) foi o vencedor claro. Ele melhorou o desempenho do otimizador de prompts em até 50% em algumas tarefas.
A Comparação: O método antigo (APET), onde o robô adivinhava, teve um desempenho na verdade pior do que apenas escolher estratégias aleatoriamente. Isso prova que o robô é ruim em adivinhar quais truques usar, mas é ótimo em seguir instruções se nós dissermos a ele qual truque usar.

A Conclusão

Este artigo não afirma ter resolvido todos os problemas de IA ou estar pronto para diagnósticos médicos ainda. Ele simplesmente mostra que, quando estamos tentando ensinar a IA a falar melhor, não devemos deixar a IA adivinhar qual método de ensino usar. Em vez disso, devemos usar um sistema inteligente e baseado em dados (como a Amostragem de Thompson) para escolher explicitamente os melhores truques de ensino, exatamente como um treinador escolhendo a jogada certa para uma situação específica de jogo.

O código para este "treinador inteligente" já está disponível para que outros possam usar.

Resumo Técnico: Estratégia de Seleção de Design de Prompt Baseada em Bandidos

Declaração do Problema

A otimização de prompts visa buscar automaticamente prompts eficazes que melhorem o desempenho de Grandes Modelos de Linguagem (LLMs). Embora métodos existentes de otimização de prompts discretos (por exemplo, algoritmos evolucionários) tenham descoberto prompts eficazes com sucesso, estes muitas vezes diferem dos prompts sofisticados e cuidadosamente elaborados por especialistas humanos. Existe uma lacuna crítica no aproveitamento de "estratégias de design de prompt" estabelecidas (melhores práticas como Chain-of-Thought ou Role Prompting) dentro da otimização automatizada.

Abordagens recentes, como o Autonomous Prompt Engineering Toolbox (APET), tentam incorporar essas estratégias alimentando um LLM com todas as descrições de estratégias disponíveis, o qual então seleciona e aplica-as implicitamente. No entanto, essa seleção implícita é propensa a um desempenho subótimo porque os LLMs podem não otimizar efetivamente o processo de seleção, e estratégias inapropriadas podem impactar negativamente o desempenho dependendo da tarefa específica e do LLM alvo. O problema central abordado é a falta de um mecanismo explícito e robusto para selecionar as estratégias de design de prompt mais apropriadas durante o processo de otimização.

Metodologia

Os autores propõem o OPTS (Optimizing Prompts with sTrategy Selection), um framework que introduz mecanismos de seleção explícitos para estratégias de design de prompt. O OPTS é integrado ao EvoPrompt, um otimizador de prompts bem conhecido que emula algoritmos evolucionários (especificamente Algoritmos Genéticos e Evolução Diferencial).

Componentes Principais

Braços de Estratégia (Strategy Arms): O sistema define $K$ braços, cada um correspondendo a uma estratégia de design de prompt específica (ex: Chain-of-Thought, Emotion Prompting, Re-Reading). Um $(K+1)$ -ésimo braço de "inação" é incluído, representando a opção de aplicar nenhuma modificação de estratégia.
Mecanismos de Seleção: O artigo propõe e avalia três métodos de seleção distintos:
- OPTS(TS): Utiliza Thompson Sampling, um algoritmo de multi-armed bandit. Ele mantém uma distribuição de probabilidade (distribuições a priori Beta) para a recompensa esperada de cada braço. Após avaliar um prompt modificado, a recompensa (baseada na precisão do LLM de resolução de tarefas) atualiza a distribuição, permitindo que o sistema equilibre exploração e exploração (exploration/exploitation) de estratégias.
- OPTS(US): Utiliza Uniform Sampling (Amostragem Uniforme), onde cada braço (incluindo o braço de inação) é selecionado com igual probabilidade, servindo como uma linha de base para a aplicação de estratégias aleatórias.
- OPTS(APET): Baseado no método APET, onde um LLM seleciona estrategicamente de forma implícita. Esta versão inclui uma probabilidade explícita de 50% de escolher o "braço de inação" para mimetizar o comportamento do APET enquanto adiciona um controle para não modificação.
Fluxo de Integração:
- O EvoPrompt gera um novo prompt candidato via crossover e mutação.
- O módulo OPTS seleciona uma estratégia (ou inação) com base no mecanismo escolhido.
- Se uma estratégia for selecionada, sua descrição é passada para um "LLM de design de prompt" junto com um meta-prompt e o prompt candidato.
- O LLM de design de prompt modifica o prompt para incorporar a estratégia selecionada.
- O prompt modificado é avaliado pelo "LLM de resolução de tarefas", e o score resultante é usado para atualizar a distribuição de seleção (no caso do TS) e determinar a próxima geração da população.

Contribuições Principais

Seleção Explícita de Estratégia: O artigo introduz os primeiros mecanismos de seleção explícita de estratégias de design de prompt dentro da otimização de prompts, afastando-se da seleção implícita usada em trabalhos anteriores como o APET.
Integração de Thompson Sampling: Os autores propõem e demonstram empiricamente a superioridade de uma abordagem baseada em Thompson Sampling (OPTS(TS)) na seleção de estratégias apropriadas para tarefas e LLMs específicos.
Melhoria de Desempenho: O estudo demonstra que a integração da seleção explíc de estratégias melhora significativamente o desempenho do otimizador EvoPrompt.
Avaliação Abrangente: Os métodos são avaliados em 27 tarefas desafiadoras do BIG-Bench Hard (BBH) usando dois LLMs de resolução de tarefas diferentes (Llama-3-8B-Instruct e GPT-4o mini) e dois algoritmos evolucionários diferentes (GA e DE).

Resultados Experimentais

Experimentos foram conduzidos utilizando tarefas do BIG-Bench Hard. Os LLMs de resolução de tarefas foram Llama-3-8B-Instruct (todas as 27 tarefas) e GPT-4o mini (3 tarefas).

Melhoria Geral: Todas as três variantes do OPTS (TS, US, APET) melhoraram o desempenho médio do baseline EvoPrompt(DE) em aproximadamente 4,5% a 7,5%.
Superioridade do Thompson Sampling: O OPTS(TS) alcançou os melhores resultados gerais. Ao utilizar o GPT-4o mini tanto para a geração de prompts quanto para a resolução de tarefas, o OPTS(TS) melhorou o desempenho do EvoPrompt em até 50% em tarefas específicas (ex: "logical deduction five objects"). Em média, nas tarefas do BBH com Llama-3-8B-Instruct, o OPTS(TS) superou o OPTS(US) em ~1,7% e o OPTS(APET) em ~2,7%.
Comparação com APET: O OPTS(APET) teve um desempenho inferior ao OPTS(US), sugerindo que os LLMs possuem vieses que levam à seleção incorreta de estratégias de forma implícita.
Variabilidade de Tarefas: A melhoria variou conforme a tarefa. Para tarefas como "ruin names", o OPTS(TS) melhorou o desempenho em ~40% sobre o baseline. Em alguns casos, o desempenho degradou levemente, mas o "braço de inação" garantiu que a degradação fosse mínima em comparação aos ganhos.
Eficiência de Custo: Sob uma restrição fixa de 500 chamadas de API, o OPTS(TS) ainda superou o baseline EvoPrompt, indicando maior custo-efetividade.

Significância e Alegações

O artigo afirma que a seleção explícita de estratégias de design de prompt é um passo crucial para o avanço da otimização de prompts. Ao alavancar o conhecimento existente de engenharia de prompt (estratégias como Chain-of-Thought) através de um processo de seleção baseado em bandidos, o OPTS permite que os otimizadores descubram prompts que não são apenas eficazes, mas também estruturalmente alinhados com as melhores práticas humanas.

Os autores destacam que:

A seleção explícita é superior à seleção implícita: A capacidade de um LLM de escolher estratégias implicitamente (como no APET) é subótima em comparação com a seleção baseada em dados do Thompson Sampling.
Estratégias podem ser combinadas: Embora o OPTS(TS) selecione uma estratégia por vez, os prompts otimizados resultantes frequentemente exibem uma combinação de estratégias (ex: Chain-of-Thought incorporando Re-Reading), sugerindo que o otimizador aprende efetivamente a sobrepor essas técnicas.
Generalização: A abordagem é eficaz independentemente do LLM de resolução de tarefas específico (Llama-3 ou GPT-4o) ou do algoritmo evolucionário subjacente (GA ou DE).

Os autores mantêm uma postura modesta, observando limitações como a formulação do OPTS(TS) como um bandit de Bernoulli (que poderia ser refinado), a falta de testes em outros otimizadores além do EvoPrompt, e a potencial variabilidade dos resultados baseada no conjunto específico de estratégias preparadas. Eles concluem que seu trabalho ressalta a importância de alavancar e selecionar explicitamente o conhecimento existente de design de prompt para aumentar o desempenho dos LLMs.