Resumo Técnico: Otimização Eficiente de Prompts Multi-Objetivo via Banditas de Exploração Pura

Formulação do Problema

A engenharia de prompts é central para alavancar Modelos de Linguagem de Grande Escala (LLMs), contudo, os métodos existentes focam predominantemente na otimização de um único objetivo (por exemplo, precisão da tarefa). Em aplicações do mundo real, o desempenho do prompt é inerentemente multifacetado, envolvendo trade-offs entre métricas concorrentes, como coerência, fidelidade, fluência e segurança. Um único prompt raramente domina em todas as dimensões. Além disso, a avaliação de prompts é custosa, exigindo um orçamento limitado de consultas a um LLM.

Este artigo aborda o problema de Seleção de Prompts Multi-Objetivo sob um orçamento fixo de avaliação $B$. Os autores formalizam dois objetivos específicos:

1. Identificação do Prompt Viável Ótimo: Identificar um prompt que maximize um objetivo primário (por exemplo, precisão) enquanto satisfaz restrições em outros objetivos (por exemplo, limiares de segurança ou brevidade).
2. Identificação do Conjunto de Prompts de Pareto: Recuperar o conjunto de prompts não dominados (a fronteira de Pareto) que representam os trade-offs ótimos entre todos os objetivos.

O problema é enquadrado no framework de Banditas Multi-Objetivo de Exploração Pura. O conjunto candidato de prompts $\mathcal{X}$ é tratado como um conjunto de braços. Puxar um braço corresponde a avaliar um prompt em uma entrada amostrada, gerando um vetor de recompensa estocástico. O desafio reside em identificar eficientemente o(s) braço(s) ótimo(s) dado o alto custo de avaliação e a estrutura complexa dos trade-offs multi-objetivo.

Metodologia

Os autores propõem um framework geral que aproveita as correlações inerentes entre prompts para melhorar a eficiência amostral, indo além de tratar cada prompt como um braço independente.

Framework Geral

A abordagem utiliza uma estratégia de eliminação de braços baseada em rodadas. O processo envolve $R$ rodadas com um orçamento total $B$. Em cada rodada:

1. Alocação de Orçamento: Prompts são selecionados para avaliação com base em um alocador (por exemplo, amostragem uniforme ou design G-ótimo).
2. Avaliação: Prompts são consultados ao LLM e vetores de recompensa são observados.
3. Estimação de Recompensa: Um estimador atualiza o vetor de desempenho esperado $\hat{\mu}(x)$ para prompts ativos. O framework suporta funções de recompensa gerais $g_\theta(\phi(x))$, onde $\phi(x)$ é um embedding de características do prompt e $\theta$ é um parâmetro desconhecido compartilhado entre todos os prompts.
4. Eliminação de Braços: Prompts são classificados e eliminados com base em critérios específicos dependendo do problema-alvo.

Algoritmos

Dois algoritmos específicos são introduzidos com base neste framework:

1. GENSEC (Eliminação Sucessiva Generalizada sob Restrições):

   • Alvo: Identificação do Prompt Viável Ótimo.
   • Mecanismo: Constrói um conjunto viável empírico baseado em limiares de restrição. Braços são classificados primeiro por viabilidade e, em seguida, pela estimativa do objetivo primário. Os $l_r$ melhores braços são mantidos para a próxima rodada.
   • Garantia Teórica: Para configurações de recompensa linear ($\mu(x) = \phi(x)^\top \theta$), os autores provam que a probabilidade de falhar em identificar o prompt viável ótimo decai exponencialmente com o orçamento $B. Notavelmente, o limite de erro depende de $\log_2 K$ (onde $K$ é o número de prompts) em vez de $K^3$, melhorando significativamente a escalabilidade em comparação com resultados anteriores de banditas estocásticos.

2. GENPSI (Identificação do Conjunto de Pareto Generalizado):

   • Alvo: Identificação do Conjunto de Prompts de Pareto.
   • Mecanismo: Emprega o Gap de Pareto Empírico como métrica para eliminação. Este gap mede a dificuldade de classificar um braço como ótimo de Pareto ou sub-ótimo. O algoritmo unifica e generaliza algoritmos de banditas existentes (como EGE e GEGE) para configurações padrão e lineares.

Utilização de Características

Para lidar eficientemente com grandes conjuntos de prompts, o método utiliza um mapa de características $\phi: \mathcal{X} \to \mathbb{R}^d$. Na configuração linear, isso permite que o algoritmo aprenda o parâmetro compartilhado $\theta$ entre todos os prompts, acelerando a convergência. Nos experimentos, os embeddings de prompts foram extraídos usando GPT-3.5-turbo e reduzidos via PCA.

Resultados Experimentais

Os autores avaliaram o GENSEC e o GENPSI em dois benchmarks de sumarização (XSum e CNN/DailyMail) usando LLaMA-3-8B e Gemma-7B. Os objetivos foram ROUGE-L (qualidade) e Pontuação de Brevidade (comprimento).

• Identificação do Viável Ótimo:

  • Os algoritmos baseados em banditas (variantes CSR e MLP-CSR) superaram significativamente as linhas de base de amostragem uniforme.
  • Sob orçamentos restritos, os métodos propostos recuperaram 80–90% da utilidade do prompt ótimo restrito, enquanto as linhas de base alcançaram apenas 20–50%.
  • A variante MLP-CSR, que aproveita a estrutura compartilhada via um estimador de rede neural, superou consistentemente a variante CSR de braços independentes, demonstrando o benefício de explorar correlações entre prompts.

• Identificação do Conjunto de Pareto:

  • Usando o Hipervolume (HV) como métrica, os algoritmos baseados em GENPSI (EGE e MLP-EGE) recuperaram >90% do hipervolume do conjunto de Pareto real.
  • As linhas de base permaneceram na faixa de 80% baixo a médio.
  • O MLP-EGE mostrou vantagem particular em regimes de baixo orçamento, destacando a eficiência da aprendizagem de parâmetros compartilhados.

Contribuições Principais

1. Formalização: Este trabalho apresenta a primeira formalização da seleção de prompts multicritério como um problema de banditas de exploração pura multi-objetivo.
2. Inovação Algorítmica: A introdução do GENSEC e do GENPSI, que generalizam algoritmos de banditas existentes para lidar com restrições e optimalidade de Pareto, enquanto exploram estruturas compartilhadas entre prompts.
3. Garantias Teóricas: O artigo fornece limites de erro teóricos para o GENSEC na configuração linear, mostrando uma melhoria significativa na dependência do número de prompts ($K$) em comparação com trabalhos anteriores.
4. Validação Empírica: Experimentos extensivos demonstram que abordagens baseadas em banditas são principiais e eficientes, oferecendo melhorias substanciais sobre as linhas de base na recuperação de prompts viáveis ótimos e fronteiras de Pareto sob orçamentos de avaliação estritos.

Significado e Alegações

O artigo afirma estabelecer um "framework principial e eficiente" para otimização multi-objetivo de prompts. Ao conectar a engenharia de prompts com banditas multi-objetivo, os autores argumentam que é possível ir além de estratégias ad-hoc ou de métrica única. O trabalho aborda a realidade prática de que o desempenho do prompt envolve trade-offs inerentes que não podem ser capturados apenas por métricas escalarizadas. Os autores posicionam seus métodos como uma solução para cenários onde orçamentos de avaliação são limitados, como em domínios regulamentados ou ao lidar com inferência de LLMs cara. O artigo conclui que este framework abre novas oportunidades para otimização escalável de prompts sob critérios de avaliação complexos, embora reconheça que trabalhos futuros são necessários para estender esses métodos a tarefas mais diversas e incorporar métricas mais ricas, como equidade e eficiência.