🤖 AI

Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts

O artigo apresenta o ReElicit, um framework de otimização bayesiana que aproveita modelos de linguagem grandes para elicitar dinamicamente representações de características adaptativas e interpretáveis a partir de feedback agregado, permitindo a otimização eficiente de prompts de sistema de comprimento variável sem rótulos por exemplo.

Autores originais: Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito talentoso, mas um pouco teimoso, a responder perguntas. Você não pode falar diretamente com o robô para dizer: "Você errou este problema de matemática específico porque esqueceu de levar o um". Em vez disso, você só recebe um único número no final de um longo dia: "Hoje, o robô acertou 85% das perguntas".

Este é o problema que o artigo aborda: Como você melhora as instruções de um robô (chamadas de "prompt de sistema") quando só recebe uma pontuação geral e vaga, e não um relatório detalhado?

Os autores, da Meta, propõem um novo método chamado ReElicit. Eis como funciona, dividido em conceitos simples:

1. O Problema: O Dilema da "Caixa Preta"

Geralmente, quando você ajusta um modelo de aprendizado de máquina, você tem muitos dados. Você sabe exatamente quais respostas estavam certas e quais estavam erradas. Mas no mundo real (como um bot de atendimento ao cliente), você pode apenas saber que "a satisfação do usuário aumentou 2% esta semana".

Tentar adivinhar as instruções perfeitas apenas alterando palavras aleatoriamente e esperando pelo melhor é como tentar encontrar uma agulha específica em um palheiro jogando agulhas aleatórias nele. É muito lento e ineficiente.

2. A Solução: O Robô "Tradutor"

Os autores perceberam que, em vez de procurar entre milhões de frases possíveis, poderiam pedir a um Modelo de Linguagem Grande (LLM) "inteligente" para atuar como um tradutor.

Eis a analogia:

O Objetivo: Você quer encontrar a receita perfeita para um bolo, mas só recebe uma pontuação de degustação (por exemplo, "8/10") após assá-lo. Você não pode provar os ingredientes individualmente.
O Jeito Antigo: Você apenas chuta novas receitas aleatoriamente.
O Jeito ReElicit: Você pede a um chef de cozinha mestre (o LLM) para olhar suas receitas passadas e suas pontuações. O chef diz: "Acho que o segredo não é a farinha ou o açúcar; é o equilíbrio entre baunilha e bicarbonato de sódio".

O chef então cria um mapa simples (um "espaço de características") com apenas dois ou três eixos:

Quanto de baunilha? (0 a 1)
Quanto de bicarbonato de sódio? (0 a 1)

Agora, em vez de procurar entre receitas infinitas, você está apenas procurando pelo ponto perfeito neste mapa pequeno e simples.

3. O Processo: Uma Dança de Três Passos

O artigo descreve um loop onde o computador faz três coisas repetidamente:

Elicitar (Perguntar ao Chef): O sistema analisa os prompts que tentou e suas pontuações. Ele pergunta ao LLM: "Quais são as 2 ou 3 'ingredientes' (características semânticas) mais importantes que tornam um prompt bom para esta tarefa específica?" O LLM inventa essas características na hora (por exemplo, "clareza do raciocínio" ou "uso de exemplos").
Otimizar (O Navegador): O sistema usa uma ferramenta matemática chamada Otimização Bayesiana. Pense nisso como um navegador inteligente que olha para o mapa e diz: "Ainda não tentamos o ponto onde a 'clareza' é alta e os 'exemplos' são médios. Vamos para lá." Ele escolhe um ponto-alvo no mapa.
Realizar (O Padeiro): O sistema pergunta ao LLM novamente: "Ok, escreva um prompt que atinja exatamente aquele alvo no nosso mapa." O LLM escreve as novas instruções. O sistema as testa, obtém uma nova pontuação e o loop recomeça.

4. Por Que É Especial: "Re-elicitar"

A parte inteligente é que o "mapa" não é estático. À medida que o sistema tenta mais prompts e obtém mais pontuações, ele pede ao LLM para redesenhar o mapa.

Talvez, no início, o LLM pensasse que o "comprimento" era importante.
Mas após 10 tentativas, o LLM percebe: "Na verdade, o comprimento não importa; trata-se de como as instruções são estruturadas."
Assim, o LLM atualiza o mapa para refletir essa nova compreensão. Isso permite que o sistema se adapte à medida que aprende.

5. Os Resultados

Os autores testaram isso em 10 tarefas difíceis diferentes (como resolver problemas de matemática ou identificar sarcasmo). Eles deram ao ReElicit um orçamento muito restrito: ele só podia testar 30 prompts diferentes no total.

A Competição: Eles compararam o ReElicit com outros métodos que apenas chutam prompts, evoluem-nos como bactérias ou os criticam um por um.
O Vencedor: O ReElicit consistentemente encontrou os melhores prompts. Foi melhor em encontrar a "agulha no palheiro" porque parou de chutar aleatoriamente e começou a navegar em um mapa inteligente e em evolução.

Resumo

Em resumo, ReElicit é um método que usa uma IA para inventar sua própria linguagem para descrever o que torna um prompt bom. Em vez de procurar pelo mundo bagunçado e infinito do texto, ele traduz o problema em um mapa simples e limpo, encontra o melhor ponto nesse mapa e, em seguida, traduz esse ponto de volta para um conjunto perfeito de instruções. Ele faz isso atualizando constantemente seu próprio mapa à medida que aprende com novos resultados.

O artigo afirma que esta é a maneira mais eficaz de ajustar instruções de IA quando você tem apenas uma pontuação geral única para guiá-lo, em vez de uma lista detalhada de erros.

Resumo Técnico: Embedding por Elicitação para Otimização Bayesiana de Prompts de Sistema

Configuração do Problema

O artigo aborda o desafio de otimizar prompts de sistema em sistemas de IA modernos sob restrições de feedback agregado. Em muitos cenários de implantação, o desempenho do prompt é medido por métricas em nível de população (por exemplo, taxas de conclusão de tarefas, taxas de incidentes de segurança, satisfação do usuário) em vez de rótulos por exemplo, rastros de erro ou críticas textuais. O otimizador observa apenas uma pontuação escalar única para cada variante de prompt implantada.

Essa configuração transforma a otimização de prompts em um problema de otimização de caixa-preta com restrição de amostra sobre linguagem natural discreta e de comprimento variável. A Otimização Bayesiana (BO) padrão é difícil de aplicar diretamente porque:

Representação: A BO geralmente opera em espaços euclidianos fixos e de baixa dimensão, enquanto os prompts são objetos de texto complexos e estruturados.
Realização: Mapear pontos otimizados em um espaço latente de volta para texto implantável geralmente requer codificadores/decodificadores auxiliares ou kernels criados manualmente, que não estão diretamente disponíveis para prompts de sistema arbitrários.
Escassez de Dados: Ajustar substitutos em espaços de embedding de texto de alta dimensão (por exemplo, milhares de dimensões) com muito poucas observações produz posteriors não informativos.

Os métodos existentes de Otimização Automática de Prompt (APO) frequentemente dependem de feedback granular (rótulos por exemplo, críticas) ou assumem interfaces específicas (prompts suaves, pools de candidatos fixos), tornando-os inadequados para essa configuração de prompt rígido e apenas agregado.

Metodologia: ReElicit

Os autores propõem o ReElicit, um framework de Otimização Bayesiana baseado em embedding por elicitação. A ideia central é usar um Modelo de Linguagem de Grande Escala (LLM) não apenas como um gerador de prompts, mas como um construtor adaptativo de um espaço de representação semântica.

O loop de otimização procede em três fases por iteração:

Elicitação Dinâmica de Recursos:
- Dada a descrição da tarefa e o histórico de prompts avaliados com suas pontuações escalares, o LLM propõe um conjunto de eixos de recursos semânticos interpretáveis e relevantes para a tarefa (por exemplo, "explicitação do raciocínio", "controle de tom").
- O LLM mapeia então os prompts históricos em um espaço contínuo compacto $[0, 1]^{d_t}$ com base nesses recursos.
- Para garantir robustez, múltiplos conjuntos de recursos candidatos são gerados e avaliados via validação cruzada (CV) contra as pontuações observadas. O conjunto com o menor erro de CV é selecionado. Se $t > 1$ , o conjunto de recursos anterior é reavaliado no histórico expandido e incluído como candidato.
Otimização Bayesiana no Espaço de Recursos:
- Um modelo substituto de Processo Gaussiano (GP) é ajustado às pontuações dos prompts embutidos.
- Uma função de aquisição (por exemplo, $q$ -LogNoisyExpectedImprovement) seleciona vetores de recursos-alvo no espaço contínuo que equilibram exploração e exploração. Esses alvos representam propriedades semânticas desejadas, não strings de texto.
Realização e Refinamento:
- O LLM realiza cada vetor de recursos-alvo como um prompt de sistema implantável.
- Como o mapa inverso de recursos contínuos para texto é perdedor, o LLM realiza refinamento de lacuna de recursos. Ele analisa a diferença entre os recursos-alvo e os recursos do prompt gerado, modificando iterativamente o texto para reduzir essa lacuna, garantindo que o prompt final esteja alinhado com a direção semântica selecionada pela BO.

Esse processo se repete, permitindo que a representação se adapte ("re-elicitação") à medida que novos dados de pontuação de prompt chegam, refinando os eixos semânticos que distinguem prompts de alto e baixo desempenho.

Análise Teórica

O artigo fornece uma análise teórica da alcançabilidade: sob quais condições um ponto quase ótimo no embedding elicito corresponde a um bom prompt no espaço de texto original?

Pressupostos: Os autores assumem a existência de um embedding semântico de "oráculo" onde a função objetivo é suave (Lipschitz contínua no espaço latente). Eles assumem que o embedding elicito aproxima esse oráculo dentro de um erro limitado $\eta_t$ .
Resultado: O Teorema 1 estabelece que, se um prompt é $\delta$ -subótimo no objetivo aproximado (espaço elicito), ele é $\epsilon$ -subótimo no objetivo verdadeiro, onde $\epsilon = \delta + 2BL\eta_t$ . Aqui, $B$ é o limite da norma RKHS e $L$ é a constante de Lipschitz.
Implicação: A lacuna entre o espaço de recursos otimizado e a qualidade real do prompt é limitada pelo erro de representação. A re-elicitação dinâmica serve para reduzir $\eta_t$ ao longo do tempo, apertando a garantia de que a otimização no espaço de recursos leva a uma melhoria real do prompt.

Resultados Experimentais

Os autores avaliam o ReElicit em dez tarefas de otimização de prompts de sistema (abrangendo GSM8K, MMLU e BIG-Bench Hard) sob um orçamento estrito de 30 avaliações (6 lotes de 5 prompts). A interface de feedback é estritamente apenas agregada (uma pontuação escalar por prompt).

Baselines:
O ReElicit é comparado a quatro baselines representativas apenas agregadas adaptadas para prompts rígidos:

APE: Amostragem sem histórico.
OPRO: Geração condicionada ao histórico classificado por pontuação.
PromptBreeder: Mutação e recombinação evolutivas.
Estilo TextGrad: Refinamento baseado em críticas usando trajetórias escalares.

Principais Descobertas:

Desempenho: O ReElicit alcança o perfil de desempenho agregado mais forte. É ou o método numericamente melhor ou estatisticamente indistinguível do melhor em todas as dez tarefas.
Consistência: Possui a maior taxa de vitória ou empate em pares entre pares de tarefa-semente, indicando robustez em vez de sobreajuste a um único benchmark.
Análise de Componentes:
- Estabilidade de Recursos: Os recursos elicitados são altamente estáveis sob extração repetida, mas se adaptam conservadoramente entre iterações (medido por Linear CKA).
- Preditividade: Recursos dinâmicos produzem menor MSE de validação cruzada do GP do que recursos estáticos ou preditores de média.
- Acionabilidade: Prompts com lacunas de recursos menores em relação aos alvos da BO têm maior probabilidade de melhorar a melhor pontuação até o momento.
Ablações: Remover o refinamento de lacuna de recursos ou substituir a BO por amostragem aleatória causa as quedas de desempenho mais significativas. Congelar recursos (representação estática) ou extração independente produz degradações menores, muitas vezes não significativas, sugerindo que a elicitação inicial já é eficaz, mas a adaptação dinâmica proporciona ganhos adicionais.

Significado e Alegações

O artigo afirma que LLMs podem servir como construtores adaptativos de representação semântica, não apenas geradores de prompts, para otimização bayesiana sobre artefatos de linguagem natural.

Contribuição Metodológica: O ReElicit preenche a lacuna entre a otimização de texto discreto e a BO contínua, usando o LLM para construir um espaço latente compacto, interpretável e específico da tarefa sob demanda.
Impacto Prático: Oferece um caminho viável para otimizar prompts de sistema em cenários de implantação do mundo real onde apenas métricas agregadas em nível de população estão disponíveis, evitando a necessidade de rótulos por exemplo ou treinamento complexo de codificadores/decodificadores.
Generalizabilidade: O padrão de "embedding por elicitação" é apresentado como uma receita para otimizar qualquer artefato estruturado descritível em linguagem onde os candidatos são texto, as restrições são textuais e a avaliação é uma medição escalar cara.

Os autores permanecem modestos quanto ao escopo, observando que seus experimentos usam a precisão de benchmark offline como proxy para métricas de implantação (como satisfação do usuário) e que a eficiência do método é medida em avaliações do modelo-alvo em vez de chamadas totais de LLM. Eles enfatizam que a abordagem é uma comparação "maçã com maçã" dentro da configuração de prompt rígido apenas agregado.