Resumo Técnico: MO-CAPO: Otimização de Prompt Consciente de Custo Multi-Objetivo

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstram alto desempenho em tarefas diversas, mas permanecem altamente sensíveis ao design de prompts, tornando necessária a otimização automática de prompts. Embora os métodos existentes foquem principalmente na maximização do desempenho, eles frequentemente ignoram objetivos concorrentes, como custo de inferência e latência. Além disso, o próprio processo de otimização é dispendioso, exigindo numerosas chamadas de LLM.

As abordagens atuais enfrentam duas limitações principais:

1. Foco em Objeto Único: A maioria dos otimizadores (por exemplo, CAPO, GEPA) otimiza apenas o desempenho ou utiliza escalarização com um peso de trade-off fixo e pré-escolhido para penalizar o comprimento do prompt. Essa abordagem falha em capturar o espectro completo de trade-offs entre desempenho e custo e exige que os usuários ajustem manualmente os pesos, o que não é trivial.
2. Métodos Multi-Objetivo Ineficientes: Os otimizadores de prompt multi-objetivo existentes geralmente dependem de algoritmos prontos, como NSGA-II. Esses métodos frequentemente carecem de eficiência de custo em seus procedimentos de otimização, avaliando candidatos em conjuntos de dados completos sem mecanismos para descartar soluções pouco promissoras precocemente. Adicionalmente, eles frequentemente usam o comprimento do prompt como proxy para custo, ignorando os perfis computacionais distintos de tokens de entrada versus saída em LLMs modernos (onde a geração de saída é significativamente mais cara).

O problema central é desenvolver um algoritmo de otimização de prompt que otimize conjuntamente o desempenho e o custo de inferência, descubra um conjunto diversificado de soluções Pareto-ótimas (a frente de Pareto) e o faça de forma eficiente sob um orçamento de avaliação limitado.

2. Metodologia: MO-CAPO

Os autores propõem o MO-CAPO (Otimização de Prompt Consciente de Custo Multi-Objetivo), um algoritmo que estende a estratégia evolutiva do CAPO para lidar explicitamente com múltiplos objetivos, integrando mecanismos de alocação de orçamento.

2.1 Objetivo de Custo

O MO-CAPO introduz um objetivo de custo orientado à implantação que considera o perfil computacional completo da inferência de LLM. Diferentemente de métodos anteriores que penalizam apenas o comprimento do prompt, o MO-CAPO define o custo como uma soma ponderada de tokens de entrada e saída:
$$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$$
Onde $w_{in}$ e $w_{out}$ são pesos específicos do modelo derivados de preços de API ou métricas de latência. Essa formulação reflete a realidade de que tokens de saída são tipicamente mais caros devido à decodificação autoregressiva sequencial.

2.2 Estrutura Algorítmica

O MO-CAPO opera como um algoritmo genético com uma população de prompts consistindo em instruções e exemplos few-shot. Ele integra conceitos do NSGA-II e do método de configuração automática de algoritmos multi-objetivo MO-SMAC.

• Conjunto Atual (Incumbent) e População: O algoritmo mantém uma população ($P_\mu$) e um conjunto dedicado de atuais ($P_{inc}$) representando a aproximação atual da frente de Pareto.
• Seleção de Pais: Diferentemente da seleção aleatória do CAPO, o MO-CAPO utiliza uma seleção por torneio binário adaptada para níveis de avaliação heterogêneos. Ele favorece os atuais (soluções na frente de Pareto) e usa a distância de aglomeração (CD) para manter a diversidade. Para não-atuais com diferentes níveis de avaliação, aplica-se um critério de dominância mais fraco para garantir comparação justa.
• Intensificação (Alocação de Orçamento): Este é o mecanismo central de eficiência. Em vez de avaliar cada candidato no conjunto de desenvolvimento completo, os desafiadores são avaliados progressivamente em blocos de dados.
  • Um desafiador é comparado ao atual mais próximo no espaço de objetivos.
  • Se o desafiador for dominado pelo atual no subconjunto de dados avaliado até o momento, sua avaliação é terminada antecipadamente ("rejeitada"), economizando orçamento.
  • Se sobreviver, é avaliado em mais blocos até dominar um atual ou completar a avaliação em todos os blocos compartilhados.
  • Desafiadores sobreviventes são adicionados à população e potencialmente ao conjunto de atuais.
• Seleção Ambiental: Para manter o tamanho da população, candidatos dominados são removidos. Se candidatos tiverem níveis de avaliação heterogêneos, aqueles com menos avaliações são descartados primeiro para evitar viés.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Algoritmo MO-CAPO: Um novo algoritmo de otimização de prompt multi-objetivo que descobre aproximações completas da frente de Pareto equilibrando desempenho e custo de inferência, mantendo eficiência de custo através de um mecanismo de intensificação.
2. Objetivo de Custo Realista: Uma nova função objetivo que pondera tokens de entrada e saída separadamente, fornecendo uma medida realista de custos de implantação para LLMs modernos, indo além de proxies simples de comprimento de prompt.
3. Protocolo de Avaliação Rigoroso: A primeira avaliação em grande escala de otimização de prompt multi-objetivo que considera generalização e robustez usando:
   • R2 Ruidoso (nR2): Mede a robustez da seleção simulando a seleção de preferência do usuário no conjunto de desenvolvimento e avaliando no conjunto de teste.
   • Gap de Aproximação: Quantifica a diferença entre as frentes de Pareto otimistas (não-dominadas no conjunto de teste) e pessimistas (não-dominadas no conjunto de desenvolvimento).
   • Superfícies de Atingimento Empírico (EAS): Visualiza a estabilidade do desempenho em múltiplas execuções.
4. Benchmarks Abrangentes: Uma comparação contra otimizadores de objeto único de última geração (CAPO, GEPA, EvoPromptGA) e uma linha de base baseada em NSGA-II em três LLMs e quatro tarefas, demonstrando superioridade em métricas multi-objetivo e eficiência.

4. Resultados Experimentais

Os autores avaliaram o MO-CAPO em três LLMs (GPT-OSS-120B, Qwen3-30B, Mistral-3.2-24B) e quatro tarefas (AG News, GSM8K, Subj, MBPP) com um orçamento de tokens de 7,5 milhões.

• Desempenho Multi-Objetivo: O MO-CAPO superou a linha de base baseada em NSGA-II em 8 de 12 combinações modelo-conjunto de dados em relação à métrica R2 ruidoso. Ele identificou consistentemente aproximações de frente de Pareto fortes, robustas e diversas.
• Eficiência: O MO-CAPO demonstrou eficiência significativamente maior. Encontrou conjuntos de soluções competitivos com orçamentos muito menores (frequentemente exigindo menos de 1/3 do orçamento para atingir 80% do desempenho final) em comparação com o NSGA-II-PO. O mecanismo de intensificação permitiu que o MO-CAPO avaliasse até 5,7 vezes mais candidatos do que a linha de base.
• Diversidade de Soluções: Os conjuntos de soluções descobertos abrangiam trade-offs diversos entre desempenho e custo, incluindo soluções de baixo custo omitidas por otimizadores de objeto único e soluções de alto desempenho. Os prompts variavam em detalhe de instrução, número de exemplos few-shot e razões de tokens de entrada/saída.
• Competitividade com Métodos de Objeto Único: Apesar de otimizar para custo, os candidatos de melhor desempenho encontrados pelo MO-CAPO permaneceram competitivos com otimizadores de objeto único de última geração. Em termos de classificações de precisão, o MO-CAPO foi estatisticamente indistinguível do CAPO e GEPA em muitas configurações e superou significativamente o EvoPrompt e instruções iniciais.
• Estudos de Ablação:
  • Intensificação: Remover esse mecanismo (revertendo para NSGA-II-PO) resultou em convergência mais lenta e maior consumo de tokens.
  • Pesos de Custo: O peso do token de entrada ($w_{in}$) foi encontrado como o principal motor para controlar o custo do prompt. Sua remoção levou a um aumento dramático no uso de tokens de entrada e degradação da qualidade da otimização (nR2).

5. Significado e Alegações

O artigo afirma que o MO-CAPO permite que praticantes selecionem de um conjunto eficientemente descoberto de múltiplos prompts oferecendo diferentes trade-offs entre desempenho e custo, em vez de serem forçados a uma única solução ou a uma escalarização ajustada manualmente.

Alegações principais sobre o significado incluem:

• Eficiência: A integração da alocação de orçamento multi-objetivo (intensificação) na otimização evolutiva de prompts permite a descoberta de frentes de Pareto robustas sob orçamentos computacionais apertados.
• Realismo: Ao modelar explicitamente os custos de tokens de entrada e saída, o método fornece uma representação mais precisa dos custos reais de implantação do que proxies baseados em comprimento.
• Robustez: O uso de gaps de aproximação e métricas R2 ruidosas fornece uma avaliação mais realista da qualidade da solução, contabilizando erros de generalização e variabilidade estocástica frequentemente mascarados por métricas padrão como o Hipervolume.
• Utilidade Prática: O método oferece um conjunto diversificado de alternativas viáveis de baixo custo que são ignoradas por métodos focados apenas em desempenho, abordando a realidade prática de que ganhos marginais de precisão frequentemente não justificam aumentos substanciais nos custos de inferência.

Os autores posicionam este trabalho como a primeira avaliação minuciosa de otimização multi-objetivo para aprendizado de máquina que estende metodologias preliminares para a otimização de prompts, enfatizando a necessidade de métricas robustas e conscientes de generalização neste domínio.