Resumo Técnico: CRAFT (Cost-aware Refinement And Front-aware Tuning of Prompts)

1. Formulação do Problema

O artigo aborda o problema de otimização multiobjetivo inerente ao ajuste de prompts de linguagem natural para Grandes Modelos de Linguagem (LLMs). Embora prompts mais longos e estruturados frequentemente gerem uma maior precisão na tarefa, eles incorrem em custos de inferência (contagem de tokens) mais elevados em cada chamada do modelo. Por outro lado, uma compressão agressiva reduz o custo, mas corre o risco de degradar o desempenho.

Os autores argumentam que otimizar para um único objetivo (precisão ou custo) ou colapsá-los em uma soma ponderada fixa (escalarização) é subótimo. Tais abordagens frequentemente falham em recuperar a fronteira de Pareto completa — o conjunto de prompts onde nenhum outro prompt é simultaneamente mais preciso e mais curto. O artigo identifica um modo de falha específico chamado colapso de escalarização, onde estratégias de busca com pesos fixos recuperam apenas uma região estreita da superfície de compensação (trade-off), perdendo os extremos de alta precisão/baixo custo ou baixa precisão/alto custo, dependendo do peso escolhido. Além disso, a natureza discreta do espaço de prompts e a relação não convexa entre o texto do prompt, a precisão e o custo tornam recompensas escalares fixas insuficientes.

O desafio central é que avaliar a verdadeira precisão de um candidato exige chamadas de validação caras ao LLM alvo. Como o otimizador opera sob um orçamento fixo dessas chamadas por rodada, ele deve decidir quais candidatos avaliar sem conhecer sua posição real na fronteira de Pareto.

2. Metodologia: O Framework CRAFT

CRAFT (Cost-aware Refinement And Front-aware Tuning) é um otimizador de prompts de fronteira de Pareto que trata as chamadas de validação do LLM alvo como um recurso escasso. Ele opera em rodadas iterativas, mantendo uma população de prompts e remodelando-a para aproximar a fronteira de Pareto de precisão-custo.

2.1 Componentes do Ciclo Principal

Cada rodada consiste em três etapas distintas:

1. Geração de Candidatos (Refinador e Condensador):

   • O CRAFT emprega dois geradores complementares com vieses opostos para propor edições à população atual.
   • Refinador (Orientado à Precisão): Utiliza um otimizador consciente da estrutura (padronizando para SCULPT) para analisar os prompts em árvores hierárquicas e aplicar edições (reordenação, elaboração, esclarecimento) para maximizar a precisão da tarefa.
   • Condensador (Orientado ao Custo): Utiliza um compressor consciente da estrutura (chamado DISTILL) para editar a árvore de análise do prompt, deletando nós redundantes ou fundindo seções, visando contagens de tokens menores enquanto preserva instruções críticas para a tarefa.
   • Esta estratégia de dupla geração garante que o pool de candidatos explore ambos os lados do espectro de compensação.

2. Aquisição de Lacuna de Pareto (Alocação de Validação):

   • Em vez de pontuar todos os candidatos ou usar uma pontuação escalar, o CRAFT aloca o orçamento de validação por rodada para candidatos que têm maior probabilidade de melhorar a aproximação da fronteira atual.
   • Ele calcula uma pontuação de Limite Superior de Confiança (UCB) ($p^+ = \mu + \beta\sigma$) para cada candidato baseada no histórico parcial de validação, equilibrando exploração (alta incerteza) e explotação (média alta).
   • Essas pontuações otimistas são pareadas com custos normalizados para formar uma fronteira de candidatos otimista ($F^+_t$).
   • A lacuna de Pareto ($g_i$) é calculada como a distância de Manhattan de um candidato até o ponto mais próximo nesta fronteira otimista. Candidatos com lacunas menores (aqueles mais próximos ou sobre a fronteira) são priorizados para validação total. Isso garante que o orçamento seja gasto em candidatos que podem estender a fronteira conhecida.

3. Retenção via NSGA-II (Seleção de População):

   • Após a validação, o seletor retém uma população de tamanho $k$ para a próxima rodada.
   • Utiliza a lógica do Algoritmo Genético de Ordenação Não Dominada II (NSGA-II) para particionar os candidatos em frentes não dominadas ($F_1, F_2, \dots$).
   • Para garantir a diversidade, se a fronteira limite precisar ser parcialmente selecionada para preencher a população, uma regra de espalhamento maximin é aplicada. Isso seleciona iterativamente candidatos que maximizam a distância mínima euclidiana em relação aos candidatos já selecionados no espaço normalizado de precisão-custo, garantindo que a população retida cubra a superfície de compensação uniformemente, em vez de se agrupar em uma única região.

3. Principais Contribuições

1. Formalização: O artigo formaliza a otimização de prompts consciente de custo como uma busca de fronteira de Pareto orçada sobre precisão e custo de tokens do prompt, modelando explicitamente a restrição de que as chamadas de validação do LLM alvo governam quais compensações podem ser observadas.
2. Framework CRAFT: Propõe um ciclo de otimização consciente da fronteira que desacopla a geração de candidatos da alocação de validação. As inovações principais incluem:
   • Geradores complementares orientados à precisão e ao custo.
   • Aquisição de lacuna de Pareto para alocar otimisticamente o orçamento de validação.
   • Retenção via NSGA-II para manter uma população diversa e espalhada.
3. Evidência Empírica: Os autores demonstram que os baselines padrão (apenas precisão, apenas custo e a soma ponderada escalar) sofrem de colapso de escalarização, concentrando-se em regiões estreitas da fronteira. Em contraste, o CRAFT consegue reter prompts viáveis tanto em regiões de alta precisão quanto de baixo custo.

4. Resultados Experimentais

Os autores avaliaram o CRAFT em seis benchmarks de classificação e raciocínio em inglês: BeaverTails, GoEmotions e quatro tarefas do BIG-Bench Hard (DisambiguationQA, Causal Judgement, Formal Fallacies, Salient Translation).

• Desempenho: O CRAFT alcançou o maior ranking composto em todas as métricas (qualidade da fronteira, pontuação e custo). Embora não tenha vencido em cada métrica individual (ex: baselines orientados ao custo às vezes alcançaram contagens de tokens menores), foi o único método a cobrir consistentemente ambos os lados da fronteira de Pareto.
• Baselines:
  • Baselines de eixo único (SCULPT para precisão, DISTILL/LLMLingua para custo) destacaram-se em seu domínio específico, mas falharam no outro.
  • Baselines de soma ponderada (WPRO) colapsaram para regiões estreitas determinadas por seus pesos fixos, falhando em capturar a superfície de compensação completa.
• Ablações: A remoção de qualquer um dos módulos (refinador ou condensador) degradou o desempenho, confirmando que ambos são necessários para fornecer a diversidade exigida para a extensão da fronteira.
• Transferência Cross-LLM: Os ganhos do CRAFT foram robustos em diferentes LLMs otimizadores (GPT-5.5, GPT-5.4, DeepSeek, Kimi), indicando que o framework não está preso a um modelo otimizador específico.
• Eficiência: O método atingiu platôs de desempenho em torno de 8 rodadas de otimização, sugerindo um uso eficiente do orçamento de validação.

5. Significância e Alegações

O artigo alega que a compensação precisão-custo na engenharia de prompts deve ser tratada como uma escolha pós-busca em vez de um peso pré-busca. Ao otimizar diretamente a fronteira de Pareto, o CRAFT permite que os profissionais selecionem o prompt ideal para um orçamento de implantação específico após a conclusão da busca, em vez de serem forçados a adivinhar o peso correto antecipadamente.

Os autores posicionam o CRAFT como uma solução para o problema do "colapso de escalarização", oferecendo uma abordagem mais confiável para cenários onde o equilíbrio ideal entre precisão e custo é desconhecido ou varia entre diferentes contextos de implantação.

6. Limitações

O artigo reconhece diversas limitações:

• Escopo: A avaliação é restrita a classificação em inglês e raciocínio de resposta curta. A generalização para geração aberta (sumarização, código, diálogo) ou configurações multilíngues não foi testada.
• Famílias de Modelos: Os experimentos utilizaram principalmente modelos da OpenAI (família GPT-5) como alvos. A avaliação em alvos não-OpenAI (ex: Claude, Gemini, Llama, Qwen) permanece como trabalho futuro.
• Prompts Iniciais: O método assume um prompt inicial minimamente relevante para a tarefa; o comportamento sob prompts iniciais fracos ou adversariais não foi explorado.
• Geradores: O estudo utilizou um conjunto específico de geradores (SCULPT, DISTILL, OPRO, EvoPrompt). Embora o framework seja modular, a performance de outros tipos de geradores (ex: compressores conscientes de histórico) não foi totalmente investigada.