Evolutionary Pre-Prompt Optimization for Mathematical Reasoning

Resumo Técnico: Otimização Evolutiva de Pré-Prompt para Raciocínio Matemático

Definição do Problema
Grandes Modelos de Linguagem (LLMs) demonstraram uma proficiência notável em aprendizado de poucos disparos (few-shot learning), particularmente quando combinados com o Chain-of-Thought (CoT) prompting, que guia os modelos para articular etapas intermediárias de raciocínio. No entanto, o desempenho do CoT prompting é altamente sensível à seleção e à estrutura dos exemplos de few-shot fornecidos no pré-prompt. Embora a engenharia de prompt manual seja comum, ela é frequentemente subótima e trabalhosa. Além disso, os métodos automatizados existentes frequentemente dependem da otimização por exemplo ou de atualizações baseadas em gradiente de grão fino, o que pode ser computacionalmente caro e propenso ao sobreajuste (overfitting), especialmente dado o tamanho limitado de benchmarks de raciocínio (ex: GSM8k, MathQA), que são insuficientes para o ajuste fino (fine-tuning) tradicional. O desafio central abordado é como selecionar sistematicamente um conjunto fixo e conciso de exemplos de CoT de few-shot que maximize o desempenho do LLM em uma tarefa específica de raciocínio matemático sem sofrer overfitting nos dados de treinamento.

Metodologia: Otimização Evolutiva de Pré-Prompt (EPPO)
Os autores propõem a Otimização Evolutiva de Pré-Prompt (EPPO), um framework evolutivo baseado em comparação projetado para otimizar pré-prompts de few-shot fixos ao nível da tarefa.

• Formulação: O problema é enquadrado como uma tarefa de otimização combinatória. Um conjunto de demonstração $D$ (contendo pares de prompt-solução) serve como uma tabela de consulta (lookup table). O objetivo é encontrar um pequeno subconjunto de índices (um "pré-prompt de few-shot") de $D$ que, quando usado como um pré-prompt estático para todas as consultas, maximize a acurácia do modelo em um conjunto de treinamento $T$.
• Algoritmo de Otimização: O EPPO utiliza algoritmos evolutivos de caixa preta (ex: Discrete (1+1)-ES, LogNormal, DoubleFastGA) implementados via biblioteca Nevergrad. Crucialmente, a otimização é baseada em comparação. Em vez de receber pontuações de desempenho absolutas (o que exigiria feedback de grão fino), o otimizador recebe apenas o índice do candidato com melhor desempenho entre um lote de $\kappa$ candidatos em cada iteração. Este paradigma "perguntar-e-dizer" (ask-and-tell) baseia-se em feedback grosseiro (ranqueamento) em vez de informação de gradiente.
• Estratégia de Dados: Para gerenciar custos computacionais, os autores empregam uma estratégia de subamostragem para criar conjuntos de demonstração. Eles também utilizam um método de subamostragem baseado em confiança (usando a incerteza da resposta do LLaMA2-70B) para garantir que o conjunto de demonstração cubra uma gama diversificada de dificuldades de exemplos.
• Análise de Generalização: O artigo fornece uma análise informacional sobre o risco de generalização. Como o EPPO depende de feedback limitado (comparações) e um orçamento de otimização finito, os autores derivam limites mostrando que o risco de overfitting é controlado e depende da granularidade do feedback e do orçamento, e não do tamanho do espaço de prompt ambiente ou da complexidade interna do modelo. Isso contrasta com métodos baseados em gradiente que acessam dados de grão fino e são mais suscetíveis ao overfitting em regimes de poucos dados.

Principais Contribuições

1. Introdução do Framework: A introdução do EPPO, uma abordagem de otimização combinatória fundamentada para selecionar pré-prompts estáticos de CoT de few-shot.
2. Superioridade Empírica: Demonstração de que a busca evolutiva controlada e exploratória supera a seleção por força bruta, a busca aleatória e o ajuste fino clássico em regimes de poucos dados, reduzindo o overfitting.
3. Ganhos de Desempenho: Alcance de melhorias significativas (excedendo 10 pontos absolutos em pontuações de correspondência exata) em benchmarks como GSM8k e MathQA usando modelos LLaMA2. Esses ganhos são robustos em diferentes estratégias de decodificação e são aditivos quando combinados com a Autoconsistência (Self-Consistency - SC).
4. Insights Mecanísticos: Análise revelando que os pré-prompts otimizados induzem traços de raciocínio mais consistentes e estruturados. O artigo descobre que a qualidade do prompt (especificamente a seleção de exemplos) é mais crítica do que o comprimento do prompt, e que tamanhos maiores de few-shot (ex: 8-shot) podem levar ao overfitting em cenários de subamostragem, enquanto tamanhos menores (ex: 4-shot) frequentemente produzem melhor generalização.
5. Limites Teóricos: Derivação de limites de generalização para a otimização de few-shot evolutiva que caracterizam os efeitos do tamanho dos dados, paralelismo de população e orçamento de otimização, oferecendo garantias teóricas indisponíveis para o ajuste fino baseado em gradiente.

Resultos Experimentais

• Benchmarks: O método foi avaliado no GSM8k, SVAMP, MathQA e MATH usando LLaMA2-7B e LLaMA2-70B.
• Desempenho: O EPPO superou consistentemente as linhas de base (CoT padrão, Long CoT e Resprompt). No GSM8k com LLaMA2-70B, o EPPO (4-shot) alcançou 68,2% de acurácia comparado a 56,8% para o CoT padrão. Ganhos semelhantes foram observados no MathQA e MATH.
• Transferibilidade:
  • Transferência de Tarefa: Pré-prompts otimizados no GSM8k transferiram-se com sucesso para o SVAMP (que carece de um conjunto de treinamento), melhorando o desempenho sobre as linhas de base.
  • Transferência de Modelo: Prompts otimizados para o modelo maior 70B transferiram-se efetivamente para o modelo 7B, mas o inverso (7B para 70B) foi menos eficaz, embora ainda superior às linhas de base.
• Dinâmicas de Overfitting: Experimentos mostraram que aumentar o número de disparos (shots, ex: de 4 para 8) em um cenário de treinamento subamostrado levou ao overfitting (maior acurácia de treinamento, mas menor acurácia de teste). No entanto, o uso do conjunto de treinamento completo mitigou esse problema.
• Eficiência: O EPPO requer significativamente menos recursos computacionais e memória do que o ajuste fino baseado em retropropagação (backpropagation), pois não envolve uma passagem de retrocesso (backward pass).

Significância e Alegações
O artigo afirma que o EPPO oferece uma alternativa robusta, eficiente e teoricamente fundamentada tanto para a engenharia de prompt manual quanto para o ajuste fino baseado em gradiente para tarefas de raciocínio matemático. Ao alavancar a otimização evolutiva baseada em comparação, o método navega efetivamente pelo espaço de seleção de prompts enquanto mantém fortes garantias de generalização em ambientes de escassez de dados. Os autores enfatizam que o sucesso do EPPO não advém meramente de encontrar "melhores" exemplos, mas de encontrar um conjunto conciso de exemplos que induzam padrões de raciocínio mais consistentes no LLM. O trabalho sugere que a chave para o raciocínio CoT eficaz reside na seleção estratégica do conteúdo do prompt, em vez de simplesmente aumentar o comprimento do prompt ou depender de mecanismos complexos de recuperação por exemplo. Além disso, o artigo postula que a compatibilidade aditiva do EPPO com a Autoconsistência e outros métodos de bootstrapping o torna um componente versátil para aumentar as capacidades de raciocínio dos LLMs.