SPRIG: Improving Large Language Model Performance by System Prompt Optimization

Título: SPRIG: Melhorando o Desempenho de Modelos de Linguagem de Grande Escala (LLMs) através da Otimização de Prompt de Sistema

1. O Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades impressionantes, mas seu desempenho é altamente dependente da escolha do prompt. A pesquisa anterior concentrou-se predominantemente na otimização de prompts específicos para tarefas (Task Prompts). No entanto, há uma lacuna significativa na otimização das instruções gerais que precedem os detalhes da tarefa, conhecidas como Prompts de Sistema (System Prompts).

Os desafios identificados incluem:

• Custo de Engenharia: Métodos atuais exigem a criação de novos prompts específicos para cada nova tarefa, o que se torna inviável à medida que o número de tarefas cresce.
• Falta de Generalização: Estratégias existentes de system prompting (como "pense passo a passo" ou definições de persona) são frequentemente isoladas, sensíveis a detalhes específicos de cenários e não sistematizadas.
• Complexidade do Espaço de Busca: O espaço de busca para prompts de sistema é vasto e complexo, dificultando a transferência de métodos de otimização de nível de tarefa para o nível de sistema.

2. Metodologia: SPRIG

Os autores propõem o SPRIG (System Prompt Refinement for Increased Generalization), um algoritmo genético baseado em edição para otimizar iterativamente prompts de sistema.

• Corpus de Componentes: O método não gera texto do zero, mas combina componentes pré-definidos. Um corpus de 9.000 componentes foi construído a partir de 300 prompts humanos (classificados em 9 categorias: propriedades, papéis, estilo, emoção, cenário, jailbreak, segurança, comportamental e Chain-of-Thought) e expandido sinteticamente usando GPT-4o.
• Modelo de Recompensa (Reward Model): Para evitar a avaliação exaustiva em todos os benchmarks a cada iteração (o que seria computacionalmente proibitivo), os autores treinaram um modelo de recompensa (baseado em Modern-BERT) usando uma perda de paridade com margem máxima. Este modelo estima e classifica a qualidade dos prompts com base em um conjunto de dados de pares de prompts e suas pontuações reais.
• Pipeline Genético (SPRIG):
  1. Iniciação: Uma população de prompts é inicializada a partir do corpus.
  2. Seleção: O modelo de recompensa elimina os 50% inferiores.
  3. Mutação e Cruzamento: Os melhores prompts sofrem mutações (Adicionar, Rephrasear, Trocar, Deletar, Mesclar componentes) ou cruzamento com outros prompts sobreviventes.
  4. Avaliação e Treinamento: Uma amostra da nova população é avaliada em 42 benchmarks reais. Essas novas pontuações são usadas para retreinar o modelo de recompensa por uma época, criando um ciclo de feedback contínuo.
  5. Iteração: O processo repete-se por 25 iterações.

3. Principais Contribuições

1. Desempenho Paritário com Otimização Específica: Otimizar um único prompt de sistema gera ganhos de desempenho comparáveis à otimização de prompts específicos para cada tarefa, mesmo sendo genérico.
2. Natureza Complementar: A combinação de otimização de nível de sistema (SPRIG) e nível de tarefa (usando o otimizador de ponta PROTEGI) resulta em melhorias adicionais, demonstrando que as duas abordagens aprendem estratégias complementares.
3. Generalização Robusta: Prompts otimizados pelo SPRIG generalizam-se eficazmente através de diferentes famílias de modelos, tamanhos de parâmetros e idiomas, superando métodos existentes em tarefas de senso comum e fidelidade.

4. Resultados Experimentais

Os experimentos foram conduzidos em 47 tipos de tarefas (cobrindo raciocínio, matemática, compreensão social, senso comum, etc.) e três modelos de tamanho médio (Llama-3.1-8B, Mistral-Nemo, Qwen2.5-7B).

• Comparação de Desempenho:
  • O SPRIG superou significativamente a linha de base sem otimização e o método Chain-of-Thought (CoT) padrão, com uma melhoria média de ~10%.
  • O SPRIG sozinho superou o otimizador de tarefas PROTEGI em tarefas de matemática, fidelidade e senso comum.
  • A combinação SPRIG + PROTEGI atingiu o estado da arte na maioria das categorias de tarefas, superando ambos os métodos isolados.
• Análise de Evolução: A análise mostrou que componentes de Chain-of-Thought e comportamentais aumentam rapidamente nas iterações iniciais, enquanto componentes de "boa propriedade" emergem gradualmente. Papéis (Role) e jailbreaks foram selecionados menos frequentemente do que o esperado pelo acaso.
• Generalização:
  • Idiomas: Prompts otimizados em inglês generalizaram-se bem para benchmarks multilíngues (MGSM, BELEBELE, XCOPA), superando o PROTEGI em tarefas fora do domínio.
  • Tamanho do Modelo: Embora a otimização isolada de sistema ou tarefa não tenha transferido ganhos significativos para modelos maiores (70B/72B), a combinação de ambos (Sistema + Tarefa) manteve uma melhoria de 1,6% em modelos maiores.
• Espaço de Embedding (Análise PCA): A visualização do espaço de estados ocultos revelou que a otimização de System Prompt desloca a distribuição global do modelo para novas regiões de alto desempenho, enquanto a otimização de Task Prompt realiza ajustes finos locais.

5. Significado e Conclusão

O estudo demonstra que as instruções de nível de sistema são um fator crítico e subutilizado para maximizar o potencial dos LLMs. O SPRIG oferece uma solução escalável para engenharia de prompts, permitindo que um único prompt otimizado melhore o desempenho em diversos domínios, reduzindo a necessidade de engenharia manual para cada nova tarefa.

A descoberta de que a otimização de sistema e tarefa são complementares sugere uma nova direção para a pesquisa: primeiro, localizar um espaço de comportamento global adequado através da otimização do sistema e, em seguida, refinar o desempenho específico dentro desse espaço através da otimização da tarefa. Isso tem implicações importantes para a criação de agentes de IA mais robustos e generalizáveis.