PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são altamente sensíveis ao design de prompts. No entanto, a criação manual de prompts eficazes é difícil e frequentemente requer a engenharia intrincada de exemplos few-shot (poucos exemplos).
As abordagens existentes de Prompt Engineering Automático (APE) enfrentam dois desafios principais:

1. Custo Computacional: Muitas métodos exigem horas de computação para explorar grandes espaços de busca de prompts.
2. Dependência de Dados: A maioria depende de conjuntos de treinamento grandes para avaliar candidatos de forma confiável.
   Além disso, a maioria dos trabalhos anteriores foca apenas na otimização da string de instrução (reescrita), ignorando o componente mais impactante da Aprendizagem em Contexto (ICL): os exemplos few-shot. Métodos que sintetizam novos exemplos (como PRL) são computacionalmente proibitivos (dezenas de horas), enquanto outros (como APO) apenas selecionam exemplos existentes do conjunto de treinamento, limitando a diversidade.

2. Metodologia: PIAST

O PIAST (Prompting with In-context Augmentation for Scarce Training data) é um algoritmo automático e rápido para construção de prompts. A sua inovação central é a síntese de um pequeno conjunto de exemplos few-shot novos (não presentes no conjunto de treinamento) e a sua otimização iterativa.

O método é composto por três componentes principais, todos instantiados como LLMs congelados com papéis distintos:

1. Exemplo Propositor (Example Proposer):
   • Gera um conjunto inicial de exemplos candidatos diversos (em tópicos e comprimento) baseados na instrução humana inicial.
2. Avaliador de Prompt (Prompt Evaluator):
   • Avalia a qualidade do prompt atual (instrução + exemplos) em um subconjunto aleatório dos dados de avaliação.
3. Melhorador de Exemplos (Example Improver):
   • Realiza um ciclo iterativo de Substituir/Descartar/Mantêr (Replace/Drop/Keep) para refinar o conjunto de exemplos.

O Núcleo da Otimização: Estimativa de Shapley Monte Carlo
Para decidir qual exemplo é o menos útil, o PIAST utiliza valores de Shapley (da teoria dos jogos) para estimar a contribuição marginal de cada exemplo para o desempenho geral.

• Aproximação: Como calcular Shapley exato é NP-difícil ($n!$ permutações), o método usa uma aproximação de Monte Carlo, amostrando um número pequeno de permutações aleatórias para estimar a utilidade de cada exemplo.
• Decisão: Identifica o exemplo com o menor valor de Shapley ($i^*$). Em seguida, o Improver propõe novos candidatos. O sistema compara três pontuações:
  • Substituir (Replace): Remover $i^*$ e adicionar o melhor novo candidato.
  • Descartar (Drop): Apenas remover $i^*$.
  • Manter (Keep): Manter o conjunto atual.
    A ação escolhida é aquela que maximiza a pontuação, garantindo que apenas modificações que não degradem o desempenho sejam aceitas.

Otimizações de Velocidade e Estabilidade:

• Buffer de Replay: Para evitar overfitting em subconjuntos específicos amostrados durante as iterações, o método armazena uma pequena parte dos dados vistos anteriormente em um buffer, que é mesclado com a nova amostra na próxima iteração.
• Técnicas de Inferência Rápida: Utiliza KV-cache (para reutilizar prefixos compartilhados), PagedAttention (para gerenciamento eficiente de memória) e batching contínuo (nível de token) para manter alta utilização de GPU.

3. Principais Contribuições

1. Conceitual: Propõe o primeiro método rápido que sintetiza novos exemplos few-shot (não encontrados nos dados de treinamento) e os otimiza iterativamente usando valores de Shapley, exigindo menos acesso aos dados de treinamento do que métodos concorrentes.
2. Implementação: Desenvolve uma implementação altamente eficiente que permite execução com orçamentos computacionais variados (desempenho "anytime"), utilizando técnicas avançadas de inferência de LLM.
3. Resultados Empíricos: Demonstra que otimizar exemplos em contexto é um "alavanca" mais dominante do que reescrever instruções exaustivamente.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de classificação de texto, sumarização, simplificação de texto e raciocínio matemático (GSM8K, DeepMath, Math500), utilizando o modelo Qwen2.5-7B-Instruct.

• Orçamento Limitado (Rápido):
  • O PIAST supera métodos anteriores de prompting automático em Simplificação de Texto e Raciocínio Matemático (GSM8K, DeepMath, Math500).
  • Alcança o segundo melhor resultado em Classificação e Sumarização.
  • É significativamente mais rápido (minutos vs. horas) que métodos como PRL ou GRACE.
• Orçamento Estendido (PIAST-E):
  • Com um orçamento maior (ainda modesto comparado a outros), o PIAST estabelece um novo estado da arte (SoTA) entre métodos automáticos em Classificação, Simplificação e Raciocínio Matemático.
• Eficiência de Dados: O método atinge desempenho de ponta usando apenas uma fração pequena do conjunto de dados de treinamento, demonstrando alta eficiência de dados.
• Robustez: Os prompts gerados transferem-se bem entre diferentes modelos (ex: treinado no Qwen, avaliado no Mistral), superando outros métodos em robustez cruzada.

5. Significado e Conclusão

O PIAST demonstra que, para a engenharia de prompts eficiente e rápida, a otimização dos exemplos em contexto é mais crítica do que a busca exaustiva por reescritas de instruções.

• Impacto Prático: Permite adaptar LLMs a novas tarefas sem necessidade de fine-tuning (gradientes) e com custos computacionais viáveis para uso em produção.
• Dependência de Dados: Reduz a dependência de grandes conjuntos de dados de treinamento rotulados, sendo eficaz mesmo com dados escassos.
• Futuro: Sugere que a combinação de síntese de exemplos com verificação externa ou modelos mais especializados para a proposta de exemplos pode ser uma direção promissora.

Em resumo, o PIAST oferece um equilíbrio superior entre velocidade, qualidade do prompt e eficiência de dados, estabelecendo novos padrões para métodos automáticos de engenharia de prompts.