Resumo Técnico: Otimização de Prompts em Dois Estágios para Extração de Relações Few-Shot

Declaração do Problema

A Otimização Automática de Prompts (APO) permanece subexplorada para a Extração de Relações Few-Shot (FSRE) episódica, particularmente ao utilizar modelos de linguagem menores (LLMs). Trabalhos anteriores melhoraram a FSRE por meio de melhor raciocínio, recuperação e seleção de exemplos, mas os próprios prompts são tipicamente projetados manualmente em vez de otimizados automaticamente. Os métodos de APO existentes geralmente seguem duas direções isoladas: otimização baseada em raciocínio, que utiliza feedback para realizar melhorias semânticas e lógicas amplas em linguagem natural, e otimização baseada em gradiente, que utiliza perda e sinais de gradiente para identificar e editar tokens ou trechos específicos de alto impacto. O artigo postula que essas direções são complementares, mas não foram sistematicamente combinadas para a otimização de prompts em linguagem natural no desafiador cenário de FSRE episódica, onde os prompts devem funcionar juntamente com um pequeno conjunto de exemplos de suporte por relação em cada episódio.

Metodologia

Os autores propõem uma estrutura de dois estágios que integra a busca global baseada em raciocínio com o refinamento local guiado por gradiente.

Estágio 1: Busca Global Baseada em Raciocínio

O primeiro estágio emprega um otimizador baseado em raciocínio para realizar melhorias amplas no prompt em linguagem natural. Os autores avaliam três otimizadores distintos neste estágio:

• RPO (Otimização de Prompt Baseada em Raciocínio): Um método de busca iterativa que mantém uma população de prompts. Ele amostra exemplos de treinamento, coleta feedback sobre sucessos e falhas, e utiliza um modelo otimizador para gerar prompts revisados com base nesse feedback.
• EvoPrompt-DE: Um algoritmo evolutivo que mantém uma população de prompts e gera novos candidatos combinando os existentes por meio de um algoritmo genético (especificamente a variante Differential Evolution).
• ETGPO (Otimização de Prompt Guiada por Taxonomia de Erros): Um método baseado em feedback que agrega falhas de uma grande amostra, resume-as em uma taxonomia de erros e gera um prompt revisado em um único passo com base nas categorias de erro mais comuns.

Estágio 2: Refinamento Local Guiado por Gradiente (GradPO)

O segundo estágio introduz o GradPO, um novo otimizador guiado por gradiente projetado para refinar a saída do primeiro estágio. Diferente de métodos que editam um token por vez, o GradPO identifica e edita múltiplos trechos (spans) de alto impacto simultaneamente.

• Identificação de Trechos (Span Identification): O GradPO calcula gradientes ao nível de token com base na perda sobre um subconjunto de treinamento. Ele agrupa tokens próximos de alto gradiente em trechos editáveis, expandindo-os até que os tokens vizinhos fiquem abaixo de um limiar de gradiente.
• Geração de Candidatos: Para cada trecho selecionado, o GradPO gera substituições candidatas. Isso pode ser feito via prompting de LLM (GradPO-Gen) ou selecionando tokens com base nas probabilidades de tokens do modelo alvo (GradPO-Prob).
• Busca em Feixe (Beam Search): Para lidar com múltiplas edições de trechos enquanto preserva a estrutura da linguagem natural, o GradPO utiliza busca em feixe. Ele aplica iterativamente as substituições candidatas ao feixe atual de prompts, pontuando-os usando um objetivo combinado de perda de tarefa e uma penalidade de fluência baseada em perplexidade.
• Restrições: O método evita o uso de um modelo otimizador separado para a geração de candidatos, confiando exclusivamente no modelo alvo, e desabilita o raciocínio durante essas etapas para manter o processo leve.

Principais Contribuições

1. Estrutura de Dois Estágios: O artigo apresenta o primeiro estudo sistemático da combinação de busca global baseada em raciocínio com refinamento local baseado em gradiente para a otimização de prompts em linguagem natural na FSRE episódica.
2. GradPO: A introdução de um refinador local guiado por gradiente que edita múltiplos trechos de alto impacto em vez de tokens individuais, permitindo um espaço de busca local mais rico enquanto mantém a estrutura do prompt.
3. Validação Empírica: Experimentos extensos demonstram que o GradPO melhora consistentemente os prompts gerados por vários otimizadores baseados em raciocínio (RPO, EvoPrompt, ETGPO) e serve como o refinador de segundo estágio mais robusto.

Resultados

Experimentos foram conduzidos no FS-TACRED e FS-FewRel utilizando Qwen3-4B e Gemma3-4B como modelos alvo.

• Ganhos de Desempenho: A estrutura de dois estágios alcança desempenho de Estado da Arte (SOTA) no FS-TACRED com o Qwen3-4B, melhorando o F1 score de 27.6 (melhor anterior) para 29.0. No FS-FewRel, a abordagem permanece competitiva com trabalhos anteriores.
• Complementaridade: Os resultados mostam que o refinamento local é altamente eficaz após a busca global. Em 19 casos experimentais, 17 foram melhorados por pelo menos um método de segundo estágio. O GradPO foi o refinador mais consistente, melhorando 14 dos 19 prompts.
• Estabilidade: Embora a otimização baseada em raciocínio possa ser instável entre as iterações, um único passo de refinamento GradPO após o primeiro estágio fornece melhorias estáveis em quase todos os casos.
• Eficiência: O GradPO incorre apenas em um custo computacional adicional modesto (aproximadamente 10,3% do custo de avaliação do conjunto de desenvolvimento na maior configuração) enquanto explora um espaço de edição local significativamente mais rico comparado a baselines de token único como o GreaTer.
• Especificidade do Modelo: O artigo observa que as edições do GradPO são amplamente específicas do modelo; a transferência de prompts otimizados entre modelos produz ganhos limitados, pois os refinamentos dependem dos sinais de perda e gradiente específicos do modelo alvo.

Significância e Alegações

O artigo afirma que combinar a busca global baseada em raciocínio com o refinamento local baseado em gradiente é uma direção eficaz para a otimização de prompts na FSRE episódica. Os autores enfatizam que sua estrutura não requer ajuste fino específico da tarefa e depende de LLMs menores (4B de parâmetros), tornando-a acessível e prática.

A significância reside em demonstrar que:

1. Prompts encontrados pela busca global frequentemente contêm escolhas de palavras localmente subótimas que podem ser corrigidas via refinamento guiado por gradiente.
2. O GradPO fornece um mecanismo estável e consistente para este refinamento local, superando outros baselines como LPO e GreaTer.
3. A abordagem alcança novos marcos de desempenho sem aumentar o comprimento do prompt, preservando a estrutura de linguagem natural das instruções.

Os autores reconhecem limitações, incluindo a dependência de hiperparâmetros, a falta de garantia de melhoria para todo prompt e o foco atual em tarefas de não-raciocínio e modelos menores. Eles sugerem que trabalhos futuros poderiam estender esta estrutura para tarefas de raciocínio e LLMs maiores.