Resumo Técnico: BT-APE para Classificação de Requisitos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais aplicados a tarefas de Engenharia de Requisitos (ER), como a classificação de requisitos, devido à sua capacidade de seguir instruções em linguagem natural sem treinamento específico para a tarefa. No entanto, o desempenho desses modelos depende fortemente da qualidade dos prompts utilizados para guiá-los. No domínio da ER, o design de prompts permanece um processo majoritariamente manual e ad-hoc, baseado em tentativa e erro e na intuição do profissional. Essa falta de otimização sistemática leva a resultados inconsistentes e subótimos, além de limitar a reprodutibilidade. Embora existam técnicas de Engenharia de Prompt Automática (APE) em Processamento de Linguagem Natural (NLP) geral, sua aplicabilidade a tarefas específicas de domínio de ER e sua eficácia em comparação com estratégias de prompting clássicas permanecem inexploradas. Além disso, os métodos de APE existentes frequentemente incorrem em altos custos computacionais, tornando-os inadequados para ambientes com restrição de recursos comuns na ER, onde a confidencialidade dos dados muitas vezes exige a implantação local em servidores menores.

Metodologia: BT-APE

Os autores propõem o BT-APE (Backtracking APE), um framework computacionalmente leve que enquadra o design de prompts como um problema de otimização. O método refina iterativamente os prompts usando candidatos gerados por LLM, uma estratégia de busca com retrocesso (backtracking) e seleção dinâmica de exemplos.

Fluxo de Trabalho Principal

O processo é dividido em três fases utilizando um conjunto de dados dividido em três pools distintos: um pool para amostragem de exemplos ($D_{pool}$), um conjunto de validação ($D_{val}$) e um conjunto de teste isolado ($D_{test}$).

1. Inicialização: Um prompt inicial é pontuado no conjunto de validação para estabelecer uma linha de base (baseline).
2. Refinamento Iterativo:
   • Geração de Candidatos: Um LLM propõe um novo candidato a prompt condicionado ao prompt atual e a um lote de exemplos dinâmico balanceado. Este lote é renovado a cada iteração para incluir um exemplo positivo classificado corretamente, um negativo classificado corretamente, um positivo classificado incorretamente e um negativo classificado incorretamente a partir de $D_{pool}$.
   • Avaliação: Os candidatos são pontuados em $D_{val}$ usando votação de maioria de 3 execuções para mitigar a estocasticidade.
   • Retrocesso Limitado (Bounded Backtracking): Ao contrário de métodos que revertem imediatamente após uma única falha, o BT-APE mantém uma lista ranqueada de todos os candidatos avaliados. Ele continua ao longo de uma trajetória até que um limiar de paciência configurável ($X=3$) de iterações consecutivas sem melhoria seja atingido. Somente então ele realiza o retrocesso para o próximo melhor prompt no histórico, evitando que a busca fique presa em regiões improdutivas.
3. Avaliação Isolada: O melhor prompt encontrado durante a busca é avaliado exatamente uma vez no conjunto de teste isolado ($D_{test}$) para fornecer uma métrica de desempenho final e imparcial.

Distinções de Design Chave

O BT-APE é explicitamente contrastado com o PE2, um baseline de APE de estado da arte. Embora ambos sejam métodos de trajetória única e conscientes do histórico, o BT-APE difere em três pontos principais para reduzir a pegada computacional:

• Contexto Limitado: O PE2 condiciona as propostas ao histórico completo dos $n$ melhores prompts, fazendo com que o contexto de entrada cresça linearmente. O BT-APE condiciona apenas ao prompt atual e a um lote compacto e balanceado, mantendo o tamanho do contexto limitado.
• Seleção de Exemplos Balanceada: O BT-APE impõe uma seleção rigorosa de quatro elementos (sucesso/falha $\times$ classe), enquanto o PE2 utiliza um lote de erro não restrito.
• Paciência Explícita: O BT-APE utiliza um limiar de paciência fixo para o retrocesso, enquanto o PE2 reage de forma mais imediata a não-melhorias.

Design Experimental

O estudo avalia o BT-APE através de:

• Datasets: Três datasets de referência de ER: PROMISE (NFR), PROMISE-Refined e SecReq.
• Modelos: Cinco LLMs ajustados para instrução na faixa de 7–8 bilhões de parâmetros (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Baselines: Quatro estratégias de prompting clássicas (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) e o baseline de APE PE2.
• Variantes de Inicialização: Duas estratégias de inicialização foram testadas: BT-APE-Uninformed (definições simples e intuitivas) e BT-APE-Informed (definições curadas a partir da literatura de ER).

Principais Resultados

Desempenho vs. Baselines Clássicos

O BT-APE supera significativamente todas as quatro estratégias de prompting clássicas em quase todas as combinações de modelos e datasets.

• Significância Estatística: A melhoria média no F1 ponderado ($wF1$) sobre os baselines clássicos varia de +0,049 a +0,143, com tamanhos de efeito grandes ($r \ge 0,50$) e significância estatística ($p < 0,05$ após correção de Holm-Bonferroni).
• Consistência: O BT-APE iguala ou supera o melhor baseline clássico em 11 das 15 configurações de modelo-dataset.

Desempenho vs. PE2 (Baseline de APE)

• Acurácia: O BT-APE alcança um desempenho estatisticamente indistinguível do PE2 (diferença média $\Delta = +0,001$, tamanho de efeito negligenciável). Ambos os métodos convergem para um teto de desempenho semelhante.
• Eficiência: Apesar da acurácia equivalente, o BT-APE é substancialmente mais eficiente. Ele consome aproximadamente 72% menos tokens de entrada cumulativos e 66% menos tempo de execução (wall-clock time) do que o PE2. Isso torna o BT-APE mais adequado para implantação em servidores pequenos, com recursos limitados ou isolados (air-gapped).

Análise de Características do Prompt (RQ3)

Uma análise de modelo de efeitos mistos lineares da evolução do prompt revelou correlações específicas de prompts de alto desempenho:

• Correlatos Positivos: Uma maior contagem de verbos (linguagem orientada à ação) e uma maior contagem de marcadores de pontuação (clareza estrutural) estão associadas a um melhor desempenho.
• Correlatos Negativos: Contagens maiores de sentenças/palavras, maior diversidade lexical e maior complexidade sintática correlacionam-se com um menor desempenho.
• Deriva Semântica: Iterações envolvendo mudanças semânticas maiores (deriva semântica) estão associadas a melhorias de desempenho, sugerindo que revisões substantivas são mais eficazes do que paráfrases superficiais.

Impacto da Inicialização (RQ4)

• Informed vs. Uninformed: Fornecer definições de classe informadas pelo domínio (BT-APE-Informed) não gerou uma melhoria estatisticamente significativa no desempenho final em relação às definições mínimas e não informadas (BT-APE-Uninformed).
• Robustez: O processo de otimização iterativa foi robusto o suficiente para compensar prompts iniciais mais fracos, convergindo para um desempenho final comparável, independentemente da estratégia de inicialização.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Um Framework de APE Leve: O BT-APE fornece uma alternativa computacionalmente eficiente aos métodos de APE existentes, alcançando a acurácia de estado da arte com uma pegada de recursos significativamente reduzida. Isso permite a aplicação de engenharia de prompt automatizada em cenários de ER onde a implantação local e privada é necessária.
2. Avaliação Empírica Sistemática: Este trabalho oferece a primeira comparação sistemática de APE contra prompting clássico para classificação de requisitos em múltiplos datasets e LLMs. Demonstra que o APE se transfere de forma robusta para tarefas de ER com grandes tamanhos de efeito.
3. Insights sobre a Evolução de Prompts: O estudo identifica características estruturais e semânticas específicas de prompts eficazes (concisos, orientados à ação, estruturalmente claros) e mostra que a inicialização informada pelo domínio não é estritamente necessária para que o processo de otimização tenha sucesso.

Os autores posicionam o BT-APE como uma solução prática que preenche a lacuna entre o alto desempenho da otimização de prompt automatizada e as restrições de recursos dos ambientes reais de ER. Eles disponibilizam uma ferramenta interativa e um pacote de replicação para facilitar a adoção e pesquisas futuras.