Resumo Técnico: PromptPex: Geração Automática de Testes para Prompts de Modelos de Linguagem

Declaração do Problema

Prompts de Grandes Modelos de Linguagem (LLMs) estão cada vez mais integrados em aplicações de software como artefatos semelhantes a código que recebem entradas, geram saídas e executam funções específicas. No entanto, ao contrário do software tradicional, os prompts enfrentam desafios de engenharia únicos:

1. Não Determinismo e Dependência de Modelo: A saída de um prompt depende do modelo de IA específico que o interpreta. Um prompt que funciona corretamente em um modelo pode produzir resultados inválidos ou inesperados em outro, complicando a migração e a portabilidade de modelos.
2. Impacto Imprevisível de Mudanças: Embora prompts em linguagem natural sejam fáceis de modificar, as consequências de pequenas edições são difíceis de prever, tornando o teste de regressão e a edição robusta desafiadores.
3. Falta de Ferramentas de Teste Automatizadas: As abordagens existentes focam na otimização de prompts para modelos específicos ou na criação manual de testes unitários. Há uma carência de ferramentas que gerem automaticamente testes unitários diversos e direcionados para avaliar como um prompt se comporta em diferentes modelos e para identificar regressões.

Metodologia: PromptPex

Os autores desenvolveram o PromptPex, uma ferramenta baseada em LLM projetada para gerar e avaliar automaticamente testes unitários para um determinado prompt (o Prompt Sob Teste, ou PUT). O sistema opera através de um pipeline de quatro estágios:

1. Extração de Especificação

O PromptPex utiliza um LLM (especificamente gpt-5_2025-08-07 nos experimentos) para extrair dois artefatos principais do PUT:

• Especificação de Entrada (IS): Um conjunto de restrições que define entradas válidas (ex: "a entrada deve ser uma frase e uma palavra"). Isso ajuda a identificar subespecificação ou ambiguidades nos requisitos de entrada do prompt.
• Regras de Saída (OR): Um conjunto de restrições independentes, concretas e verificáveis que descrevem a saída esperada (ex: "retorne apenas a tag", "se desconhecido, retorne 'Desconhecido'"). Estas regras atuam como asserções ou pós-condições, derivadas estritamente do texto do prompt, sem assumir conhecimento da entrada.

2. Geração de Testes

Usando a IS e a OR extraídas, o PromptPex gera casos de teste:

• Geração Baseada em Regras: Testes são gerados para satisfazer regras de saída específicas, garantindo a cobertura das restrições do prompt.
• Geração de Regra Inversa: Para criar casos de teste desafiadores, o sistema gera "regras inversas" (inversões semânticas que violam as regras originais, ex: "a saída deve incluir a tag e uma descrição"). O LLM então gera entradas projetadas para desencadear esses cenários inversos, realizando efetivamente um teste de estresse na adesão do prompt às suas restrições.
• Aplicação de Validade: A IS é usada para garantir que os testes gerados sejam entradas válidas, distinguindo entre "testes válidos que falham" (indicando uma falha no prompt) e "testes inválidos" (que são menos acionáveis).

3. Execução

Os testes gerados são executados contra múltiplos Modelos Sob Teste (MUTs). Na avaliação, os autores executaram testes em quatro modelos diversos: gpt-oss, gemma2:9b, qwen2.5:3b e llama3.2:1b.

4. Avaliação de Teste (Conformidade vs. Correção)

Como saídas com "verdade fundamental" (ground-truth) nem sempre estão disponíveis para prompts abertos, o PromptPex emprega um LLM-como-Juiz (o4-mini_2025-04-16) para avaliar a conformidade em vez da correção. O juiz verifica se a saída do modelo adere às Regras de Saída (OR) extraídas e às restrições originais do prompt, retornando um status de passar/falhar e uma explicação.

Principais Contribuições

1. Geração Sistemática de Testes Automatizados: O PromptPex é a primeira ferramenta focada especificamente na geração automatizada de testes para prompts, permitindo que desenvolvedores compreendam o comportamento do prompt em múltiplos modelos.
2. Extração de Especificação para Testes: O artigo introduz uma abordagem inovadora para extrair especificações de entrada e regras de saída de prompts em linguagem natural. Esses artefatos servem como base para a geração de testes e ajudam os desenvolvedores a refinar seus prompts ao revelar subespecificação ou ambiguidades.
3. Avaliação de Conformidade de Modelo: Os autores demonstram que a extração de especificações leva a testes de maior qualidade. Eles fornecem um conjunto de benchmark de 22 prompts e mostram que testes baseados em especificações são mais eficazes na identificação de limitações de modelos do que as abordagens de linha de base.

Resultados de Avaliação

Os autores avaliaram o PromptPex contra uma linha de base sofisticada (um gerador de testes baseado em LLM zero-shot) usando 22 prompts de benchmark e quatro modelos diferentes.

• Maior Detecção de Não Conformidade: A métrica primária para a qualidade do teste foi a porcentagem de saídas não conformes (testes que causaram a violação das regras do prompt pelo modelo). O PromptPex consistentemente gerou testes que resultaram em taxas de não conformidade mais altas em todos os modelos comparado à linha de base. Isso indica que o PromptPex é melhor em expor lacunas nas restrições do prompt.
• Efetividade de Regras Inversas: Descobriu-se que os testes gerados a partir de regras inversas foram particularmente eficazes em causar não conformidade, frequentemente superando os testes gerados a partir de regras padrão. Isso confirma que desafiar explicitamente as regras ajuda a identificar casos de borda (edge cases).
• Diferenciação de Modelos: Os testes gerados distinguiram com sucesso as capacidades de diferentes modelos. Modelos mais capazes (ex: gpt-oss) mostraram taxas de não conformidade menores, enquanto modelos menores mostraram taxas mais altas. No entanto, os testes também revelaram que alguns modelos menores tiveram bom desempenho em prompts específicos, auxiliando na seleção de modelos.
• Qualidade da Especificação: As Regras de Saída extraídas mostraram alta fundamentação (89% das regras estavam presentes no prompt original) e alta concordância de especificação (96,8% de similaridade no comportamento entre o prompt original e um prompt aumentado com as regras extraídas), validando o processo de extração.
• Validade de Entrada: Quase todos os testes gerados pelo PromptPx foram considerados válidos de acordo com a Especificação de Entrada extraída, garantindo que os testes representem cenários de uso realistas.

Significância e Alegações

O artigo posiciona o PromptPex como um passo crítico para tratar prompts como artefatos de software robustos. Sua significância reside em:

• Mudança de Otimização para Verificação: Ir além da otimização de prompts para um único modelo para verificar sua robustez e portabilidade entre modelos.
• Feedback Acionável: Ao extrair especificações, o PromptPex fornece insights concretos aos desenvolvedores sobre como um modelo interpreta seu prompt, destacando ambiguidades (ex: se "retorne apenas a tag" permite texto de raciocínio) que poderiam passar despercebidas.
• Teste de Regressão: Os conjuntos de testes gerados servem como testes de regressão para futuras modificações de prompts e facilitam uma migração de modelos mais segura.

Os autores reconhecem limitações, incluindo o suporte atual apenas para prompts de entrada única, a dependência de LLM-como-Juiz (o que introduz potencial viés) e a falta de suporte para entradas estruturadas como dados de RAG. Eles concluem que, embora o PromptPex não resolva todos os desafios de engenharia de prompt, ele fornece uma ferramenta fundamental para testes automatizados, extração de especificações e avaliação de modelos.