💻 computer science

PICKLES: a Natural Language Framework for Requirement Specification and Model-Based Testing

Este artigo apresenta o PICKLES, um framework de linguagem natural que une Desenvolvimento Orientado a Comportamento e Teste Baseado em Modelos, traduzindo cenários legíveis por humanos em modelos formais para permitir a geração automática de testes com cobertura significativamente maior do que a do BDD padrão.

Autores originais: María Belén Rodríguez, Petra van den Bos

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: María Belén Rodríguez, Petra van den Bos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a dirigir um carro. Você tem duas maneiras principais de fazer isso:

O Jeito "Engenheiro Rigoroso" (Teste Baseado em Modelos): Você escreve um projeto matemático complexo de cada estrada possível, condição climática e semáforo. É incrivelmente preciso e cobre todos os cenários, mas apenas um matemático consegue lê-lo. Se você quiser mostrar ao chefe o que o robô fará, terá que traduzir a matemática de volta para o inglês, o que é difícil e propenso a erros.
O Jeito "Contador de Histórias" (Desenvolvimento Orientado a Comportamento): Você escreve uma história: "Dado que o carro está na estrada, Quando o semáforo fica vermelho, Então o carro para." Todos entendem isso. É fácil de escrever e ler, mas é como escrever uma receita para apenas um dia específico. Se você quiser testar todos os possíveis tempos de semáforo, terá que escrever milhares de histórias separadas, o que se torna uma pilha bagunçada e incontrolável de papéis.

O Problema:
No mundo real, as empresas querem a precisão do "Engenheiro Rigoroso" e a legibilidade do "Contador de Histórias". Geralmente, elas têm que escolher um ou outro. Se escolherem a história, perdem bugs ocultos. Se escolherem a matemática, ninguém entende os testes.

A Solução: PICKLES
Os autores deste artigo criaram um novo framework chamado PICKLES (Linguagem Baseada em Palavras-Chave de Entrada e Fluxo de Controle Precisa para Cenários de Teste). Pense no PICKLES como um "Tradutor Universal" que faz a ponte entre histórias e matemática.

Veja como funciona, usando uma analogia simples:

1. A "Receita Inteligente" (A Linguagem)

Em vez de escrever uma história sobre um carro específico parando em um semáforo vermelho específico, o PICKLES permite que você escreva uma "Receita Inteligente".

Jeito Antigo: "O carro para no semáforo vermelho na Rua Principal." (Muito específico).
Jeito PICKLES: "O carro para em qualquer semáforo vermelho, desde que o semáforo esteja vermelho e o carro esteja em movimento."
A Magia: Você pode definir regras como "O semáforo pode ser qualquer cor de Vermelho a Verde" ou "O carro pode ter qualquer velocidade entre 0 e 100". Isso é chamado de parametrização. Transforma uma única história em uma regra que cobre milhares de possibilidades de uma só vez.

2. O "Arquiteto Automático" (A Tradução)

Uma vez que você escreve essas "Receitas Inteligentes" em inglês simples (usando um formato similar à linguagem Gherkin popular), a ferramenta PICKLES atua como um Arquiteto Automático.

Ela lê suas regras em inglês.
Ela constrói instantaneamente um Modelo Formal (um mapa matemático complexo) nos bastidores.
Este mapa é tão detalhado que conhece cada caminho possível que o sistema poderia seguir, mesmo caminhos que você não escreveu explicitamente.

3. O "Mapa Mestre" (Combinando Histórias)

Nos testes tradicionais, você testa a História A, depois a História B, depois a História C, separadamente.

O Defeito: A História A pode funcionar, e a História B pode funcionar, mas se você fizer A depois de B, o sistema pode travar. Histórias tradicionais frequentemente perdem esses erros de "aperto de mão".
A Correção do PICKLES: A ferramenta pega todas as suas histórias separadas e costura-as juntas em um único "Mapa Mestre" gigante. Ela descobre como a História A se conecta à História B, e como a História B se conecta à História C. Cria uma imagem completa de como o sistema se comporta ao longo do tempo, não apenas em momentos isolados.

4. A "Retradução" (Resultados Legíveis)

Esta é a parte mais inteligente. A ferramenta usa o Mapa Mestre para gerar automaticamente centenas de casos de teste específicos.

Geralmente, esses testes sairiam como código matemático confuso.
PICKLES pega esses resultados matemáticos e traduz-os de volta para histórias em inglês.
Assim, o testador recebe um relatório que diz: "Aqui está um teste específico onde o carro estava a 50 milhas por hora e o semáforo ficou vermelho em 2,5 segundos. O carro parou corretamente."
O humano pode ler, entender e verificar, mesmo que o trabalho pesado tenha sido feito pelo motor matemático.

O Teste do Mundo Real (O Sistema de Tráfego)

Os autores testaram isso em um sistema real de gerenciamento de tráfego usado por uma empresa chamada Technolution.

A Configuração: Eles pegaram histórias existentes sobre sensores de tráfego detectando detectores quebrados.
O Resultado:
- Usando o antigo método "Contador de Histórias" (executando histórias uma por uma), eles testaram apenas cerca de 30% dos comportamentos possíveis do sistema.
- Usando PICKLES (combinando as histórias e usando o motor matemático), eles alcançaram 100% de cobertura da lógica do sistema.
- Eles fizeram isso sem escrever centenas de novas histórias. Apenas tornaram as histórias originais "mais inteligentes" adicionando variáveis (como "qualquer faixa" ou "qualquer posição") e deixaram a ferramenta fazer o resto.

Por Que Isso Importa

O PICKLES permite que pessoas não técnicas (como gerentes de projeto ou analistas de negócios) escrevam requisitos em inglês simples que são inequívocos e matematicamente rigorosos. Garante que:

Ninguém fique confuso: Os requisitos são claros para todos.
Nenhum bug fique oculto: O motor matemático encontra casos extremos que humanos podem perder.
Menos trabalho: Você escreve menos histórias para testar mais cenários.

Em resumo, o PICKLES é como dar a um robô um livro de histórias inteligente o suficiente para entender cada variação possível da história, resolver os problemas matemáticos dentro dele e, em seguida, escrever um relatório claro de volta para você em inglês simples.

1. Declaração do Problema

O artigo aborda uma tensão crítica nos testes de software industriais, particularmente para sistemas críticos de segurança:

A Limitação dos Testes Baseados em Modelos (MBT): Embora o MBT ofereça testes rigorosos, sistemáticos e de alta cobertura por meio de modelos formais, sua adoção é dificultada pela dificuldade de definir e manter esses modelos. Frequentemente exigem expertise especializada, carecem de legibilidade para partes interessadas não técnicas e criam barreiras de comunicação.
A Limitação do Desenvolvimento Orientado a Comportamento (BDD): O BDD utiliza cenários em linguagem natural legíveis por humanos (Dado-Quando-Então) para facilitar a colaboração. No entanto, o BDD depende de exemplos concretos, o que frequentemente leva a:
- Ambiguidade e Incompletude: A linguagem natural pode ser vaga.
- Baixa Cobertura: Testar exemplos isolados frequentemente deixa passar casos extremos e sequências complexas de interação.
- Custos de Manutenção: Grandes conjuntos de casos de teste específicos são caros para manter e atualizar.

O Desafio Central: Como alcançar a precisão e a alta cobertura do MBT, mantendo os benefícios de acessibilidade, legibilidade e colaboração com as partes interessadas do BDD, sem forçar os profissionais a escolherem entre os dois.

2. Metodologia: A Framework PICKLES

Os autores propõem o PICKLES (Linguagem Baseada em Palavras-Chave de Entrada e Controle Precisa para Cenários de Teste), uma framework que une BDD e MBT por meio de um pipeline de tradução bidirecional.

A. A Linguagem Específica de Domínio (PicklesDSL)

O Pickles estende a sintaxe Gherkin padrão (Dado-Quando-Então) com construções formais para eliminar ambiguidades:

Definições de Variáveis: Um bloco de prelúdio onde as variáveis são explicitamente tipadas (por exemplo, inteiro, booleano, array, estrutura) e atribuídas domínios/faixas (por exemplo, [1, 3], {AV, PART_AV}).
Parametrização: Os passos podem referenciar variáveis e incluir Blocos de Guarda (condições) usando operadores lógicos (E, OU) e quantificadores (pelo menos, no máximo, exatamente).
Estrutura:
- Dado: Define pré-condições e guardas de estado inicial.
- Quando: Define interações de entrada com parâmetros e guardas.
- Então: Define saídas esperadas e guardas de validação.

B. Semântica Formal: Sistemas de Transição Simbólicos (STS)

A framework traduz especificações PicklesDSL em Sistemas de Transição Simbólicos (STS), um formalismo que estende os Sistemas de Transição Rotulados com construções de dados.

Tradução (Especificação $\to$ STS):
- Cada cenário Pickles mapeia para um STS parcial.
- Cláusulas Dado tornam-se guardas iniciais.
- Cláusulas Quando tornam-se comutadores de entrada (transições).
- Cláusulas Então tornam-se comutadores de saída.
- Variáveis e guardas são mapeadas para parâmetros do STS, variáveis de localização e predicados lógicos.
Composição de Modelos:
- STSs de cenários individuais são compostos em um Modelo Mestre.
- Composição de Escolha ( $\bowtie$ ): Mescla estados iniciais de múltiplos cenários, permitindo que qualquer cenário inicie.
- Composição Sequencial ( $\triangleright$ ): Conecta os estados de sumidouro (fim) de um STS aos estados iniciais de outros, permitindo a geração de longos traços de execução que combinam múltiplos cenários.

C. Geração de Testes e Tradução Reversa

Geração de Testes: Algoritmos padrão de MBT (especificamente visando 100% de cobertura de comutadores) são aplicados ao Modelo Mestre para gerar casos de teste formais (sequências de comutadores com valores de parâmetro específicos).
Tradução Reversa (STS $\to$ Pickles): Os casos de teste formais são traduzidos de volta para a sintaxe PicklesDSL.
- Valores de entrada são explicitamente definidos nos passos Quando.
- Valores de saída são substituídos pelas guardas Então originais para validar o comportamento do Sistema Sob Teste (SUT).
- O resultado é um caso de teste executável e legível por humanos, compatível com ferramentas BDD padrão (por exemplo, Cucumber).

3. Contribuições Principais

PicklesDSL: Uma nova Linguagem Específica de Domínio que preserva a estrutura Gherkin, mas adiciona tipagem explícita de variáveis, definições de domínio e restrições de fluxo de controle, garantindo especificações não ambíguas.
Tradução Bidirecional: Um mapeamento formal entre PicklesDSL e Sistemas de Transição Simbólicos (STS), permitindo movimento fluido entre requisitos legíveis por humanos e modelos formais.
Composição de Modelo Mestre: Um método para compor automaticamente STSs parciais de cenários individuais em um Modelo Mestre unificado, permitindo a descoberta de bugs complexos de interação que cenários isolados deixam passar.
Implementação de Protótipo: Uma ferramenta baseada em Python (usando o analisador Lark) que automatiza os processos de tradução, composição e tradução reversa.
Validação Industrial: Aplicação da framework a um componente real de gerenciamento de tráfego da empresa Technolution.

4. Resultados

A framework foi avaliada usando um estudo de caso envolvendo um componente de sistema de gerenciamento de tráfego. Os resultados demonstraram melhorias significativas em relação às abordagens BDD tradicionais usando o mesmo conjunto de cenários definidos manualmente:

Cobertura de Transição:
- BDD Tradicional: Executar cenários em isolamento cobriu apenas ~30% das transições possíveis do sistema.
- Pickles: Ao compor cenários e gerar testes a partir do Modelo Mestre, a cobertura aumentou para 100%. Isso representa uma melhoria de 70 pontos percentuais.
Cobertura de Entrada:
- O BDD tradicional com valores codificados exercita uma fração minúscula das entradas possíveis.
- O Pickles, ao utilizar domínios de variáveis e análise de limites, representou 112 possibilidades de entrada distintas para um único cenário (Cenário 02) que, de outra forma, exigiria centenas de casos de teste manuais. O estudo notou uma melhoria de 98,5% na cobertura de entrada em comparação com exemplos concretos de BDD.
Eficiência: Alcançar 100% de cobertura de transição manualmente teria exigido pelo menos sete traços de teste distintos. O Pickles alcançou isso com apenas quatro cenários de entrada, reduzindo significativamente o esforço manual e os custos de manutenção.

5. Significado

A framework PICKLES representa um passo significativo para tornar os Testes Baseados em Modelos acessíveis aos profissionais industriais:

Ponte da Lacuna: Elimina com sucesso o trade-off entre legibilidade e precisão. As partes interessadas podem colaborar em requisitos em linguagem natural, enquanto o sistema garante rigor formal automaticamente.
Testes Shift-Left: Ao permitir a composição automática de cenários, permite que testes de integração e de nível de sistema sejam realizados mais cedo no ciclo de vida de desenvolvimento, detectando bugs de interação que testes de unidade isolados deixam passar.
Manutenibilidade: Alterações nos requisitos (por exemplo, faixas de variáveis) propagam-se automaticamente para todos os casos de teste gerados, reduzindo a carga de manutenção associada a grandes conjuntos BDD.
Explicabilidade: Diferentemente de modelos formais de caixa preta, os casos de teste gerados permanecem no formato Pickles legível por humanos, facilitando a explicação dos resultados dos testes para gestores e auditores não técnicos.

Em conclusão, o PICKLES demonstra que, ao fundamentar especificações em linguagem natural em semântica formal e aproveitar a composição automática de modelos, as organizações podem alcançar a alta confiabilidade do MBT sem sacrificar os benefícios colaborativos do BDD.