From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations

Este estudo apresenta uma quasi-experimentação humana que demonstra que, embora os modelos de linguagem (LLMs) possam gerar especificações comportamentais Gherkin a partir de regulamentos de segurança alimentar com alta relevância e clareza, a ocorrência de omissões e alucinações exige uma revisão humana sistemática, especialmente em domínios críticos.

O essencial

Imagine que você é um cozinheiro tentando seguir uma receita muito antiga e escrita em uma linguagem complicada, cheia de termos jurídicos e burocráticos. O problema é que essa receita precisa ser transformada em um passo a passo claro para um robô cozinheiro, senão o robô pode queimar a comida ou envenenar o cliente.

Esse é exatamente o desafio que os autores deste artigo tentaram resolver. Vamos traduzir a "ciência" deles para uma linguagem do dia a dia:

O Grande Problema: A Barreira da "Tradução"

As leis sobre segurança alimentar (como as do Canadá, onde o estudo foi feito) são escritas de forma genérica para durar para sempre. Elas não falam sobre "software" ou "robôs". Elas dizem coisas como: "Ovos líquidos devem ter menos de 50.000 bactérias por grama".

Transformar essa frase de lei em uma instrução de software (algo que um computador entenda e teste automaticamente) é como tentar traduzir um poema de Shakespeare para uma linguagem de programação. É difícil, demorado e cheio de erros se feito à mão.

A Solução Mágica: Os "Robôs de Texto" (LLMs)

Os pesquisadores decidiram testar se a Inteligência Artificial (especificamente dois modelos famosos: Claude e Llama) consegue fazer essa tradução sozinha.

Eles queriam ver se a IA podia pegar a lei chata e transformá-la em algo chamado Gherkin.

• O que é Gherkin? Pense nele como um "idioma de receitas" para robôs. Em vez de código complicado, ele usa frases simples como: "DADO que o ovo está na geladeira, QUANDO eu o peso, ENTÃO ele deve ter menos de 50.000 bactérias". É fácil para humanos lerem e fáceis para máquinas testarem.

O Experimento: A Prova de Sabor

Para saber se a IA estava fazendo um bom trabalho, eles não apenas olharam para o texto. Eles organizaram um "degustação" com 10 especialistas (estudantes e profissionais de tecnologia).

1. A Tarefa: A IA gerou 60 dessas "receitas robóticas" (especificações) baseadas em leis reais de segurança alimentar.
2. O Jogo de Duplas: Cada "receita" foi lida por duas pessoas diferentes, que deram notas de 0 a 5 em cinco categorias:
   • Relevância: A receita fala sobre o que a lei manda?
   • Clareza: É fácil de entender ou é um "babilês"?
   • Completude: Falta algum ingrediente ou passo?
   • Singularidade: Cada receita foca em uma coisa só, ou mistura tudo? (Ex: não misturar "pesar o ovo" com "verificar a cor" na mesma instrução).
   • Economia de Tempo: Isso economizaria tempo se um humano tivesse que escrever do zero?

O Que Eles Descobriram? (O Resultado da Prova)

1. A IA é um ótimo "Auxiliar de Cozinha" (mas não o Chef)
As notas foram altíssimas! Em média, as receitas geradas pela IA foram consideradas muito relevantes, claras e completas. A maioria dos especialistas disse que usar a IA economizou muito tempo.

• A analogia: É como pedir para um assistente de cozinha rascunhar a lista de compras. Ele acerta 95% do que você precisa.

2. As Duas IAs (Claude e Llama) são muito parecidas
Não houve uma grande diferença entre elas. Ambas fizeram um trabalho excelente, com pequenas variações de estilo, mas nenhuma foi claramente superior à outra.

3. O Perigo Oculto: Alucinações e Omissões
Aqui está o ponto mais importante. Embora a IA fosse boa, ela não era perfeita.

• Alucinações: Às vezes, a IA inventava coisas que a lei não dizia. Exemplo: A lei falava sobre medir o peso do ovo, e a IA escreveu que o sistema deveria "exibir um alerta vermelho na tela". A lei nunca mencionou uma tela! Isso é perigoso porque o robô faria algo que não precisava.
• Omissões: Às vezes, a IA esquecia um detalhe crucial. Exemplo: Esquecer de mencionar que o ovo deve ser medido a 20 graus Celsius. Se o robô ignorar isso, a comida pode estragar.
• Mistura de Intenções: Às vezes, a IA juntava duas regras diferentes em uma única instrução, tornando tudo confuso.

A Lição Principal: O Humano no Comando

O estudo conclui que a Inteligência Artificial é fantástica para fazer o rascunho inicial. Ela pega a lei difícil e a transforma em algo legível em segundos.

PORÉM, você nunca pode confiar cegamente nela, especialmente em áreas onde vidas estão em jogo (como segurança alimentar).

• A Metáfora Final: Pense na IA como um estagiário muito inteligente e rápido. Ele escreve o relatório em 5 minutos e a gramática está perfeita. Mas, se você não revisar o que ele escreveu, ele pode inventar dados ou esquecer uma regra importante. O Chefe (o humano) precisa revisar, corrigir os erros e garantir que tudo está seguro antes de enviar para o cliente.

Resumo em uma frase: A IA é uma ferramenta poderosa para acelerar o trabalho de transformar leis em software, mas ela precisa de um "olho humano" experiente para garantir que ninguém fique doente por causa de um erro de tradução.

Resumo técnico

Resumo Técnico: Da Lei ao Gherkin

1. Problema e Motivação

As leis e regulamentos desempenham um papel crucial na engenharia de software de domínios regulamentados (como segurança alimentar, saúde e privacidade), impondo restrições de segurança, privacidade e conformidade. No entanto, a formulação tecnológica neutra dos textos legais dificulta a derivação de especificações concretas, requisitos e critérios de aceitação necessários para verificar a conformidade do software.

• Desafio: A tradução manual de textos legais para artefatos de engenharia de software é trabalhosa, propensa a erros e inconsistente.
• Oportunidade: Avanços recentes em Inteligência Artificial Generativa (IA), especificamente em Grandes Modelos de Linguagem (LLMs), oferecem potencial para automatizar essa derivação.
• Lacuna: Embora existam estudos sobre geração de testes a partir de requisitos gerais, há pouca investigação sistemática sobre a capacidade de LLMs de transformar textos legais complexos em especificações comportamentais estruturadas e legíveis por máquina, como o Gherkin (usado em Desenvolvimento Orientado a Comportamento - BDD).

2. Metodologia

O estudo adota um design quasi-experimental com sujeitos humanos para avaliar a qualidade das especificações geradas.

• Objetivo: Avaliar a capacidade de dois LLMs de ponta (Claude 3.7 Sonnet e Llama 3.3 70B Instruct) de gerar especificações Gherkin a partir de regulamentos de segurança alimentar canadenses (Safe Food for Canadians Regulations - SFCR).
• Participantes: 10 participantes (estudantes de graduação avançada a doutorandos em Engenharia de Software) com proficiência em BDD, Gherkin e análise de requisitos.
• Processo:
  1. Geração: Foram geradas 60 especificações Gherkin (30 por modelo) a partir de 30 provimentos legais selecionados.
  2. Avaliação: Cada especificação foi avaliada independentemente por dois participantes diferentes (totalizando 120 avaliações).
  3. Critérios de Qualidade: As especificações foram pontuadas em uma escala de 5 pontos em cinco dimensões:
     • Relevância: Correspondência com o comportamento do sistema descrito na lei.
     • Clareza: Ausência de ambiguidade.
     • Completude: Inclusão de todas as funções e características implícitas na lei.
     • Singularidade: Cada cenário foca em um único objetivo (evitando cenários de "propósito misto").
     • Economia de Tempo: Percepção de redução no esforço manual de autoria.
  4. Análise: Utilização de testes estatísticos não paramétricos (Mann-Whitney U, Wilcoxon signed-rank) e análise qualitativa de feedback textual.

3. Contribuições Principais

• Primeiro Estudo Sistematizado: É o primeiro estudo com sujeitos humanos que avalia sistematicamente a geração de especificações Gherkin a partir de textos legais usando LLMs.
• Framework de Avaliação: Propõe e aplica um conjunto de critérios de qualidade adaptados para o contexto de conformidade legal (incluindo "Singularidade" e "Economia de Tempo").
• Análise de Falhas Críticas: Identifica padrões de falha específicos (omissões, alucinações e intenções mistas) que são críticos em domínios de segurança.
• Reprodutibilidade: O estudo fornece um pacote de replicação completo (dados, scripts e resultados) disponível publicamente.

4. Resultados

A. Desempenho Quantitativo:

• Qualidade Geral: As pontuações foram uniformemente altas. A maioria das especificações foi classificada nas duas categorias superiores:
  • Relevância: 95%
  • Clareza: 100%
  • Completude: 94,2%
  • Singularidade: 93,4%
  • Economia de Tempo: 91,7%
• Comparação entre Modelos: Não foram observadas diferenças estatisticamente significativas entre o Claude e o Llama em nenhum dos cinco critérios.
  • Observação Descritiva: O Llama tendeu a ter ligeiramente mais pontuações máximas em clareza e completude, enquanto o Claude demonstrou maior consistência na singularidade (menos cenários de propósito misto).
• Plausibilidade: Apenas 3 especificações únicas foram julgadas como "não plausíveis" pelos participantes (exigindo revisão humana para correção de lógica física ou de domínio).

B. Análise Qualitativa (Feedback Humano):
Apesar das altas pontuações, o feedback qualitativo revelou problemas recorrentes que exigem supervisão humana:

1. Omissões: O LLM frequentemente omitiu cláusulas inteiras, detalhes específicos ou termos legais obrigatórios (ex: expressões bilingues obrigatórias em rótulos).
2. Alucinações: O modelo gerou conteúdo não fundamentado no texto legal, como suposições sobre funcionalidades do sistema (ex: exibir alertas visuais) que não existiam na provisão original.
3. Intenções Mistas: Em leis longas e complexas, o LLM tendeu a agrupar múltiplos requisitos independentes em um único cenário, violando o princípio de singularidade do BDD e reduzindo a clareza.

5. Significado e Conclusão

• Viabilidade como "Rascunho": Os resultados sugerem que os LLMs atuais são eficazes como co-autores de primeira linha para a derivação de especificações comportamentais a partir de leis. Eles podem acelerar significativamente o processo de autoria inicial, reduzindo o esforço manual.
• Necessidade de "Human-in-the-Loop": Devido aos riscos de omissões e alucinações, especialmente em domínios críticos como a segurança alimentar (onde a não conformidade pode ter consequências graves), a automação total não é viável. O fluxo de trabalho ideal deve ser humano-no-loop:
  1. Geração automática pelo LLM.
  2. Revisão humana rigorosa focada em completude, plausibilidade e fidelidade à lei.
  3. Refinamento iterativo.
• Implicações Futuras: O estudo destaca a necessidade de desenvolver técnicas para garantir a fidelidade à fonte, decomposição sistemática de cláusulas longas e protocolos de revisão crítica entre humanos e IA.

Em suma, o artigo valida o potencial dos LLMs para transformar requisitos legais em artefatos de engenharia de software estruturados, mas enfatiza que a supervisão humana permanece indispensável para garantir a segurança e a conformidade legal.