Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

Este estudo de caso demonstra que é possível gerar especificações de requisitos de sistema sintéticas e realistas com o ChatGPT sem acesso a dados reais, embora a avaliação automática por LLMs não substitua completamente a necessidade de uma avaliação expert devido a contradições e deficiências identificadas.

O essencial

Imagine que você é um cozinheiro que quer criar um livro de receitas para ensinar outros chefs a cozinhar pratos complexos. O problema é que você não tem acesso às receitas originais e secretas dos melhores restaurantes do mundo (por questões de sigilo ou porque elas são privadas).

A pergunta que os autores deste estudo se fizeram foi: "Será que podemos usar uma inteligência artificial (como o ChatGPT) para inventar receitas que pareçam tão reais e profissionais que ninguém note a diferença?"

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. O Desafio: A Escassez de "Receitas Reais"

No mundo do desenvolvimento de software, os engenheiros precisam de documentos chamados "Especificações de Requisitos do Sistema" (SyRS). Pense neles como os blueprints ou as receitas detalhadas de como um software deve funcionar.

• O Problema: Esses documentos reais são difíceis de conseguir para pesquisas porque as empresas os tratam como segredos industriais.
• A Solução Tentada: Criar "Especificações Sintéticas" (SSyRS), ou seja, receitas falsas, mas que pareçam reais, geradas por uma IA.

2. A Ferramenta: O "Chef Robô" (ChatGPT)

Os pesquisadores usaram o ChatGPT como se fosse um chef robô muito talentoso, mas com um defeito grave: ele é um pouco alucinado e muito confiante.

• A Alucinação: O robô pode inventar ingredientes que não existem ou dizer que um prato fica pronto em 5 minutos quando leva 5 horas. Ele sabe que está inventando, mas age como se fosse verdade absoluta.
• O Conflito: Como o robô foi treinado na internet (onde há muita informação superficial), ele pode não saber os detalhes técnicos profundos de indústrias específicas (como saúde ou finanças).

3. O Experimento: A Cozinha de Testes

Os pesquisadores decidiram testar se conseguiam fazer esse "chef robô" criar 300 receitas (especificações) para 10 indústrias diferentes (como e-commerce, saúde, logística, etc.), sem mostrar a ele nenhuma receita real de referência.

Eles usaram um método de tentativa e erro:

1. Pediram ao robô para criar uma receita.
2. Pediram ao próprio robô (ou a outro modelo) para avaliar se a receita parecia real e completa.
3. Se a receita tivesse erros, eles ajustavam as instruções (o "prompt") e tentavam de novo.
4. Repetiram isso 10 vezes até ficarem satisfeitos.

O Resultado da Cozinha: Eles conseguiram criar 300 documentos que, à primeira vista, pareciam muito bem estruturados e profissionais.

4. O Grande Teste: O Juri de Especialistas

Agora vinha a parte difícil: Será que um chef humano de verdade acharia essas receitas boas?
Eles enviaram uma amostra dessas receitas geradas por IA para 87 especialistas reais (engenheiros de software experientes) e pediram para eles darem uma nota de "Realista" a "Artificial".

O Veredito dos Humanos:

• A Surpresa: Cerca de 62% dos especialistas disseram: "Parece real! Parece algo que poderíamos usar".
• A Pegadinha: Quando os especialistas leram com mais atenção (como quem lê uma receita e percebe que falta sal ou que o tempo de forno está errado), eles encontraram muitos problemas:
  • Contradições (a receita diz para usar forno a gás, mas o prato exige forno elétrico).
  • Falta de detalhes técnicos importantes.
  • Frases genéricas que soam como "jargão de marketing" em vez de engenharia real.

5. As Lições Aprendidas (O que isso significa para nós?)

O estudo chegou a três conclusões principais, que podemos resumir assim:

• A IA é ótima para a "embalagem", mas ruim para o "conteúdo": O ChatGPT consegue criar documentos que têm a estrutura perfeita, o formato certo e a linguagem correta. É como um pacote de presente lindo. Mas, se você abrir o pacote, pode achar que o presente é de mentira.
• Não confie na IA para julgar a própria IA: Quando os pesquisadores pediram para a IA avaliar se o texto dela era real, os resultados foram inconsistentes. Às vezes a IA dizia que era 90% real, outras vezes 40%. É como pedir para um aluno corrigir a prova dele mesmo: ele tende a ser muito generoso ou muito confuso.
• O "Efeito de Confiança Excessiva": A IA escreve com tanta certeza e estrutura que engana até os especialistas. Ela faz você pensar: "Isso parece tão bem organizado que deve ser verdade", mesmo quando contém erros lógicos.

Conclusão Final

O ChatGPT é uma ferramenta poderosa para gerar rascunhos iniciais de especificações de software. Ele pode ajudar a criar a base, o esqueleto do documento.

Porém, a IA não substitui o especialista humano.
Para que essas "receitas sintéticas" sejam realmente úteis e seguras, um humano experiente precisa revisar tudo, corrigir os erros, preencher as lacunas e garantir que o que está escrito faz sentido no mundo real.

Em resumo: Você pode usar a IA para escrever o primeiro rascunho de um contrato ou de um plano de engenharia, mas nunca assine ou construa nada baseado apenas no que a IA disse sem uma revisão humana cuidadosa. A IA é um ótimo estagiário criativo, mas ainda não é o Chefe de Cozinha.

Resumo técnico

Resumo Técnico: ChatGPT pode Gerar Especificações de Requisitos de Sistema Sintéticas Realistas? Resultados de um Estudo de Caso

1. Problema e Motivação

As Especificações de Requisitos de Sistema (SyRS) são artefatos centrais em Engenharia de Requisitos (ER), geralmente documentados em linguagem natural (LN). No entanto, o acesso a SyRSs reais para fins de pesquisa é severamente limitado devido a restrições de propriedade intelectual, preocupações de confidencialidade ou simples indisponibilidade.
Embora a geração de SyRSs sintéticas (SSyRSs) possa mitigar essa escassez, o uso de Modelos de Linguagem de Grande Escala (LLMs) de "caixa preta", como o ChatGPT, apresenta desafios significativos:

• Alucinações: Geração de dados nonsensos ou não verificáveis.
• Superconfiança: O modelo apresenta informações incorretas com alta certeza, enganando o usuário.
• Falta de Dados de Treinamento Especializados: LLMs são treinados em dados da internet, que contêm menos conhecimento de domínio especializado do que conhecimento comum, aumentando o risco de erros em contextos técnicos.

O objetivo principal do estudo é investigar se é possível gerar SSyRSs realistas usando um LLM de caixa preta (ChatGPT) sem acesso a dados reais de SyRSs ou envolvimento de especialistas de domínio durante o processo de geração.

2. Metodologia

O estudo seguiu uma abordagem de Pesquisa Baseada em Design (Design Science Research - DSR), estruturada em um processo iterativo de três fases para geração e avaliação de SSyRSs.

2.1. Configuração do Estudo

• Domínios: 10 indústrias distintas (E-commerce, Educação, Finanças, Governo, Saúde, Logística, Manufatura, Mídia, Varejo e Telecomunicações).
• Modelo: ChatGPT-4o (escolhido por equilíbrio entre desempenho, acessibilidade e custo).
• Volume de Dados: Geração de 300 SSyRSs (3 por domínio, ao longo de 10 iterações).
• Restrições: Não foram utilizados dados reais de SyRSs nem especialistas humanos no ciclo de geração (apenas na avaliação final).

2.2. Processo de Geração e Avaliação

O processo baseou-se em padrões de prompt (Zero-shot, Template, Persona, Chain-of-Thought) e refinamento iterativo:

1. Fase 1 - Preparação: Definição de um template simplificado baseado no padrão ISO/IEC/IEEE 29148:2018, contendo categorias principais (Visão Geral, Requisitos Funcionais, Não Funcionais, Restrições) e subcategorias.
2. Fase 2 - Geração e Avaliação Automática:
   • Geração (PGen): O LLM gera 3 SSyRSs por domínio, variando o conteúdo para evitar redundância.
   • Avaliação de Completude (PComp): Verifica se todos os elementos do template estão presentes (binário).
   • Avaliação de Grau de Realismo (PDoR): Um prompt híbrido que atribui uma pontuação de 0 a 1 e explicações qualitativas sobre a plausibilidade do conteúdo.
   • Similaridade Semântica: Uso de SBERT (Sentence Transformers) para medir a sobreposição semântica entre os artefatos gerados, garantindo diversidade.
3. Fase 3 - Análise e Refinamento: Análise estatística dos scores e refinamento dos prompts com base nos resultados das iterações anteriores. O processo foi encerrado após 10 iterações quando os resultados se estabilizaram e mostraram qualidade subjetiva aceitável.

2.3. Estudo com Especialistas

Para validar a qualidade, foi conduzido um estudo de questionário com 87 respostas de especialistas (83 participantes, alguns responderam múltiplos questionários).

• Critério: Os especialistas avaliaram se as SSyRSs eram "realistas" ou "artificiais" e forneceram justificativas textuais.
• Amostra: Uma amostra de 33% das SSyRSs finais (uma por domínio) foi submetida à avaliação humana.

3. Contribuições Principais

1. Metodologia de Geração: Proposta de um processo sistemático para gerar SSyRSs usando apenas LLMs de caixa preta, sem dependência de dados reais ou especialistas no loop de geração.
2. Propriedades de Qualidade: Definição e implementação de três métricas para avaliação de SSyRSs:
   • Grau de Realismo (DoR)
   • Completude
   • Similaridade Semântica
3. Dataset Público: Disponibilização de 300 SSyRSs geradas em 10 domínios industriais, juntamente com todos os prompts, avaliações automáticas e resultados, em repositório público.
4. Insights sobre Avaliação por LLM: Evidência empírica sobre a confiabilidade (ou falta dela) de avaliações quantitativas feitas por LLMs para artefatos complexos de engenharia.

4. Resultados

4.1. Estatísticas de Geração

• Tamanho: As SSyRSs têm uma média de 716 palavras, com distribuição homogênea entre os domínios.
• Completude: O prompt de verificação de completude (PComp) foi 100% eficaz em garantir que o template fosse seguido.
• Diversidade: Os scores de similaridade semântica (média de 0,66) indicaram que os artefatos são variados, mas não redundantes.

4.2. Avaliação de Realismo (DoR)

• Viés de Modelo: As avaliações quantitativas de DoR feitas por LLMs mostraram alta variabilidade e dependência do modelo utilizado.
  • O modelo Sonnet 4.5 foi significativamente mais crítico (média de 0,64) do que o GPT-4o (média de 0,90).
  • A mesma SSyRS avaliada 10 vezes pelo Sonnet 4.5 variou de 0,48 a 0,73, demonstrando alta instabilidade em avaliações quantitativas automáticas.
• Conclusão: Métricas quantitativas de "Grau de Realismo" baseadas em LLMs são inconfiáveis para substituir a avaliação humana.

4.3. Estudo com Especialistas

• Percepção Geral: 62% dos especialistas consideraram as SSyRSs "realistas" ou "muito realistas". Apenas 14% as consideraram "artificiais".
• Análise Profunda: Apesar da percepção positiva inicial, a análise detalhada dos comentários revelou falhas críticas:
  • Simplificação Excessiva: Frases genéricas e uso de "buzzwords".
  • Falta de Detalhe: Ambiguidade em requisitos específicos.
  • Incoerência Lógica: Contradições internas (ex: aplicar normas da UE em contextos não europeus) e requisitos excessivamente ambiciosos.
  • Áreas Problemáticas: Restrições de recursos, características da base de usuários e requisitos não funcionais (escalabilidade, confiabilidade) foram os pontos mais frágeis.

5. Significado e Conclusão

O estudo conclui que o ChatGPT é uma ferramenta poderosa para gerar candidatos a SSyRSs e fornecer uma avaliação inicial grosseira, mas não pode substituir a avaliação de especialistas humanos.

Insights Chave:

1. Validação Estrutural: O uso de templates e prompts de validação estrutural é altamente eficaz para garantir consistência.
2. Inconfiabilidade Quantitativa: Avaliações quantitativas de plausibilidade feitas por LLMs são instáveis e sujeitas a viés de modelo.
3. Ilusão de Realismo: A apresentação confiante e estruturada do texto gerado por LLMs cria uma "ilusão de realismo" que pode enganar especialistas, mascarando erros lógicos e contradições que só são detectáveis em uma análise profunda.

Implicações Futuras:
As SSyRSs geradas são úteis como base para análise manual, refinamento e extração de requisitos, mas não devem ser usadas como substitutos perfeitos de dados reais sem um rigoroso processo de validação humana. O estudo destaca a necessidade de cautela ao confiar em avaliações automáticas de qualidade para artefatos complexos de engenharia de requisitos.