ARQM: A Tool for Requirements Quality Analysis

Imagine que você é o editor de uma biblioteca enorme e caótica, onde cada livro é um projeto para construir algo novo — uma ponte, um videogame ou uma nave espacial. Antes que o primeiro tijolo seja assentado ou uma linha de código seja escrita, os arquitetos precisam escrever exatamente o que precisam. Essas notas são chamadas de "requisitos". Mas aqui está o problema: os seres humanos são péssimos em escrever essas notas perfeitamente. Nós ficamos cansados, usamos palavras vagas como "talvez" ou "rápido" e, às vezes, acidentalmente escrevemos coisas que se contradizem. Se o projeto estiver bagunçado, o edifício desmorona ou o jogo trava. Este é o mundo da Engenharia de Requisitos: o processo caótico e de alto risco de transformar ideias humanas em instruções claras e rigorosas para máquinas.

Para resolver isso, cientistas vêm construindo "revisores" digitais há décadas. Tradicionalmente, esses revisores eram como bibliotecários rigorosos com uma caneta vermelha e uma lista de regras simples: "Se você vir a palavra 'deve', é um requisito. Se você vir a palavra 'processo', não é". Mas essas regras antigas muitas vezes perdiam a nuance da linguagem humana. Entre com a Inteligência Artificial (IA) e o Aprendizado de Máquina (ML). Pense neles não como seguidores de regras, mas como aprendizes superobservadores que leram milhões de documentos. Em vez de apenas procurar palavras específicas, eles aprendem a vibe de uma frase, compreendendo o contexto e o significado de uma forma que listas simples jamais conseguiriam. A grande questão que os pesquisadores estão fazendo é: esses aprendizes inteligentes podem fazer um trabalho melhor do que os antigos bibliotecários baseados em regras ao detectar projetos ruins antes mesmo do início da construção?

Este artigo apresenta um novo aprendiz digital chamado ARQM (Gestão Automatizada de Qualidade de Requisitos). Os pesquisadores da Universidade Estadual da Pensilvânia construíram esta ferramenta para atuar como um editor incansável e hiperatento para documentos de requisitos. Diferente de seus predecessores, que dependiam de regras rígidas e ultrapassadas, o ARQM usa IA moderna para "ler" documentos e realizar duas tarefas principais. Primeiro, ele atua como um filtro de triagem, filtrando uma pilha confusa de texto para decidir: "Esta frase é realmente um requisito ou é apenas ruído de fundo?". Segundo, ele atua como um inspetor de qualidade, verificando se os requisitos que passaram pelo filtro são realmente bons. Ele procura por "odores" específicos ou violações baseadas na norma IEEE 29148 — um manual global sobre o que torna um requisito claro, testável e inequívoco.

A equipe não apenas construiu a ferramenta; eles a colocaram em um campo de treinamento rigoroso. Eles alimentaram o sistema com milhares de frases de um conjunto de dados público chamado PURE (PUblic REquirements) para ensiná-lo a identificar requisitos. Em seguida, testaram-no em um conjunto especial de documentos que foram cuidadosamente rotulados por especialistas humanos para verificar quatro tipos específicos de problemas de qualidade: Ambiguidade (é confuso?), Viabilidade (pode realmente ser feito?), Singularidade (tenta fazer muitas coisas ao mesmo tempo?) e Verificabilidade (podemos provar que funciona?).

Os resultados sugerem que o aprendiz de IA é, de fato, uma nova contratação poderosa. Quando se tratava de simplesmente identificar o que é e o que não é um requisito, o modelo mais avançado da ferramenta, o DistilBERT, teve um desempenho superior a quase todos os outros métodos testados, alcançando um alto nível de precisão. Ele aprendeu que os requisitos costumam soar formais e rígidos (usando palavras como "deve" ou "tem que"), enquanto os não-requisitos costem soar como conversas administrativas. No entanto, o artigo observa que a IA não é mágica; ela ainda tem certa dificuldade com as nuances mais sutis e humanas. Por exemplo, embora a IA tenha se tornado muito boa em identificar requisitos que eram "singulares" (focados em uma única coisa), ela teve mais dificuldade em concordar com humanos sobre o que contava como "ambíguo" ou "verificável". Isso sugere que, embora a IA possa detectar erros óbvios, os erros mais complexos e subjetivos ainda exigem um toque humano.

Um dos recursos mais legais do ARQM é o uso de IA Explicável (XAI). Em vez de apenas dizer "Esta frase é ruim", a ferramenta destaca as palavras específicas que a levaram a dizer isso. É como um professor circulando a frase exata com caneta vermelha e escrevendo: "Esta palavra é muito vaga". Isso ajuda o escritor humano a entender por que seu requisito precisa de correção, em vez de apenas receber uma mensagem de erro críptica.

Os pesquisadores são cuidadosos ao apontar que sua ferramenta ainda não é um problema perfeito e resolvido. Eles descobriram que seus dados de treinamento tinham algumas lacunas; por exemplo, havia poucos exemplos de requisitos "inviáveis", o que dificultou o aprendizado da IA sobre essa lição específica. Eles também observaram que os especialistas humanos que rotularam os dados nem sempre concordavam entre si, o que significa que a IA, às vezes, teve que aprender com instruções conflitantes. Apesar dessas limitações, o estudo sugere que os métodos modernos de IA são um passo significativo à frente. Eles podem aprender padrões gerais que as antigas ferramentas baseadas em regras perderam, oferecendo uma maneira mais rápida e holística de limpar os projetos do nosso mundo digital. O artigo conclui que, embora o ARQM seja um começo forte, o futuro desta tecnologia reside no treinamento com dados ainda mais diversos e em ajudar a compreender o contexto mais profundo dos projetos que ela está ajudando a construir.