💻 ciência da computação

Entity and non-functional-requirement extraction from user stories: evidence from supervised sequence models and reproducible LLM benchmarking

Este artigo avalia modelos de sequência supervisionados e LLMs de pesos abertos para extrair entidades e requisitos não funcionais de histórias de usuário, demonstrando que um modelo BiLSTM-CRF supera significativamente os LLMs zero-shot e one-shot em um benchmark recém-lançado e reproduzível.

Autores originais: Hazem Abedelrazeq Alreqeb, Motaz SAAD

Publicado 2026-10-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hazem Abedelrazeq Alreqeb, Motaz SAAD

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

As equipes de software frequentemente escrevem seus planos como frases curtas e naturais chamadas histórias de usuário. Essas notas seguem um padrão simples: "Como um [pessoa], eu quero [ação], para que [razão]". Elas servem para capturar o que um pedaço de software deve fazer e por que isso é importante. Embora os humanos consigam ler essas notas facilmente, os computadores têm dificuldade em entendê-las. As frases são frequentemente desordenadas, com partes faltando ou escritas de uma forma que não se ajusta a um modelo rígido. Para construir melhores ferramentas para gerenciar software, pesquisadores precisam de uma maneira de ensinar os computadores a ler essas histórias e extrair as peças específicas de informação: quem está envolvido, o que querem fazer e por que querem isso. Eles também precisam identificar requisitos ocultos, como regras sobre velocidade, privacidade ou facilidade de uso do sistema, que muitas vezes estão enterrados no texto ou não foram ditos.

Uma equipe de pesquisadores partiu para resolver esse problema testando duas abordagens diferentes para ensinar computadores a extrair esses detalhes. A primeira abordagem utiliza um tipo especializado de programa de computador treinado em milhares de exemplos para agir como um editor cuidadoso, destacando as palavras exatas que se encaixam em cada categoria. A segunda abordagem utiliza modelos de linguagem de grande escala, que são sistemas de inteligência artificial poderosos, capazes de compreender e gerar linguagem humana sem a necessidade de treinamento específico para a tarefa. Os pesquisadores queriam ver qual método poderia extrair com mais precisão a informação correta de uma grande coleção de histórias de software, e se as novas e mais flexíveis ferramentas de IA poderiam superar as mais antigas e rígidas.

A equipe começou reunindo uma coleção massiva de 2.234 histórias de usuário em inglês de várias fontes públicas, incluindo comunidades de desenvolvimento de software e bancos de dados de requisitos. Eles rotularam essas histórias manualmente, marcando exatamente quais palavras representavam a pessoa, a ação e o objetivo. Em seguida, testaram uma série de modelos de computador nesses dados. O modelo mais bem-sucedido foi um sistema que lê o texto em ambas as direções simultaneamente, permitindo que entenda o contexto de uma palavra ao olhar para as palavras antes e depois dela. Este modelo, quando treinado na coleção original, identificou corretamente as partes fundamentais das histórias 96,2% das vezes. Quando os pesquisadores adicionaram mais exemplos aos dados de treinamento criando variações leves das histórias existentes, a precisidade do modelo melhorou para 98,6%. Este sistema também provou ser muito bom em detectar os cinco aspectos de qualidade que a equipe estava procurando: privacidade, desempenho, usabilidade, escalabilidade e manutenibilidade.

Para garantir que seus resultados fossem justos e pudessem ser verificados por outros, os pesquisadores criaram um novo conjunto de teste compartilhado que foi mantido separado dos dados de treinamento. Eles convidaram sete modelos de linguagem de grande escala diferentes para tentar a mesma tarefa. Esses modelos receberam as histórias e foram instruídos a retornar as respostas em um formato estrito, sem explicações extras. Os pesquisadores mediram o sucesso verificando se a resposta do computador correspondia à resposta rotulada pelo humano palavra por palavra e na mesma ordem exata. Os resultados mostraram uma lacuna clara entre os dois tipos de tecnologia. O programa de computador especializado treinado nos dados específicos alcançou uma pontuação de precisão de 0,953 no novo conjunto de teste. Mesmo quando os pesquisadores adicionaram um pequeno número de exemplos modificados e seguros ao seu treinamento, a pontuação subiu para 0,961.

Em contraste, os modelos de linguagem de grande escala, mesmo os mais poderosos disponíveis, tiveram dificuldades significativas ao tentar corresponder aos limites exatos das palavras. O modelo de linguagem de grande escala com melhor desempenho, sem nenhum exemplo específico para aprender a tarefa, obteve apenas 0,414. Quando os pesquisadores deram a esse mesmo modelo um exemplo para mostrar como realizar a tarefa, sua pontuação melhorou ligeiramente para 0,434. O principal problema foi que, embora esses modelos frequentemente compreendessem o significado geral da história, eles frequentemente incluíam palavras demais ou de menos em suas respostas, ou escolhiam os pontos de início e fim errados para as frases. Como o teste exigia uma correspondência exata, esses pequenos erros contavam como falhas. O programa especializado, no entanto, foi projetado especificamente para encontrar esses limites exatos, tornando-se muito mais confiável para este trabalho específico.

O estudo também analisou a velocidade desses sistemas. O programa especializado podia processar uma única história em menos de meio milissegundo em um computador padrão, tornando-o incrivelmente rápido para grandes coleções de dados. Os modelos de linguagem de grande escala levavam muito mais tempo, com uma média de cerca de 0,7 segundos por história, uma diferença significativa ao lidar com milhares de documentos. Os pesquisadores observaram que, embora os modelos de linguagem de grande escala sejam excelentes em compreender a ideia geral e possam ser úteis para uma revisão humana rápida, eles ainda não estão prontos para substituir os programas especializados para tarefas que exigem a extração precisa e automatizada de detalhes específicos.

Os pesquisadores foram cuidadosos ao apontar os limites de seu trabalho. Eles não puderam reproduzir totalmente os resultados de um experimento anterior, maior, porque alguns dos dados e registros originais estavam faltando. Eles também observaram que o benchmark compartilhado que criaram deixou intencionalmente os rótulos de aspectos de qualidade (NFR) vazios porque os dados de origem disponíveis não foram validados para categorias ao nível de história. Consequentemente, este novo conjunto de teste compartilhado não permite uma comparação justa de como os modelos de linguagem de grande escala lidaram com esses requisitos não funcionais específicos. O estudo conclui que, para equipes que precisam classificar automaticamente milhares de histórias de software para encontrar atores, ações e objetivos específicos, o programa de computador especializado continua sendo a ferramenta mais precisa e eficiente. Os modelos de linguagem de grande escala podem servir como um assistente útil para um analista humano, mas ainda não podem ser confiados para realizar o trabalho sozinhos sem uma verificação cuidadosa. Os pesquisadores disponibilizaram seus dados e ferramentas para que outros cientistas possam verificar essas descobertas e continuar a melhorar a tecnologia.

Resumo Técnico: Extração de Entidades e Requisitos Não Funcionais de User Stories

1. Definição do Problema

As user stories no desenvolvimento ágil normalmente seguem a estrutura "Como um... eu quero... para que...", vinculando um ator, uma capacidade solicitada e um benefício pretendido. No entanto, em backlogs operacionais, essas histórias frequentemente se desviam do modelo canônico, omitem cláusulas ou fundem capacidades, tornando-as difíceis de serem processadas automaticamente.

O artigo aborda dois desafios distintos de extração:

Extração Estrutural (Reconhecimento de Entidades): Identificar o USUÁRIO (ator), a FUNÇÃO (capacidade solicitada) e o OBJETIVO (benefício pretendido) dentro de um texto em linguagem natural.
Extração Qualitativa (NFRs): Reconhecer cinco aspectos de requisitos não funcionais (NFR): Privacidade, Desempenho, Usabilidade, Escalabilidade e Manutenibilidade.

O desafio central reside na dificuldade de derivar essas estruturas de forma confiável a partir de textos não estruturados e na necessidade de comparações justas e reproduzíveis entre modelos de sequência supervisionados tradicionais e os modernos Grandes Modelos de Linguagem (LLMs).

2. Metodologia

O estudo emprega uma abordagem de via dupla, distinguindo entre experimentos supervisionados históricos e um novo benchmark reproduzível.

A. Corpora e Dados

Corpus Original: 2.234 user stories em inglês coletadas de conjuntos de dados de requisitos, materiais da Scrum Alliance e fontes públicas.
Corpus Aumentado: Uma expansão relatada para 6.980 histórias usando aumento baseado em sinônimos (via corpus-extender). O artigo observa que o código de treinamento original e as sementes (seeds) específicas para este aumento não estão disponíveis, tratando esses resultados como registros históricos em vez de avaliações independentes totalmente reproduzíveis.
Benchmark Reproduzível Compartilhado: Um novo conjunto de dados derivado de 6.955 identificadores únicos de histórias. Ele é particionado em:
- Treinamento: 5.008 histórias.
- Validação: 556 histórias (usadas estritamente para a seleção de configuração do LLM).
- Teste retido (Held-out Test): 1.391 histórias (usadas exatamente uma vez para inferência final).
- Aumento Livre de Vazamento (Leakage-Safe Augmentation): 599 variantes textualmente alteradas foram adicionadas ao conjunto de treinamento. Crucialmente, essas variantes são derivadas apenas da partição de treinamento original, garantindo que nenhuma história de validação ou teste vaze para o treinamento.

B. Modelos Avaliados

Modelos de Sequência Supervisionados:
- Baselines: Pipeline customizado do spaCy, Campo Aleatório Condicional (CRF).
- Modelos Neurais: LSTM–CRF e BiLSTM–CRF. Os modelos neurais utilizam embeddings de 300 dimensões, uma camada LSTM de duas camadas (256 unidades ocultas), dropout (0.5) e uma camada de saída CRF para modelar dependências de rótulos.
Grandes Modelos de Linguagem (LLMs):
- Sete modelos de pesos abertos servidos localmente (ex: Gemma4-12B, Qwen3.5-4B, Ministral-3-8B) via Ollama.
- Protocolos: Avaliados sob configurações Zero-shot e One-shot (e até 4-shot).
- Estratégia de Seleção: As configurações de LLM foram selecionadas com base apenas no desempenho de validação para evitar o sobreajuste (overfitting) ao conjunto de teste.

C. Métricas de Avaliação e Pontuação

Métrica: micro-F1 de intervalo exato normalizado.
Rigor: A métrica exige uma correspondência exata do intervalo de caracteres (normalizada por caixa e pontuação). Intervalos semanticamente corretos, mas com divergências nos limites (boundaries), são contados como incorretos.
Escopo: O benchmark compartilhado avalia apenas as três entidades estruturais (USER, FUNCTION, GOAL). Ele não suporta comparação de NFR porque os campos de NFR liberados são listas de termos em vez de categorias validadas ao nível da história.

3. Resultados Principais

A. Resultados Supervisionados Históricos (Corpora Original & Aumentado)

Nos divisões do corpus original, o BiLSTM–CRF alcançou o maior desempenho:

F1 do Corpus Original: 0,962 (superando o CRF com 0,934 e o spaCy com 0,859).
F1 do Corpus Aumentado: 0,986.
Desempenho de NFR: Nos dados aumentados, o BiLSTM–CRF alcançou pontuações F1 por aspecto entre 0,981 e 0,988 para as cinco categorias de NFR.

B. Resultados do Benchmark Compartilhado Reproduzível (1.391 Histórias de Teste)

Sob a regra rigorosa de correspondência de intervalo exato no conjunto de teste retido:

BiLSTM–CRF (Treinamento Original): Alcançou 0,953 de F1 global.
BiLSTM–CRF (+599 Variantes Livres de Vazamento): Melhorou para 0,961 de F1 global. O ganho mais significativo foi observado na entidade GOAL (0,923 $\to$ 0,945).
Desempenho dos LLMs:
- Zero-shot: O melhor modelo zero-shot, Gemma4-12B, atingiu 0,414 de F1.
- One-shot: A melhor configuração selecionada via validação, Qwen3.5-4B (1-shot), atingiu 0,434 de F1.
- Detalhamento: Os LLMs tiveram bom desempenho na extração de USER (ex: 0,984 para Gemma4-12B), mas tiveram dificuldades significativas com FUNCTION e GOAL (pontuações frequentemente < 0,10), indicando que a correspondência rigorosa de limites é um grande obstáculo para modelos generativos neste contexto.

C. Eficiência

BiLSTM–CRF: O tempo de inferência foi de aproximadamente 0,493 ms por história (treinamento original) e 0,586 ms (aumentado) em uma NVIDIA RTX A6000.
LLMs: O LLM selecionado teve um tempo médio de execução (wall time) de 0,723 segundos por história, destacando uma diferença significativa de latência em comparação ao marcador de sequência especializado.

4. Principais Contribuições

Consolidação de Evidências: O artigo consolida os resultados históricos de teses para modelos supervisionados (BiLSTM–CRF) sem tentar recriar valores de precisão/revocação não suportados devido à ausência de logs brutos.
Benchmark Reproduzível: Libera um benchmark de extração de entidades livre de vazamento (6.955 histórias, 1.391 de teste) com divisões e pontuações idênticas tanto para BiLSTM–CRF quanto para sete LLMs.
Aumento Livre de Vazamento: Demonstra um método para aumentar os dados de treinamento usando variantes derivadas estritamente da partição de treinamento, mostrando uma melhoria consistente no F1 (0,953 $\to$ 0,961) sem contaminar o conjunto de teste.
Comparação Justa de LLM: Estabelece um protocolo onde as configurações de LLM são selecionadas via validação apenas, prevenindo o vazamento do conjunto de teste, e aplica uma métrica de intervalo exato rigorosa que penaliza erros de limite.

5. Significância e Alegações

O artigo adota uma postura modesta e orientada por evidências:

Superioridade Supervisionada: No contexto específico de extração de entidades estruturais com restrições de limite rigorosas, o BiLSTM–CRF especializado supera significativamente tanto os LLMs zero-shot quanto os de um único shot selecionados via validação (0,961 vs. ~0,43).
Implicação Prática: Para equipes com backlogs estáveis capazes de rotular histórias representativas, o BiLSTM–CRF reproduzido é o padrão prático para extração de sub-milissegundo e precisão de limites.
Papel dos LLMs: LLMs com prompt são posicionados como assistência de análise interativa em vez de substitutos autônomos. Eles são eficazes para identificar atores (USER) e gerar estruturas JSON para revisão, mas seus baixos escores de intervalo exato para ações e objetivos exigem verificação humana antes do uso em processos subsequentes.
Limitações: O artigo declara explicitamente que não reivindica significância estatística, latência independente de hardware ou superioridade sobre todas as possíveis estratégias de prompting de LLM. Além disso, não pode reivindicar superioridade na extração de NFR no novo benchmark devido à falta de rótulos de NFR validados ao nível da história.

Os autores concluem que, embora as evidências históricas apoiem alta precisão de NFR para o BiLSTM–CRF, o novo benchmark confirma que, para a extração de entidades estruturais, os modelos de sequência supervisionados mantêm atualmente uma vantagem substancial sobre os LLMs generativos quando avaliados sob condições rigorosas e reproduzíveis.