💻 computer science

ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents

Este artigo introduz o ReqGenX, um estudo empírico que demonstra que decompor documentos legados de Especificação de Requisitos de Software (SRS) em declarações atômicas e rastreáveis e regenerá-los como artefatos pré-SRS sintéticos permite uma avaliação detalhada da geração de SRS baseada em LLM, ao mesmo tempo em que revela compensações críticas entre fidelidade, retenção de informação e completude do artefato.

Autores originais: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô brilhante e hiperveloz a escrever um livro de regras para um novo videogame. Você entrega ao robô um caderno manuscrito bagunçado dos anos 1990, cheio de ideias vagas, anotações rabiscadas e pensamentos inacabados. Seu objetivo é fazer com que o robô transforme esse caderno bagunçado em um livro de regras perfeito e profissional. Mas há um detalhe: o robô está tão ansioso para ser útil que pode acidentalmente inventar novas regras, esquecer as antigas ou misturar duas ideias diferentes em uma frase confusa. Este é o mundo da geração de Especificação de Requisitos de Software (SRS). No mundo da tecnologia, uma SRS é o "projeto mestre" que diz aos engenheiros exatamente o que um software deve fazer. Embora os Grandes Modelos de Linguagem (LLMs) — o mesmo tipo de IA que escreve poemas e responde perguntas — estejam ficando melhores em escrever esses projetos, é incrivelmente difícil verificar se eles estão realmente dizendo a verdade ou apenas inventando coisas. Precisamos de uma maneira de rastrear cada frase que o robô escreve de volta ao caderno bagunçado original para ver se ele é fiel ou se está alucinando.

Foi exatamente isso que os pesquisadores por trás do ReqGenX se propuseram a resolver. Eles não apenas pediram à IA para escrever um novo livro de regras; eles construíram uma "fábrica" inteligente e passo a passo para testar o quão bem a IA consegue decompor documentos antigos e bagunçados em fatos minúsculos e incontestáveis, transformar esses fatos em tipos específicos de notas (como "User Stories" ou "Verificações de Qualidade") e, em seguida, ver se essas notas podem ser usadas para reconstruir a ideia original sem perder nada. Pense nisso como pegar um castelo de Lego complexo, desmontar cuidadosamente cada peça para rotulá-las, organizá-las em caixas específicas e depois tentar reconstruir o castelo usando apenas essas caixas organizadas. Os pesquisadores queriam saber: a IA consegue fazer isso sem perder um único tijolo ou inventar uma nova cor que não existia?

A Fábrica: ReqGenX

A equipe criou um pipeline chamado ReqGenX para atuar como um laboratório controlado para este experimento. Em vez de deixar a IA apenas "escrever" um novo documento, eles a forçaram a passar por três estágios rigorosos, agindo como um inspetor de controle de qualidade em cada etapa.

Estágio 1: A Decomposição Atômica
Primeiro, a IA pega um trecho de texto de um documento antigo e tenta decompô-lo em "átomos". Imagine uma frase como: "O produto utiliza a biblioteca Qt e deve rodar em todos os sistemas operacionais suportados". Para um humano, isso é uma frase. Para a IA, isso são na verdade duas ideias diferentes misturadas. O objetivo é dividir essas ideias em "declarações atômicas" — verdades pequenas e autossuficientes que não podem ser mais decompostas. Um átomo torna-se "O produto utiliza a biblioteca Qt" e o outro torna-se "O produto deve rodar em todos os sistemas operacionais suportados". Os pesquisadores descobriram que a IA é, na verdade, muito boa nisso. Quando verificaram se esses átomos minúsculos eram fiéis ao texto original, as pontuações foram incrivelmente altas, geralmente entre 0,96 e 0,99 em uma escala onde 1,0 é perfeito. No entanto, eles também notaram que, às vezes, a IA fica um pouco ansiosa demais e descarta uma parte da informação ou, inversamente, mantém uma parte que é vaga demais para ser útil.

Estágio ável 2: O Chapéu Seletor
Uma vez que o texto é decomposto em átomos, a IA tem que decidir a que tipo de nota cada átomo pertence. Isso é como um chapéu seletor em uma escola de bruxos. Este fato pertence a uma "User Story" (uma nota sobre o que uma pessoa deseja fazer)? Pertence a uma "Nota de Qualidade" (uma regra sobre o quão rápido ou seguro o sistema deve ser)? Ou é apenas uma nota de "Contexto do Sistema" (informação de contexto)? Os pesquisadores usaram uma equipe de diferentes modelos de IA para votar nessas categorias. Eles descobriram que, embora a IA seja ótima em classificar ideias gerais, ela às vezes tem dificuldade com rótulos técnicos muito específicos. Por exemplo, ao tentar decidir se uma frase era um "requisito funcional" ou um "requisito de qualidade", os modelos de IA discordaram bastante entre si, com pontuações de concordância caindo para tão baixo quanto 0,31 em alguns casos. Isso sugere que, embora a IA consiga ver a floresta, às vezes ela se confunde com os tipos específicos de árvores.

Estágio 3: A Reconstrução
Finalmente, a IA pega esses átomos classificados e tenta escrevê-los em um novo documento com aparência profissional. Este é o momento da verdade: a IA consegue transformar esses fatos minúsculos e classificados de volta em uma história coerente? Os pesquisadores testaram isso pegando as notas geradas pela IA e pedindo a uma outra IA que reconstruísse o documento original a partir delas. Eles descobriram que a IA conseguia, de fato, reconstruir o documento, mas não era uma cópia perfeita. A "similaridade semântica" (o quanto o significado correspondia) foi decente, variando de 0,69 a 0,75, mas o "suporte factual" (se o novo texto realmente provava os fatos antigos) foi um pouco mais variável.

O Veredito: Fiel, mas Imperfeito

Então, o que os pesquisadores realmente descobriram?

Primeiro, eles confirmaram que a IA pode ser uma excelente bibliotecária. Ela pode pegar um documento antigo e bagunçado e decompô-lo em fatos pequenos e verdadeiros com uma taxa de sucesso muito alta. Na maioria das vezes, os átomos que ela cria são de 96% a 99% fiéis à fonte. Isso significa que a IA não está apenas inventando coisas do nada; ela geralmente está seguindo o roteiro.

No entanto, eles também encontraram alguns "mas" importantes.

O Problema do "Tijolo Perdido": Mesmo que a IA seja fiel, ela não é perfeita em manter tudo. Dependendo do documento e do modelo de IA usado, a quantidade de informação original preservada com sucesso (cobertura) variou amplamente, indo de 35,6% a 93,5%. Isso não significa que a IA mentiu; significa que, para alguns documentos, a IA decidiu que uma grande parte do texto original era vaga demais, redundante ou estrutural demais para ser mantida como um "átomo" independente, enquanto para outros, ela preservou quase tudo.
A Armadilha do "Template Perfeito": Quando a IA tentava transformar esses átomos em tipos específicos de documentos (como uma "Nota de Qualidade"), ela às vezes tinha dificuldade em preencher todas as lacunas sem adicionar detalhes falsos. Embora a IA tenha passado em um teste de "juiz" básico quase 100% das vezes, um teste mais rigoroso e crítico (chamado Prometheus) mostrou que apenas de 54,8% a 97,1% dos artefatos eram verdadeiramente completos e de alta qualidade. Isso sugere que a IA pode fazer as coisas parecerem corretas, mas às vezes faltam os detalhes profundos necessários para serem realmente úteis.
A Lacuna de Reconstrução: Quando tentaram reconstruir o documento original a partir das notas da IA, a nova versão era um "rascunho rastreável", não uma réplica perfeita. Ela capturou as ideias principais, mas parte da nuance se perdeu na tradução.

O Que Isso Significa para o Futuro

Os pesquisadores não estão dizendo que a IA resolveu o problema de escrever livros de regras de software. Em vez disso, eles estão dizendo que a IA é uma ferramenta poderosa para verificar e organizar informações, mas precisa de um guia humano.

Eles descobriram que o maior gargalo não é a capacidade de escrita da IA, mas sim a granularidade da evidência. Se o documento original for vago ou misturar muitas ideias, a IA terá dificuldade em transformá-lo em um formato limpo e utilizável. A IA não pode inventar magicamente o contexto que falta; ela só pode trabalhar com o que lhe é dado.

No fim, este estudo sugere que podemos usar a IA para criar "artefatos sintéticos rastreáveis" — notas digitais que se conectam à fonte original para que possamos ver exatamente de onde veio cada ideia. Este é um grande passo à frente para verificar se a IA está dizendo a verdade. Mas serve também como um lembrete: só porque a IA produz um documento limpo e profissional, não significa que ela capturou cada detalhe do original. A IA é uma assistente fantástica, mas ainda precisa de um humano para segurar o mapa e garantir que nenhum tijolo seja deixado para trás.

Resumo Técnico: ReqGenX – Um Estudo Empírico de Decomposição Atômica, Regeneração de Artefatos e Reconstrução para Documentos SRS Legados

1. Declaração do Problema

Avaliar a geração de Especificações de Requisitos de Software (SRS) baseada em Grandes Modelos de Linguagem (LLM) é desafiador devido à falta de conjuntos de dados que forneçam rastreabilidade detalhada entre requisitos de origem, artefatos de elicitação intermediários e especificações geradas. Os recursos existentes frequentemente falham ao vincular conjuntamente evidências heterogêneas de SRS, artefatos de engenharia de requisitos (RE) intermediários e relações de rastreabilidade. Consequentemente, a avaliação de SRSs geradas muitas vezes depende da fluência ao nível do documento, o que pode mascarar a omissão de informações de origem, a fusão de preocupações distintas ou a introdução de requisitos não suportados.

O artigo aborda a necessidade de um mecanismo para transformar documentos SRS legados em artefatos pré-SRS sintéticos e rastreáveis. O objetivo é criar um substrato que suporte a avaliação detalhada da compilação de SRS baseada em LLM, examinando especificamente se o conteúdo legado pode ser decomposto em declarações atômicas, fundamentadas na origem, e roteado para tipos padrão de artefatos sem perder informações críticas ou introduzir alucinações.

2. Metodologia: O Pipeline ReqGenX

Os autores introduzem o ReqGenX, um pipeline controlado e reprodutível projetado para operacionalizar a transformação de SRSs legados em artefatos sintéticos. O pipeline opera em três estágios primários:

Estágio 1: Decomposição de Requisitos

Normalização: Documentos SRS legados (tipicamente PDFs) são convertidos para texto (Markdown), com remoção de material não relacionado a requisitos (capas, cabeçalhos, rodapés) e reparo de erros estruturais.
Fragmentação (Chunking): Os documentos são segmentados em fragmentos de nível de seção baseados na hierarquia restaurada.
Atomização: Um "atomizador" baseado em LLM decompõe os fragmentos em declarações atômicas. Um átomo é definido como uma proposição mínima, suportada pela origem, que seja fiel à fonte, atômica (expressando uma ideia coerente) e útil para a geração de artefatos subsequentes.
Julgamento: Um LLM juiz separado avalia os átomos contra uma rubrica de fidelidade, atomicidade e utilidade, propondo ações (manter, reescrever, dividir, mesclar, remover, adicionar) para refinar o conjunto.

Estágio 2: Roteamento Semântico

Etiquetagem (Tagging): Os átomos recebem etiquetas semânticas baseadas em um esquema inspirado na IEEE 29148 (ex: Propósito, Escopo, Funcional, Atributos de Qualidade).
Votação Multi-LLM: Para garantir a confiabilidade, três agentes LLM independentes propõem etiquetas para cada átomo. A etiqueta final é selecionada via votação por pluralidade. Casos não resolvidos passam por revisão Humano-no-Loop (HITL).
Classificação Granular: Átomos etiquetados como "Requisitos" passam por uma classificação secundária (Funcional vs. Qualidade) e, se forem de Qualidade, uma classificação de subtipo (ex: Portabilidade, Segurança) para guiar a geração de artefatos.

Estágio 3: Geração de Artefatos e Revisão

Geração: Átomos validados são convertidos em artefatos pré-SRS tipados (ex: Notas de Pesquisa do Usuário, Notas de Contexto do Sistema, Restrições de Atributos de Qualidade) usando templates específicos. O texto do átomo serve como a principal fonte da verdade; nenhum enriquecimento não suportado é permitido.
Refinamento Iterativo: Um LLM juiz avalia os artefatos gerados em cinco dimensões: fidelidade, suporte, contextualidade, alinhamento estrutural e esparsidade. Artefatos que falham no limiar são revisados iterativamente.
Rastreabilidade: O pipeline mantém metadados de proveniência, vinculando cada artefato gerado de volta ao seu átomo de origem, fragmento e seção original do SRS.

3. Desenho Experimental

Dataset: Sete documentos SRS do dataset PURE (Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home), totalizando 31.454 palavras e 1.408 sentenças.
Modelos: Os experimentos utilizaram uma mistura de modelos de código fechado (Claude Sonnet 4.6, GPT-4o) e de código aberto (GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3).
Métricas de Avaliação:
- AlignScore: Mede o suporte semântico entre a origem e o conteúdo gerado.
- Pontuações de Juiz/Prometheus: Avaliação de qualidade baseada em rubrica (escala de 1–5) para fidelidade, atomicidade e alinhamento estrutural.
- Similaridade de Embedding (SBERT): Utilizada para medir a retenção de informação e a recuperabilidade downstream.
- Análise de Cobertura: Mede a porcentagem de unidades de informação de origem retidas através do pipeline.

4. Principais Resultados

RQ1: Confiabilidade de Decisões de RE Baseadas em LLM

Roteamento Semântico: LLMs podem suportar o roteamento semântico, mas a confiabilidade varia. O Claude Sonnet 4.6 alcançou o maior acordo com rótulos humanos ( $\kappa = 0,83$ para tags, $\kappa = 0,80$ para requisitos). A classificação de requisitos mais fina mostrou menor acordo entre os modelos (ex: GPT-4o vs. GPT-OSS $\kappa = 0,31$ ).
Julgamento de Qualidade: O Gemma 3 foi identificado como o melhor modelo juiz, oferecendo um forte equilíbrio entre a pontuação F1 e baixas taxas de falsos positivos para ambos os átomos e artefatos.

RQ2: Qualidade dos Átomos Gerados

Fidelidade: Os átomos gerados são geralmente fiéis aos fragmentos de origem, com valores medianos de AlignScore entre 0,96 e 0,99. As taxas de conteúdo não suportado foram tipicamente inferiores a 3%.
Cobertura vs. Fidelidade: Embora os átomos sejam fiéis, a cobertura da origem varia significativamente (35,6% a 93,5%). Algumas informações são perdidas não devido a alucinação, mas porque o processo de decomposição descarta conteúdo implícito, redundante ou fracamente acionável para garantir a atomicidade.
Qualidade: Átomos pós-revisão atingiram altas taxas de aprovação (76%–100% para atomicidade; 70%–97% para usabilidade) com pontuações médias de Prometheus variando de 4,34 a 4,85.

RQ3: Qualidade dos Artefatos Gerados

Fundamentação (Grounding): Os artefatos gerados permanecem fortemente fundamentados nos átomos de origem, com valores médios de AlignScore tipicamente entre 0,80 e 0,94.
Refinamento: As taxas de aprovação do Juiz aproximaram-se de 100% após o refinamento iterativo. No entanto, a avaliação mais rigorosa do Prometheus revelou maior variação (taxas de aprovação de 54,8% a 97,1%), indicando que a fundamentação não garante completude estrutural ou esparsidade.

RQ4: Reconstrução de SRS Downstream

Recuperabilidade: Em um estudo de caso reconstruindo SRSs a partir de artefatos gerados, os átomos de origem foram semanticamente recuperáveis (médias SBERT: 0,69–0,75).
Suporte Factual: As medianas de AlignScore para reconstrução variaram de 0,76 a 0,84. Contudo, as médias mais baixas e os intervalos interquartis mais amplos sugerem que o suporte factual é mais variável do que a similaridade semântica, frequentemente devido à abstração ou refraseamento durante a compilação.

RQ5: Perda de Informação e Padrões de Falha

Problemas de Granularidade: A perda de informação é impulsionada principalmente pela granularidade da evidência, e não por falhas de geração.
- SRS $\to$ Átomos: A perda ocorre quando as declarações são implícitas, agrupadas ou dependentes de contexto.
- Átomos $\to$ Artefatos: A perda ocorre quando átomos válidos são estreitos demais para preencher templates de artefatos restritos sem adicionar conteúdo não suportado.
Padrões de Revisão: As ações de revisão mais frequentes foram "Reescrever" e "Remover" (tratando de agrupamentos ou redação fraca), enquanto "Dividir" foi comum para seções densas. "Mesclar" e "Adicionar" foram raros.

5. Principais Contribuições

Caracterização Empírica: O estudo caracteriza a atomização de SRSs legados baseada em LLM, demonstrando que uma alta fidelidade ao nível do átomo pode coexistir com uma variação significativa na cobertura da origem.
Análise por Estágio: Fornece uma análise granular da perda de informação através da transformação SRS-para-Átomos-para-Artefatos, distinguindo entre problemas de granularidade de evidência e alucinação.
Confiabilidade de Roteamento: Mostra que o roteamento semântico por LLM (especificamente para tags de alto nível) é mais confiável do que a classificação de requisitos detalhada, com o Claude alcançando alto acordo humano.
Calibragem de Juiz: Apresenta um procedimento calibrado por humanos para selecionar juízes LLM para avaliação de artefatos de RE, baseado em 291 triplas anotadas.
Pacote de Replicação: Os autores disponibilizam um pacote de replicação rastreável contendo SRSs processados, átomos/artefatos gerados, prompts, codebooks e metadados de rastreabilidade.

6. Significância e Alegações

O artigo alega que artefatos pré-SRS sintéticos e rastreáveis podem suportar uma avaliação mais detalhada da geração de SRS baseada em LLM. Ao decompor documentos legados em unidades atômicas e com proveniência vinculada, o estudo expõe trade-offs críticos entre:

Fidelidade: O quão bem a saída corresponde à origem.
Retenção de Informação: Quanto conteúdo de origem é preservado.
Completude do Artefato: Se a saída satisfaz os requisitos estruturais sem alucinação.

Os autores concluem que, embora os LLMs possam produzir átomos utilizáveis e fiéis e artefatos fundamentados, essas transformações não são sem perdas. O estudo destaca que o principal gargalo é a granularidade da evidência: os SRSs legados frequentemente contêm informações implícitas ou agrupadas que resistem a uma decomposição limpa em templates de artefatos padronizados. Os autores posicionam modestamente seu trabalho não como uma ferramenta de geração de SRS pronta para produção, mas como um instrumento experimental para observar e avaliar como a informação muda conforme flui através dos estágios de decomposição, roteamento e reconstrução. Eles sugerem que sistemas futuros devem considerar esses trade-offs, potencialmente permitindo artefatos parcialmente especificados ou agrupando átomos relacionados em vez de forçar cada declaração de origem a entrar em um template rígido.