💻 computer science

ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents

Este artículo presenta ReqGenX, un estudio empírico que demuestra que la descomposición de los documentos heredados de Especificación de Requisitos de Software (SRS) en enunciados atómicos y trazables, y su posterior regeneración como artefactos sintéticos pre-SRS, permite una evaluación detallada de la generación de SRS basada en LLM, al tiempo que revela compensaciones críticas entre la fidelidad, la retención de información y la completitud del artefacto.

Autores originales: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot brillante y ultrarrápido cómo escribir un libro de reglas para un nuevo videojuego. Le entregas al robot un cuaderno manuscrito y desordenado de la década de 1990, lleno de ideas vagas, notas garabateadas y pensamientos a medio terminar. Tu objetivo es que el robot convierta ese cuaderno desordenado en un libro de reglas perfecto y profesional. Pero aquí está el truco: el robot tiene tantas ganas de ser útil que podría, accidentalmente, inventar nuevas reglas, olvidar las antiguas o mezclar dos ideas diferentes en una sola frase confusa. Este es el mundo de la generación de la Especificación de Requisitos de Software (SRS). En el mundo tecnológico, un SRS es el "plano maestro" que le dice a los ingenieros exactamente qué debe hacer una pieza de software. Si bien los Modelos de Lenguaje de Gran Escala (LLM) —el mismo tipo de IA que escribe poemas y responde preguntas— están mejorando su capacidad para escribir estos planos, es increíblemente difícil comprobar si realmente están diciendo la verdad o si solo se están inventando cosas. Necesitamos una forma de rastrear cada frase que escribe el robot hasta el cuaderno desordenado original para ver si es fiel o si está alucinando.

Esto es exactamente lo que los investigadores detrás de ReqGenX se propusieron resolver. No se limitaron a pedirle a la IA que escribiera un nuevo libro de reglas; construyeron una "fábrica" inteligente y paso a paso para probar qué tan bien puede la IA descomponer documentos viejos y desordenados en hechos diminutos e innegables, convertirlos en tipos específicos de notas (como "Historias de Usuario" o "Controles de Calidad") y luego ver si esas notas pueden usarse para reconstruir la idea original sin perder nada. Piensa en ello como tomar un castillo de Lego complejo, desarmar cuidadosamente cada uno de sus ladrillos para etiquetarlos, clasificarlos en cajas específicas y luego intentar reconstruir el castillo usando solo esas cajas clasificadas. Los investigadores querían saber: ¿Puede la IA hacer esto sin perder un solo ladrillo o inventar un color nuevo que no existía?

La Fábrica: ReqGenX

El equipo creó un flujo de trabajo llamado ReqGenX para actuar como un laboratorio controlado para este experimento. En lugar de dejar que la IA simplemente "escribiera" un nuevo documento, la obligaron a pasar por tres etapas estrictas, actuando como un inspector de control de calidad en cada paso.

Etapa 1: La Descomposición Atómica
Primero, la IA toma un fragmento de texto de un documento antiguo e intenta descomponerlo en "átomos". Imagina una frase como: "El producto utiliza la biblioteca Qt y debe ejecutarse en todos los sistemas operativos compatibles". Para un humano, eso es una sola oración. Para la IA, esto son en realidad dos ideas diferentes mezcladas. El objetivo es dividir estas ideas en "declaraciones atómicas": verdades diminutas y autónomas que no pueden descomponerse más. Un átomo sería "El producto utiliza la biblioteca Qt" y el otro sería "El producto debe ejecutarse en todos los sistemas operativos compatibles". Los investigadores descubrieron que la IA es bastante buena en esto. Cuando verificaron si estos átomos diminutos eran fieles al texto original, las puntuaciones fueron increíblemente altas, generalmente entre 0.96 y 0.99 en una escala donde 1.0 es perfecto. Sin embargo, también notaron que, a veces, la IA se vuelve demasiado entusiasta y omite una parte de la información o, por el contrario, mantiene una parte que es demasiado vaga para ser útil.

Etapa 2: El Sombrero Seleccionador
Una vez que el texto se descompone en átomos, la IA tiene que decidir a qué tipo de nota pertenece cada átomo. Esto es como un sombrero seleccionador en una escuela de magos. ¿Pertenece este hecho a una "Historia de Usuario" (una nota sobre lo que una persona quiere hacer)? ¿Pertenece a una "Nota de Calidad" (una regla sobre qué tan rápido o seguro debe ser el sistema)? ¿O es solo una nota de "Contexto del Sistema" (información de trasfondo)? Los investigadores utilizaron un equipo de diferentes modelos de IA para votar sobre estas categorías. Descubrieron que, si bien la IA es buena clasificando ideas generales, a veces tiene dificultades con etiquetas técnicas muy específicas. Por ejemplo, al intentar decidir si una frase era un "requisito funcional" o un "requisito de calidad", los modelos de IA no se ponían de acuerdo entre sí, con puntuaciones de concordancia que caían hasta 0.31 en algunos casos. Esto sugiere que, aunque la IA puede ver el bosque, a veces se confunde con los tipos específicos de árboles.

Etapa 3: La Reconstrucción
Finalmente, la IA toma estos átomos clasificados y etiquetados e intenta escribirlos en un nuevo documento con aspecto profesional. Este es el momento de la verdad: ¿puede la IA convertir estos hechos diminutos y clasificados de nuevo en una historia coherente? Los investigadores probaron esto tomando las notas generadas por la IA y pidiéndole a otra IA que reconstruyera el documento original a partir de ellas. Descubrieron que la IA podía, de hecho, reconstruir el documento, pero no era una copia perfecta. La "similitud semántica" (cuánto coincidía el significado) fue aceptable, oscilando entre 0.69 y 0.75, pero el "soporte factual" (¿el nuevo texto realmente demostraba los hechos originales?) fue un poco más variable.

El Veredicto: Fiel pero Defectuoso

Entonces, ¿qué descubrieron realmente los investigadores?

Primero, confirmaron que la IA puede ser una muy buena bibliotecaria. Puede tomar un documento viejo y desordenado y descomponerlo en hechos diminutos y veraces con una tasa de éxito muy alta. La mayoría de las veces, los átomos que crea son de un 96% a 99% fieles a la fuente. Esto significa que la IA no está inventando cosas de la nada; por lo general, se ciñe al guion.

Sin embargo, también encontraron algunos "peros" importantes.

El problema del "Ladrillo Faltante": Aunque la IA es fiel, no es perfecta al mantener todo. Dependiendo del documento y del modelo de IA utilizado, la cantidad de información original preservada con éxito (cobertura) varió ampliamente, desde un 35.6% hasta un 93.5%. Esto no significa que la IA mintiera; significa que, para algunos documentos, la IA decidió que una gran parte del texto original era demasiado vaga, redundante o estructural para mantenerse como un "átomo" independiente, mientras que para otros, preservó casi todo.
La trampa de la "Plantilla Perfecta": Cuando la IA intentaba convertir estos átomos en tipos de documentos específicos (como una "Nota de Calidad"), a veces le costaba completar todos los espacios en blanco sin añadir detalles falsos. Si bien la IA pasó una prueba de "juez" básica casi el 100% de las veces, una prueba más estricta y crítica (llamada Prometheus) mostró que solo entre el 54.8% y el 97.1% de los artefactos eran realmente completos y de alta calidad. Esto sugiere que la IA puede hacer que las cosas parezcan correctas, pero a veces carecen de los detalles profundos necesarios para ser realmente útiles.
La brecha de reconstrucción: Cuando intentaron reconstruir el documento original a partir de las notas de la IA, la nueva versión era un "borrador trazable", no una réplica perfecta. Capturaba las ideas principales, pero parte de la sutileza se perdió en la traducción.

Lo que esto significa para el futuro

Los investigadores no están diciendo que la IA haya resuelto el problema de escribir libros de reglas de software. En cambio, están diciendo que la IA es una herramienta poderosa para verificar y organizar la información, pero necesita un guía humano.

Descubrieron que el mayor cuello de botella no es la capacidad de la IA para escribir, sino la granularidad de la evidencia. Si el documento original es vago o mezcla demasiadas ideas, la IA tiene dificultades para convertirlo en un formato limpio y utilizable. La IA no puede inventar mágicamente el contexto faltante; solo puede trabajar con lo que se le entrega.

Al final, este estudio sugiere que podemos usar la IA para crear "artefactos sintéticos trazables": notas digitales que se vinculan con la fuente original para que podamos ver exactamente de dónde proviene cada idea. Este es un gran paso adelante para verificar si la IA está diciendo la verdad. Pero también sirve como un recordatorio: el hecho de que la IA produzca un documento limpio y profesional no significa que haya capturado cada detalle del original. La IA es un asistente fantástico, pero todavía necesita a un humano que sostenga el mapa y se asegure de que no se quede ningún ladrillo atrás.

Resumen Técnico: ReqGenX – Un Estudio Empírico de Descomposición Atómica, Regeneración de Artefactos y Reconstrucción para Documentos SRS Heredados

1. Planteamiento del Problema

Evaluar la generación de Especificaciones de Requisitos de Software (SRS) basada en Modelos de Lenguaje Extensos (LLM) es un desafío debido a la falta de conjuntos de datos que proporcionen una trazabilidad detallada entre los requisitos de origen, los artefactos de elicitación intermedios y las especificaciones generadas. Los recursos existentes suelen fallar al vincular conjuntamente evidencia heterogénea de SRS, artefactos de ingeniería de requisitos (RE) intermedios y relaciones de trazabilidad. En consecuencia, la evaluación de las SRS generadas suele depender de la fluidez a nivel de documento, lo que puede enmascarar la omisión de información de origen, la fusión de preocupaciones distintas o la introducción de requisitos no respaldados.

El artículo aborda la necesidad de un mecanismo para transformar documentos SRS heredados en artefactos pre-SRS sintéticos y trazables. El objetivo es crear un sustrato que permita una evaluación detallada de la compilación de SRS basada en LLM, examinando específicamente si el contenido heredado puede descomponerse en declaraciones atómicas fundamentadas en la fuente y dirigirse a tipos de artefactos estándar sin perder información crítica ni introducir alucinaciones.

2. Metodología: El Pipeline ReqGenX

Los autores presentan ReqGenX, un pipeline controlado y reproducible diseñado para operacionalizar la transformación de SRS heredadas en artefactos sintéticos. El pipeline opera en tres etapas principales:

Etapa 1: Descomposición de Requisitos

Normalización: Los documentos SRS heredados (típicamente PDFs) se convierten a texto (Markdown), eliminando material no relacionado con los requisitos (portadas, encabezados, pies de página) y reparando errores estructurales.
Fragmentación (Chunking): Los documentos se segmentan en fragmentos a nivel de sección basados en la jerarquía restaurada.
Atomización: Un "atomizador" basado en LLM descompone los fragmentos en declaraciones atómicas. Un átomo se define como una proposición mínima, respaldada por la fuente, que sea fiel al origen, atómica (que exprese una idea coherente) y útil para la generación de artefactos posteriores.
Juicio: Un LLM juez separado evalúa los átomos frente a una rúbrica de fidelidad, atomicidad y utilidad, proponiendo acciones (mantener, reescribir, dividir, fusionar, eliminar, añadir) para refinar el conjunto.

Etapa 2: Enrutamiento Semántico

Etiquetado: Se asignan etiquetas semánticas a los átomos basadas en un esquema inspirado en la norma IEEE 29148 (p. ej., Propósito, Alcance, Funcionales, Atributos de Calidad).
Votación Multi-LLM: Para garantizar la fiabilidad, tres agentes LLM independientes proponen etiquetas para cada átomo. La etiqueta final se selecciona mediante votación por pluralidad. Los casos no resueltos pasan por una revisión de Humano en el Bucle (HITL).
Clasificación Granular: Los átomos etiquetados como "Requisitos" se someten a una clasificación secundaria (Funcional vs. Calidad) y, si son de Calidad, a una clasificación de subtipo (p. ej., Portabilidad, Seguridad) para guiar la generación de artefactos.

Etapa 3: Generación y Revisión de Artefactos

Generación: Los átomos validados se convierten en artefactos pre-SRS tipificados (p. ej., Notas de Investigación de Usuario, Notas de Contexto del Sistema, Restricciones de Atributos de Calidad) utilizando plantillas específicas. El texto del átomo sirve como la principal fuente de verdad; no se permite ningún enriquecimiento no respaldado.
Refinamiento Iterativo: Un LLM juez evalúa los artefactos generados en cinco dimensiones: fidelidad, soporte, contextualidad, alineación estructural y dispersión (sparsity). Los artefactos que no alcanzan el umbral se revisan iterativamente.
Trazabilidad: El pipeline mantiene metadatos de procedencia, vinculando cada artefacto generado con su átomo de origen, su fragmento y su sección original de la SRS.

3. Diseño Experimental

Conjunto de Datos: Siete documentos SRS del conjunto de datos PURE (Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home), que totalizan 31,454 palabras y 1,408 oraciones.
Modelos: Los experimentos utilizaron una mezcla de modelos de código cerrado (Claude Sonnet 4.6, GPT-4o) y de código abierto (GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3).
Métricas de Evaluación:
- AlignScore: Mide el soporte semántico entre el origen y el contenido generado.
- Puntuaciones de Juez/Prometheus: Evaluación de calidad basada en rúbricas (escala 1–5) para fidelidad, atomicidad y alineación estructural.
- Similitud de Embedding (SBERT): Utilizada para medir la retención de información y la recuperabilidad posterior.
- Análisis de Cobertura: Medido a través del porcentaje de unidades de información de origen retenidas durante el pipeline.

4. Resultados Clave

RQ1: Fiabilidad de las Decisiones de RE Basadas en LLM

Enrutamiento Semántico: Los LLM pueden soportar el enrutamiento semántico, pero la fiabilidad varía. Claude Sonnet 4.6 logró el mayor acuerdo con las etiquetas humanas ( $\kappa = 0.83$ para etiquetas, $\kappa = 0.80$ para requisitos). La clasificación de requisitos más detallada mostró un menor acuerdo entre modelos (p. ej., GPT-4o vs. GPT-OSS $\kappa = 0.31$ ).
Juicio de Calidad: Gemma 3 fue identificado como el mejor modelo juez, ofreciendo un sólido equilibrio entre la puntuación F1 y bajas tasas de falsos positivos tanto para átomos como para artefactos.

RQ2: Calidad de los Átomos Generados

Fidelidad: Los átomos generados son generalmente fieles a los fragmentos de origen, con valores medianos de AlignScore entre 0.96 y 0.99. Las tasas de contenido no respaldado fueron típicamente inferiores al 3%.
Cobertura vs. Fidelidad: Aunque los átomos son fieles, la cobertura de la fuente varía significamente (35.6% a 93.5%). Parte de la información se pierde no debido a alucinaciones, sino porque el proceso de descomposición descarta contenido implícito, redundante o débilmente accionable para asegurar la atomicidad.
Calidad: Los átomos post-revisión alcanzaron altas tasas de aprobación (76%–100% para atomicidad; 70%–97% para usabilidad) con puntuaciones promedio de Prometheus entre 4.34 y 4.85.

RQ3: Calidad de los Artefactos Generados

Fundamentación (Grounding): Los artefactos generados permanecen fuertemente fundamentados en los átomos de origen, con valores medios de AlignScore típicamente entre 0.80 y 0.94.
Refinamiento: Las tasas de aprobación del Juez se acercaron al 100% tras el refinamiento iterativo. Sin embargo, la evaluación más estricta de Prometheus reveló una mayor variación (tasas de aprobación del 54.8% al 97.1%), lo que indica que la fundamentación no garantiza la completitud estructural o la dispersión.

RQ4: Reconstrucción de la SRS Posterior

Recuperabilidad: En un caso de estudio de reconstrucción de SRSs a partir de artefactos generados, los átomos de origen fueron semánticamente recuperables (medias SBERT: 0.69–0.75).
Soporte Fáctico: Las medianas de AlignScore para la reconstrucción oscilaron entre 0.76 y 0.84. No obstante, las medias más bajas y los rangos intercuartílicos más amplios sugieren que el soporte fáctico es más variable que la similitud semántica, debido a menudo a la abstracción o el parafraseo durante la compilación.

RQ5: Pérdida de Información y Patrones de Fallo

Problemas de Granularidad: La pérdida de información es impulsada principalmente por la granularidad de la evidencia más que por fallos de generación.
- SRS $\to$ Átomos: La pérdida ocurre cuando las declaraciones son implícitas, agrupadas o dependen del contexto.
- Átomos $\to$ Artefactos: La pérdida ocurre cuando los átomos válidos son demasiado estrechos para llenar plantillas de artefactos restringidas sin añadir contenido no respaldado.
Patrones de Revisión: Las acciones de revisión más frecuentes fueron "Reescribir" y "Eliminar" (para abordar el agrupamiento o la redacción débil), mientras que "Dividir" fue común en secciones densas. "Fusionar" y "Añadir" fueron poco frecuentes.

5. Contribuciones Clave

Caracterización Empírica: El estudio caracteriza la atomización de SRS heredadas mediante LLM, demostrando que una alta fidelidad a nivel de átomo puede coexistir con una variación significativa en la cobertura de la fuente.
Análisis por Etapas: Proporciona un análisis granular de la pérdida de información a través de la transformación de SRS-a-Átomos-a-Artefactos, distinguiendo entre problemas de granularidad de evidencia y alucinaciones.
Fiabilidad del Enrutamiento: Muestra que el enrutamiento semántico de LLM (específicamente para etiquetas de alto nivel) es más fiable que la clasificación de requisitos detallada, con Claude logrando un alto acuerdo humano.
Calibración del Juez: Presenta un procedimiento calibrado por humanos para la selección de jueces LLM para la evaluación de artefactos de RE, basado en 292 tríos anotados.
Paquete de Replicación: Los autores liberan un paquete de replicación trazable que contiene las SRS procesadas, los átomos/artefactos generados, los prompts, los libros de códigos y los metadatos de trazabilidad.

6. Significado y Afirmaciones

El artículo afirma que los artefactos pre-SRS sintéticos y trazables pueden permitir una evaluación más detallada de la generación de SRS basada en LLM. Al descomponer los documentos heredados en unidades atómicas vinculadas a su procedencia, el estudio expone compromisos críticos entre:

Fidelidad: Qué tan bien coincide la salida con la fuente.
Retención de Información: Cuánta información de la fuente se preserva.
Completitud del Artefacto: Si la salida satisface los requisitos estructurales sin alucinaciones.

Los autores concluyen que, si bien los LLM pueden producir átomos fieles y utilizables así como artefactos fundamentados, estas transformaciones no son libres de pérdida. El estudio destaca que el principal cuello de botella es la granularidad de la evidencia: las SRS heredadas a menudo contienen información implícita o agrupada que resiste una descomposición limpia en plantillas de artefactos estándar. Los autores posicionan modestamente su trabajo no como una herramienta de generación de SRS lista para producción, sino como un instrumento experimental para observar y evaluar cómo la información cambia a medida que fluye a través de las etapas de descomposición, enrutamiento y reconstrucción. Sugieren que los sistemas futuros deben tener en cuenta estos compromisos, posiblemente permitiendo artefactos parcialmente especificados o agrupando átomos relacionados en lugar de forzar cada declaración de origen en una plantilla rígida.