💻 ciencias de la computación

Entity and non-functional-requirement extraction from user stories: evidence from supervised sequence models and reproducible LLM benchmarking

Este artículo evalúa modelos de secuencia supervisados y LLMs de pesos abiertos para la extracción de entidades y requisitos no funcionales a partir de historias de usuario, demostrando que un modelo BiLSTM-CRF supera significativamente a los LLMs de zero-shot y one-shot en un benchmark recién publicado y reproducible.

Autores originales: Hazem Abedelrazeq Alreqeb, Motaz SAAD

Publicado 2026-10-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hazem Abedelrazeq Alreqeb, Motaz SAAD

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los equipos de software suelen escribir sus planes como frases cortas de lenguaje natural llamadas historias de usuario. Estas notas siguen un patrón sencillo: "Como [persona], quiero [acción], para que [razón]". Su objetivo es capturar qué debe hacer una pieza de software y por qué es importante. Aunque los humanos pueden leer estas notas fácilmente, las computadoras tienen dificultades para entenderlas. Las frases suelen ser desordenadas, les faltan partes o están escritas de una manera que no se ajusta a una plantilla estricta. Para construir mejores herramientas para la gestión de software, los investigadores necesitan una forma de enseñar a las computadoras a leer estas historias y extraer la información específica: quién está involucrado, qué quiere hacer y por qué lo quiere. También necesitan detectar requisitos ocultos, como reglas sobre velocidad, privacidad o la facilidad de uso del sistema, que a menudo están enterrados en el texto o se dan por sentados.

Un equipo de investigadores se propuso resolver este problema probando dos enfoques diferentes para enseñar a las computadoras cómo extraer estos detalles. El primer enfoque utiliza un tipo especializado de programa informático entrenado con miles de ejemplos para actuar como un editor cuidadoso, resaltando las palabras exactas que encajan en cada categoría. El segundo enfoque utiliza modelos de lenguaje de gran tamaño, que son sistemas de inteligencia artificial potentes capaces de comprender y generar lenguaje humano sin necesidad de un entrenamiento específico para la tarea. Los investigadores querían ver qué método podía extraer con mayor precisión la información correcta de una gran colección de historias de software, y si las nuevas y más flexibles herramientas de IA podían superar a las más antiguas y rígidas.

El equipo comenzó reuniendo una colección masiva de 2,234 historias de usuario en inglés de diversas fuentes públicas, incluyendo comunidades de desarrollo de software y bases de datos de requisitos. Etiquetaron estas historias a mano, marcando exactamente qué palabras representaban a la persona, la acción y el objetivo. Luego probaron una serie de modelos informáticos con estos datos. El modelo más exitoso fue un sistema que lee el texto en ambas direcciones simultáneamente, lo que le permite comprender el contexto de una palabra al observar las palabras anteriores y posteriores. Este modelo, cuando fue entrenado con la colección original, identificó correctamente las partes clave de las historias el 96.2% de las veces. Cuando los investigadores añadieron más ejemplos a los datos de entrenamiento creando variaciones ligeras de las historias existentes, la precisión del modelo mejoró al 98.6%. Este sistema también demostró ser muy bueno detectando los cinco aspectos de calidad que el equipo buscaba: privacidad, rendimiento, usabilidad, escalabilidad y mantenibilidad.

Para asegurar que sus resultados fueran justos y pudieran ser verificados por otros, los investigadores crearon un nuevo conjunto de pruebas compartido que se mantuvo separado de los datos de entrenamiento. Invitaron a siete modelos de lenguaje de gran tamaño diferentes a realizar la misma tarea. A estos modelos se les dieron las historias y se les pidió que devolvieran las respuestas en un formato estricto, sin ninguna explicación adicional. Los investigadores midieron el éxito comprobando si la respuesta de la computadora coincidía palabra por palabra y en el mismo orden con la respuesta etiquetada por un humano. Los resultados mostraron una brecha clara entre los dos tipos de tecnología. El programa informático especializado entrenado con los datos específicos logró una puntuación de precisión de 0.953 en el nuevo conjunto de pruebas. Incluso cuando los investigadores añadieron un pequeño número de ejemplos modificados seguros a su entrenamiento, la puntuación aumentó a 0.961.

En contraste, los modelos de lenguaje de gran tamaño, incluso los más potentes disponibles, tuvieron dificultades significativas cuando se les pidió coincidir con los límites exactos de las palabras. El modelo de lenguaje de gran tamaño con mejor desempeño, sin ningún ejemplo específico para aprender la tarea, obtuvo solo 0.414. Cuando los investigadores le dieron a ese mismo modelo un ejemplo para mostrarle cómo hacer la tarea, su puntuación mejoró ligeramente a 0.434. El problema principal fue que, si bien estos modelos a menudo comprenden el significado general de la historia, frecuentemente incluyeron demasiadas o muy pocas palabras en sus respuestas, o eligieron los puntos de inicio y fin incorrectos para las frases. Debido a que la prueba requería una coincidencia exacta, estos pequeños errores contaban como fallos. El programa especializado, sin embargo, fue diseñado específicamente para encontrar esos límites exactos, lo que lo hace mucho más fiable para este trabajo específico.

El estudio también analizó la rapidez con la que trabajaban estos sistemas. El programa especializado podía procesar una sola historia en menos de medio milisegundo en una computadora estándar, lo que lo hace increíblemente rápido para grandes colecciones de datos. Los modelos de lenguaje de gran tamaño tardaban mucho más, con un promedio de unos 0.7 segundos por historia, lo que representa una diferencia significativa cuando se trata de miles de documentos. Los investigadores señalaron que, si bien los modelos de lenguaje de gran tamaño son excelentes para comprender la idea general y pueden ser útiles para que un humano revise rápidamente, aún no están listos para reemplazar a los programas especializados en tareas que requieren una extracción precisa y automatizada de detalles específicos.

Los investigadores fueron cuidadosos al señalar los límites de su trabajo. No pudieron reproducir completamente los resultados de un experimento anterior más grande debido a que faltaban algunos de los datos y registros originales. También señalaron que el benchmark compartido que crearon dejó intencionadamente vacías las etiquetas del aspecto de calidad (NFR) porque los datos de origen disponibles no estaban validados para las categorías a nivel de historia. En consecuencia, este nuevo conjunto de pruebas compartido no permite una comparación justa de cómo manejaron los modelos de lenguaje de gran tamaño esos requisitos no funcionales específicos. El estudio concluye que para los equipos que necesitan clasificar automáticamente miles de historias de software para encontrar actores, acciones y objetivos específicos, el programa informático especializado sigue siendo la herramienta más precisa y eficiente. Los modelos de lenguaje de gran tamaño pueden servir como un asistente útil para un analista humano, pero aún no pueden confiarse para hacer el trabajo solos sin una revisión cuidadosa. Los investigadores han publicado sus datos y herramientas para que otros científicos puedan verificar estos hallazgos y continuar mejorando la tecnología.

Resumen Técnico: Extracción de Entidades y Requisitos No Funcionales de Historias de Usuario

1. Definición del Problema

Las historias de usuario en el desarrollo ágil suelen seguir la estructura "Como... quiero... para que...", vinculando un actor, una capacidad solicitada y un beneficio pretendido. Sin embargo, en los backlogs operativos, estas historias suelen desviarse del modelo canónico, omiten cláusulas o fusionan capacidades, lo que las dificulta el procesamiento automático.

El artículo aborda dos desafíos de extracción distintos:

Extracción Estructural (Reconocimiento de Entidades): Identificar el USUARIO (actor), la FUNCIÓN (capacidad solicitada) y el OBJETIVO (beneficio pretendido) dentro de un texto en lenguaje natural.
Extracción Cualitativa (RNF): Reconocer cinco aspectos de requisitos no funcionales (RNF): Privacidad, Rendimiento, Usabilidad, Escalabilidad y Mantenibilidad.

El desafío central radica en la dificultad de derivar estas estructuras de manera fiable a partir de texto no estructurado y la necesidad de comparaciones justas y reproducibles entre los modelos de secuencia supervisados tradicionales y los Modelos de Lenguaje de Gran Escala (LLM) modernos.

2. Metodología

El estudio emplea un enfoque de doble vía, distinguiendo entre experimentos supervisados históricos y un nuevo benchmark reproducible.

A. Corpus y Datos

Corpus Original: 2,234 historias de usuario en inglés recopiladas de conjuntos de datos de requisitos, materiales de Scrum Alliance y fuentes públicas.
Corpus Aumentado: Una expansión reportada a 6,980 historias mediante aumentación basada en sinónimos (vía corpus-extender). El artículo señala que el código de entrenamiento original y las semillas específicas para esta aumentación no están disponibles, tratando estos resultados como registros históricos en lugar de evaluaciones independientes totalmente reproducibles.
Benchmark Reproducible Compartido: Un nuevo conjunto de datos derivado de 6,955 identificadores únicos de historias. Se divide en:
- Entrenamiento: 5,008 historias.
- Validación: 556 historias (utilizadas estrictamente para la selección de la configuración del LLM).
- Prueba (Held-out Test): 1,391 historias (utilizadas exactamente una vez para la inferencia final).
- Aumentación Libre de Filtración (Leakage-Safe): Se añadieron 599 variantes con cambios textuales al conjunto de entrenamiento. Crucialmente, estas variantes se derivan únicamente de la partición de entrenamiento original, asegurando que ninguna historia de validación o de prueba se filtre al entrenamiento.

B. Modelos Evaluados

Modelos de Secuencia Supervisados:
- Baselines: Pipeline de spaCy personalizado, Campo Aleatorio Condicional (CRF).
- Modelos Neuronales: LSTM–CRF y BiLSTM–CRF. Los modelos neuronales utilizan embeddings de 300 dimensiones, una LSTM de dos capas (256 unidades ocultas), dropout (0.5) y una capa de salida CRF para modelar las dependencias de las etiquetas.
Modelos de Lenguaje de Gran Escala (LLMs):
- Siete modelos de pesos abiertos servidos localmente (ej. Gemma4-12B, Qwen3.5-4B, Ministral-3-8B) mediante Ollama.
- Protocolos: Evaluados bajo configuraciones Zero-shot y One-shot (y hasta 4-shot).
- Estrategia de Selección: Las configuraciones de los LLM se seleccionaron basándose únicamente en el rendimiento de validación para evitar el sobreajuste al conjunto de prueba.

C. Métricas de Evaluación y Puntuación

Métrica: micro-F1 de rango exacto normalizado.
Rigurosidad: La métrica requiere una coincidencia exacta del rango de caracteres (normalizada por mayúsculas/minúsculas y puntuación). Los rangos que son semánticamente correctos pero con discrepancias en los límites se cuentan como incorrectos.
Alcance: El benchmark compartido evalúa únicamente las tres entidades estructurales (USUARIO, FUNCIÓN, OBJETIVO). No soporta la comparación de RNF porque los campos de RNF liberados son listas a nivel de término en lugar de categorías validadas a nivel de historia.

3. Resultados Clave

A. Resultados Históricos Supervisados (Corpus Original y Aumentado)

En las divisiones del corpus original, el BiLSTM–CRF logró el mayor rendimiento:

F1 del Corpus Original: 0.962 (superando al CRF con 0.934 y a spaCy con 0.859).
F1 del Corpus Aumentado: 0.986.
Rendimiento de RNF: En los datos aumentados, el BiLSTM–CRF alcanzó puntuaciones F1 por aspecto entre 0.981 y 0.988 para las cinco categorías de RNF.

B. Resultados del Benchmark Compartido Reproducible (1,391 Historias de Prueba)

Bajo la estricta regla de coincidencia de rango exacto en el conjunto de prueba reservado:

BiLSTM–CRF (Entrenamiento Original): Logró un F1 general de 0.953.
BiLSTM–CRF (+599 Variantes Libres de Filtración): Mejoró a 0.961 de F1 general. La ganancia más significativa se observó en la entidad OBJETIVO (0.923 $\to$ 0.945).
Rendimiento de los LLM:
- Zero-shot: El mejor modelo zero-shot, Gemma4-12B, alcanzó un F1 de 0.414.
- One-shot: La mejor configuración seleccionada por validación, Qwen3.5-4B (1-shot), alcanzó 0.434 de F1.
- Desglose: Los LLM funcionaron bien en la extracción de USUARIO (ej. 0.984 para Gemma4-12B) pero tuvieron dificultades significativas con FUNCIÓN y OBJETIVO (puntuaciones a menudo < 0.10), lo que indica que la coincidencia estricta de límites es un obstáculo importante para los modelos generativos en este contexto.

C. Eficiencia

BiLSTM–CRF: El tiempo de inferencia fue aproximadamente de 0.493 ms por historia (entrenamiento original) y 0.586 ms (aumentado) en una NVIDIA RTX A6000.
LLMs: El LLM seleccionado tuvo un tiempo de ejecución medio de 0.723 segundos por historia, resaltando una diferencia de latencia significativa en comparación con el etiquetador de secuencias especializado.

4. Contribuciones Clave

Consolidación de Evidencia: El artículo consolida los resultados de tesis históricos para los modelos supervisados (BiLSTM–CRF) sin intentar recrear valores de precisión/exhaustividad (precision/recall) no soportados debido a la falta de registros brutos.
Benchmark Reproducible: Libera un benchmark de extracción de entidades fijo y libre de filtración (6,955 historias, 1,391 de prueba) con divisiones e identificación idénticas tanto para BiLSTM–CRF como para siete LLMs.
Aumentación Libre de Filtración: Demuestra un método para aumentar los datos de entrenamiento utilizando variantes derivadas estrictamente de la partición de entrenamiento, mostrando una mejora constante del F1 (0.953 $\to$ 0.961) sin contaminar el conjunto de prueba.
Comparación Justa de LLM: Establece un protocolo donde las configuraciones de los LLM se seleccionan mediante validación únicamente, evitando la filtración del conjunto de prueba, y aplica una métrica estricta de rango exacto que penaliza los errores de límite.

5. Significado y Reivindicaciones

El artículo adopta una postura modesta y orientada a la evidencia:

Superioridad Supervisada: En el contexto específico de extraer entidades estructurales con restricciones de límite estrictas, el BiLSTM–CRF especializado supera significativamente tanto a los LLM zero-shot como a los de one-shot seleccionados por validación (0.961 vs. ~0.43).
Implicación Práctica: Para equipos con backlogs estables capaces de etiquetar historias representativas, el BiLSTM–CRF reproducido es la opción predeterminada práctica para una extracción de sub-milisegundo y de precisión en los límites.
Rol de los LLM: Los LLM con prompts se posicionan como asistencia de analista interactiva en lugar de reemplazos desatendidos. Son efectivos para identificar actores (USUARIO) y generar estructuras JSON para revisión, pero sus bajas puntuaciones de rango exacto para acciones y objetivos requieren verificación humana antes de su uso en procesos posteriores.
Limitaciones: El artículo establece explícitamente que no reclama significancia estadística, latencia independiente del hardware o superioridad sobre todas las posibles estrategias de prompting de LLM. Además, no puede reclamar la superioridad en la extracción de RNF en el nuevo benchmark debido a la falta de etiquetas de RNF validadas a nivel de historia.

Los autores concluyen que, si bien la evidencia histórica respalda una alta precisión de RNF para BiLSTM–CRF, el nuevo benchmark confirma que, para la extracción de entidades estructurales, los modelos de secuencia supervisados mantienen actualmente una ventaja sustancial sobre los LLM generativos cuando se evalúan bajo condiciones estrictas y reproducibles.