Resumen Técnico: LENS – Descubrimiento de Requerimientos Latentes Basado en LLM a partir de Conversaciones con Stakeholders

Planteamiento del Problema

Las entrevistas con los stakeholders son una fuente primaria para la elicitación de requerimientos, sin embargo, una parte significativa de los requerimientos relevantes permanece implícita. Los stakeholders frecuentemente describen flujos de trabajo, desafíos operativos e ineficiencias sin articular explícitamente las capacidades de software necesarias para abordarlos. Si bien investigaciones recientes han explorado el uso de Modelos de Lenguaje de Gran Escala (LLMs) para extraer requerimientos de datos conversacionales, los enfoques existentes se centran principalmente en identificar requerimientos explícitamente declarados. Esta limitación pasa por alto los requerimientos latentes: oportunidades plausibles de automatización de software que se vuelven evidentes solo cuando las declaraciones de los stakeholders se interpretan en el contexto de las herramientas organizacionales, los flujos de trabajo y la infraestructura existentes. El desafío radica en automatizar la inferencia de estos requerimientos latentes manteniendo la trazabilidad con la conversación original y asegurando que los requerimientos generados sean accionables.

Metodología: El Enfoque LENS

Los autores proponen LENS (LLM-Enabled Needs Discovery from Stakeholder Interviews), un marco de trabajo de dos pasos diseñado para analizar transcripciones de entrevistas con stakeholders para extraer tanto requerimientos explícitos como latentes.

Flujo de Trabajo Central

1. Paso 1: Extracción de Requerimientos Explícitos:

   • El LLM analiza las transcripciones de las entrevistas para identificar los requerimientos expresamente declarados por los stakeholders.
   • Los extrae como historias de usuario estructuradas vinculadas a fragmentos específicos de la transcripción y marcas de tiempo para asegurar la trazabilidad.
   • El proceso utiliza few-shot prompting con reglas específicas para distinguir entre requerimientos reales y meras descripciones de procesos manuales actuales o de automatización existente.

2. Paso 2: Inferencia de Requerimientos Latentes:

   • El LLM analiza las mismas transcripciones junto con el contexto organizacional, específicamente descripciones de las herramientas de software disponibles, la infraestructura y las capacidades de automatización.
   • Al razonar sobre las descripciones de puntos de dolor e ineficiencias de los stakeholders a la luz de estas herramientas, el LLM infiere requerimientos latentes.
   • Para cada requerimiento inferido, LENS genera una justificación estructurada que explica:
     • El problema o la ineficiencia subyacente.
     • Cómo el requerimiento aborda el problema utilizando herramientas organizacionales específicas.
     • El impacto esperado en las prácticas organizacionales (por ejemplo, ahorro de tiempo).

Implementación Técnica

• Modelo: El estudio utilizó Claude Sonnet 4.5, elegido por sus fuertes capacidades de razonamiento y su gran ventana de contexto.
• Ingeniería de Prompts: El sistema emplea prompts que contienen:
  • Definiciones de rol (extractor vs. inferidor).
  • Trece criterios de Calidad de Historia de Usuario (QUS) para asegurar claridad, completitud y consistencia.
  • Reglas específicas para distinguir la intención explícita del ruido conversacional.
  • Ejemplos de few-shot para guiar la generación.
  • Formatos de salida estructurados (JSON) para la integración posterior.
• Anclaje de Contexto (Context Grounding): El Paso 2 introduce explícitamente una lista de herramientas organizacionales y sus capacidades para anclar la inferencia en la viabilidad técnica.

Evaluación Empírica

Los autores realizaron una evaluación preliminar en un entorno industrial con eSentire, una empresa global de ciberseguridad.

• Conjunto de Datos: Doce transcripciones de entrevistas semiestructuradas de un Centro de Operaciones de Seguridad (SOC), que cubren la evaluación del desempeño de analistas y flujos de trabajo de reporte. Las transcripciones promediaron ~60 minutos, conteniendo ~8,900 palabras y 154 turnos de habla.
• Métricas de Evaluación:
  • RQ1 (Precisión de la Extracción Explícita): Medida mediante Precisión, Recall y F1-score contra un conjunto de verdad fundamental (ground-truth) construido por un investigador y validado por expertos en el dominio.
  • RQ2 (Utilidad de los Requerimientos Latentes): Evaluada por dos expertos independientes en el dominio en eSentire. Ellos evaluaron los requerimientos basándose en la ganancia de tiempo (comparando la ejecución automatizada vs. manual), la novedad y la viabilidad.

Resultados Clave

• Requerimientos Explícitos (RQ1):
  • Con una configuración de temperatura de 0.7, LENS logró el mejor desempeño:
    • Precisión: 73%
    • Recall: 100%
    • F1-Score: 84.4%
  • Los falsos positivos fueron causados principalmente por la mala interpretación del LLM de menciones de trabajo manual (sin intención de automatización), discusiones de automatización existente, o lenguaje de confirmación (ej. "¿verdad?") como nuevos requerimientos.
• Requerimientos Latentes (RQ2):
  • Utilidad: En promedio, el 75% de los requerimientos latentes inferidos fueron calificados por los expertos como proveedores de una Ganancia de Tiempo Moderada o Alta (es decir, automatización útil o potencial de ahorro de tiempo).
  • Novedad: Los expertos señalaron que los requerimientos inferidos a menudo proporcionaban ideas y oportunidades que los stakeholders no habían considerado inicialmente.
  • Desafíos de Viabilidad: Aproximadamente el 49% de los comentarios de los expertos destacaron la falta de detalles técnicos concretos en las justificaciones. Otros problemas incluyeron dependencias de fuentes de datos/APIs específicas no descritas completamente y una desalineación ocasional con las capacidades reales de las herramientas propuestas.

Principales Contribuciones

1. Marco de Trabajo LENS: Un enfoque novedoso que extiende las capacidades de los LLM más allá de la extracción de requerimientos explícitos hacia la inferencia de requerimientos latentes mediante el razonamiento sobre el contexto organizacional (herramientas e infraestructura).
2. Salida Estructurada: La generación de tanto requerimientos explícitos como latentes como historias de usuario trazables con justificaciones estructuradas, vinculándolas de vuelta a marcas de tiempo específicas de la transcripción.
3. Evaluación Industrial Preliminar: Una evaluación realista del desempeño de los LLM en el dominio de la ciberseguridad, demostrando una alta precisión en la extracción (84.4% F1) y un valor percibido significativo en la inferencia latente (75% de potencial de ahorro de tiempo).

Significado y Afirmaciones

El artículo posiciona a LENS no como una herramienta para producir características inmediatas listas para implementación, sino como un mecanismo para estimular la discusión posterior con los stakeholders y la elicitación iterativa de requerimientos.

• Artefactos de Etapa Temprana: Los autores afirman que los requerimientos latentes inferidos sirven como valiosos "artefactos de elicitación de etapa temprana". Ayudan a reencuadrar las conversaciones en torno a la mitigación de ineficiencias y la realización de un potencial de automatización no aprovechado que los stakeholders podrían no haber articulado.
• Humano en el Bucle (Human-in-the-Loop): El estudio enfatiza que la revisión experta sigue siendo crítica. El acuerdo moderado entre evaluadores y los comentarios sobre la viabilidad sugieren que los requerimientos latentes generados por el LLM deben tratarse como puntos de partida para ideas en lugar de especificaciones finalizadas.
• Necesidad de Contexto: Los resultados resaltan que la calidad y la viabilidad de los requerimientos inferidos dependen altamente de descripciones ricas de las herramientas e infraestructura de la organización. Sin este anclaje, las sugerencias del LLM pueden parecer plausibles pero permanecer desalineadas con las restricciones del sistema.

Los autores concluyen que, si bien sus hallazgos son preliminares (limitados a una organización y un dominio), proporcionan evidencia temprana de que los LLMs pueden apoyar eficazmente tanto la extracción de necesidades explícitas como el descubrimiento de oportunidades latentes en la ingeniería de requerimientos.