Resumen Técnico: OntoAgent para la Elicitación de Requisitos

Enunciado del Problema

Las entrevistas de elicitaación de requisitos son una piedra angular de la ingeniería de requisitos, pero siguen dependiendo en gran medida de la experiencia de los analistas humanos. Esta dependencia incurre en costos significativos de tiempo y formación e introduce riesgos de sesgo humano y malentendidos en la comunicación. Si bien los Modelos de Lenguaje Grande (LLM) ofrecen una vía para automatizar este proceso, los enfoques existentes de "libre forma", donde un LLM actúa como entrevistador sin guía estructural, adolecen de limitaciones críticas. Estudios empíricos indican que estos modelos luchan por descubrir requisitos implícitos, a menudo generan preguntas genéricas o redundantes en las etapas iniciales del diálogo, y carecen de interpretabilidad y controlabilidad. En consecuencia, no logran explorar sistemáticamente el espacio de requisitos, lo que lleva a una captura incompleta de los mismos.

Metodología: OntoAgent

Para abordar estas limitaciones, los autores proponen OntoAgent, un agente de entrevista que integra LLMs con una Ontología de Experiencia estructurada. El principio de diseño central es modelar explícitamente el marco cognitivo estructurado que utilizan los analistas experimentados, desacoplando qué preguntar (guiado por la ontología) de cómo preguntar (generado por el LLM).

El marco opera en dos etapas interrelacionadas:

1. Inducción de la Ontología de Experiencia

OntoAgent construye automáticamente una estructura de árbol jerárquica de tres niveles a partir de textos de requisitos específicos del dominio. Esta ontología sirve como un espacio de cuestionamiento estructurado:

• Aspectos (Nivel 1): Abstracciones de alto nivel de los requisitos del sistema (por ejemplo, Interacción, Contenido, Estilo). Estos son proporcionados por expertos del dominio para garantizar estabilidad.
• Dimensiones (Nivel 2): Puntos funcionales centrales dentro de un aspecto (por ejemplo, Búsqueda, Visualización, Inicio de sesión). Estas se inducen automáticamente utilizando un LLM con una estrategia de expansión conservadora que prioriza la fusión semántica sobre la creación de nuevas dimensiones.
• Espacios (Nivel 3): Detalles de requisitos detallados y aclarables (por ejemplo, opciones de filtrado, reglas de ordenación). Estos se extraen como tuplas de elementos normalizados y preguntas candidatas de aclaración.

2. Entrevista Guiada por Ontología

Durante la entrevista de múltiples turnos, OntoAgent ejecuta un bucle de decisión que involucra cuatro operaciones clave para seleccionar dinámicamente el espacio de requisito más relevante pero insuficientemente explorado:

• ParseUser: Interpreta las respuestas de los interesados para apoyar decisiones de poda tanto a nivel de aspecto como de dimensión.
• ScoreOnto: Asigna puntuaciones de prioridad iniciales a los nodos de la ontología basándose en la descripción inicial de los requisitos para asegurar que la entrevista comience con ramas de alta relevancia.
• ReRankOnto: Reevalúa y reordena dinámicamente los espacios candidatos basándose en el historial de diálogo actualizado para adaptarse al nuevo contexto.
• GatePrune: Implementa dos mecanismos de poda para reducir la redundancia:
  • Nivel de aspecto: Dispara una pregunta de confirmación macro después de que $N$ consultas no produzcan nuevos requisitos; si es negativa, la rama se poda.
  • Nivel de dimensión: Poda inmediatamente los espacios si una dimensión es rechazada explícitamente por el interesado.
• QuestionGen: Combina el espacio seleccionado con el contexto actual del diálogo para generar una pregunta de elicitaación en lenguaje natural y consciente del contexto.

Contribuciones Clave

1. Marco OntoAgent: La propuesta de un agente de entrevista que modela explícitamente la experiencia de la entrevista como una ontología e la integra con LLMs para facilitar la generación estructurada de preguntas.
2. Ontología de Experiencia: El desarrollo de un árbol jerárquico de tres niveles (Aspectos, Dimensiones, Espacios) que sirve como un espacio de cuestionamiento interpretable y estructurado.
3. Mecanismo Guiado por Ontología: El diseño de un mecanismo de toma de decisiones que comprende cuatro operaciones (ParseUser, ScoreOnto, ReRankOnto, GatePrune) para seleccionar dinámicamente espacios de requisitos y generar preguntas conscientes del contexto.
4. Evaluación Exhaustiva: Evaluaciones cuantitativas y cualitativas extensas que demuestran la efectividad del marco y su aplicabilidad práctica.

Resultados Experimentales

Los autores evaluaron OntoAgent en 101 escenarios de aplicaciones web utilizando el entorno ReqElicitGym, comparándolo contra cinco líneas base (incluyendo Non-CoT, CoT, LLMREI-corto/largo, y Prompting guiado por errores).

• Efectividad (IRE): OntoAgent logró una Tasa de Elicitación de Requisitos Implícitos (IRE) de 0.69, representando una mejora relativa del 33% sobre la mejor línea base (Prompting guiado por errores en 0.52). Esto demuestra una capacidad superior para descubrir requisitos implícitos.
• Eficiencia (TKQR): OntoAgent logró una Tasa de Preguntas Clave con Descuento por Turno (TKQR) de 0.59, una mejora relativa del 21% sobre la mejor línea base. Esto indica una mayor eficiencia en el cuestionamiento y la capacidad de identificar requisitos clave en etapas más tempranas del diálogo.
• Estudios de Ablación: La adición incremental de componentes confirmó que la Ontología de Experiencia proporciona la mayor ganancia de rendimiento, mientras que ScoreOnto, ReRankOnto y GatePrune afinan aún más la alineación, la eficiencia y la reducción de redundancia.
• Robustez: El marco demostró una fuerte generalización a través de seis LLMs base diferentes (incluyendo Claude, Gemini, DeepSeek, Kimi, GLM y Qwen), manteniendo un rendimiento competitivo independientemente del modelo subyacente.
• Análisis por Tipo: OntoAgent proporcionó una cobertura equilibrada en requisitos de interacción, contenido y estilo. Cabe destacar que superó significativamente a las líneas base en la elicitaación de requisitos de estilo (IRE 0.55 frente a <0.01 para algunas líneas base), una categoría a menudo descuidada por los enfoques de libre forma.
• Evaluación Humana: En un estudio con 6 participantes actuando como interesados, OntoAgent recibió puntuaciones de Likert significativamente más altas (p < 0.05) en efectividad de elicitaación, eficiencia de cuestionamiento y adaptabilidad en comparación con las líneas base.

Significado y Afirmaciones

El artículo afirma que OntoAgent cierra con éxito la brecha entre las capacidades generativas de los LLMs y los procesos cognitivos estructurados de los analistas experimentados. Al transformar los chats de LLM de libre forma en procesos de indagación sistemáticos e interpretables, OntoAgent aborda los problemas críticos de la omisión de requisitos implícitos y el cuestionamiento redundante.

Los autores afirman que su trabajo demuestra la importancia de los agentes LLM guiados por ontologías para avanzar en el desarrollo automatizado de requisitos. Concluyen que modelar explícitamente la experiencia de la entrevista es esencial para lograr una alta cobertura y eficiencia en la elicitaación, y que su enfoque ofrece una solución práctica y extensible para tareas de elicitaación de requisitos en el mundo real más allá del dominio de aplicaciones web probado.