Resumen Técnico: Configuración de Requisitos Basada en Modelos con Calificación de Incertidumbre de Tres Valores

1. Planteamiento del Problema

La ingeniería de requisitos (RE) es inherentemente costosa y propensa a errores. Si bien los modelos de dominio formales como el Método Orientado a Objetos para la Autoría y Gestión de Requisitos (OOMRAM) proporcionan estructuras matemáticas rigurosas para gestionar la variabilidad en las líneas de productos de software, su aplicación tradicional sufre de un "cuello de botella de coincidencia exacta". Estos formalismos requieren que los analistas naveguen por complejos retículos utilizando identificadores de requisitos exactos o una sintaxis rígida, lo que impide el uso de descripciones de proyectos en lenguaje natural (visiones) para la elicitación.

Por el contrario, los Modelos de Lenguaje Extensos (LLMs) ofrecen la flexibilidad para interpretar el lenguaje natural, pero carecen de garantías de corrección formal. Cuando se aplican a la RE, los enfoques de LLM puros generan frecuentemente requisitos estructuralmente inválidos, inconsistencias lógicas (por ejemplo, seleccionar opciones mutuamente excluyentes) e identificadores alucinados. Los enfoques neuro-simbólicos existentes a menudo verifican la lógica ex-post (después de la generación) o dependen de mitigaciones heurísticas, fallando en proporcionar la ejecución determinista requerida para la ingeniería de requisitos de alta fiabilidad.

2. Metodología

El artículo propone una arquitectura multi-agente neuro-simbólica que operacionaliza el retículo OOMRAM para cerrar la brecha entre las visiones en lenguaje natural y las restricciones estructurales formales. El sistema está diseñado para la fase de selección de características de la elicitación de requisitos de una línea de producto, donde el objetivo es identificar qué requisitos de un retículo pre-diseñado son mandatorios o compatibles con la visión de un interesado.

2.1. Arquitectura del Sistema

El sistema, implementado usando LangGraph, consta de cuatro agentes:

• Navigator (Navegador): Realiza un recorrido de búsqueda en profundidad (depth-first traversal) del retículo OOMRAM, seleccionando el siguiente nodo discriminante para procesar. Utiliza una estrategia basada en fronteras para asegurar un escalado lineal y evitar el procesamiento redundante.
• Interpreter (Intérprete - LLM): Actúa como una heurística no determinista. Traduce la visión del proyecto y el contexto actual en un conjunto propuesto de IDs de hijos (salida en formato JSON). Opera con temperatura 0 para minimizar la estocasticidad.
• Validator (Validador - Simbólico): Una función de Python determinista que impone restricciones estructurales inmediatamente después de cada propuesta del Intérprete. Verifica el conjunto de selección $S$ contra el predicado de consistencia global $\Psi(S)$, que incluye cuatro invariantes axiomáticos:
  1. Invariante de Núcleo (Core): Selección obligatoria de nodos de Núcleo si su padre está activo.
  2. Invariante de Adaptador Único (SA): Se debe seleccionar exactamente un hijo para los nodos SA (lógica XOR).
  3. Invariante de Múltiples Adaptadores (MA): Se debe seleccionar al menos un hijo para los nodos MA (lógica OR).
  4. Integridad Estructural: Sin nodos huérfanos; cada nodo seleccionado no-raíz debe tener un padre seleccionado.
• Scribe (Escriba): Compila el conjunto validado final en una especificación formateada.

2.2. El Bucle de Corrección

Si el Validador detecta una violación, rechaza la propuesta y devuelve un mensaje de error detallado al Intérprete. El Intérprete entonces revisa su propuesta utilizando esta retroalimentación. Este bucle continúa hasta que las restricciones se satisfacen o se alcanza un "presupuesto de llamadas" (limitado a 150 llamadas de LLM por visión).

2.3. Calificación de Incertidumbre de Tres Valores

Para abordar la limitación de la etiqueta binaria "correcto/incorrecto", los autores introducen un marco de tres valores $\langle T, I, F \rangle$ aplicado a la salida del Validador:

• Verdad ($T$): La selección es estructuralmente válida y está explícitamente mandada por la visión (o una especificación de estándar de oro).
• Indeterminación ($I$): La selección es estructuralmente válida pero no está explícitamente mandada. Esto representa elecciones discrecionales legítimas (por ejemplo, seleccionar un protocolo específico de un conjunto de adaptadores válidos).
• Falsedad ($F$): La selección fue rechazada por el Validador debido a una violación estructural.

Esta calificación permite al sistema cuantificar la "libertad legítima" inherente al retículo de requisitos frente a los errores reales.

3. Contribuciones Clave

1. Arquitectura Neuro-Simbólica: Un sistema que delega la lógica estructural a una capa simbólica determinista, haciendo que los retículos OOMRAM formales sean prácticos para la elicitación en lenguaje natural, garantizando simultáneamente la conformidad estructural.
2. Marco de Evaluación de Tres Valores: Una métrica novedosa para distinguir entre requisitos mandatorios, elecciones discrecionales válidas y errores estructurales, proporcionando una forma formal de medir la incertidumbre neural.
3. Validación Empírica: Una evaluación exhaustiva a través de 37 visiones de proyectos en lenguaje natural que abarcan once familias de aplicaciones (ej. Smart Home, eRecord Keeping, Automotive IVI).
4. Prueba Formal y Comparación de Línea Base: Una prueba formal de la convergencia del validador y un análisis comparativo que demuestra la superioridad del sistema sobre los LLM no restringidos y las estrategias estándar de NLP4RE (RAG, Self-Consistency, Multi-agent Debate).

4. Resultados

El sistema fue evaluado en una máquina Apple M1 Pro utilizando el modelo Llama 3.1 8B, con una replicación utilizando el modelo de frontera NVIDIA Nemotron 3 Ultra.

• Conformidad Estructural (RQ1): El sistema eliminó las inconsistencias estructurales en 35 de los 37 casos (94.6%). Los dos casos restantes contenían solo 6 errores estructurales no resueltos (0.39% de las decisiones totales), atribuidos a alcanzar el límite de iteración antes de la convergencia. Bajo el modelo de frontera (Nemotron 3 Ultra), el sistema logró una convergencia del 100% con 0% de falsedad estructural.
• Cuantificación de la Incertidumbre (RQ2): El análisis de tres valores reveló que el 24.7% de todas las decisiones fueron Indeterminadas ($I$). Estas fueron elecciones estructuralmente válidas no mandadas explícitamente por la visión, concentradas principalmente en nodos de Múltiples Adaptadores (MA) y Opcionales. Esto confirma que el sistema identifica correctamente dónde la intención del interesado es insuficiente.
• Comparación con la Línea Base (RQ3): Sin el validador simbólico, las estrategias de LLM sin restricciones resultaron en tasas de falsedad estructural que oscilaron entre el 62.2% y el 94.6%. El sistema neuro-simbólico redujo esto a un 5.4% (Llama 3.1 8B) y 0.0% (Nemotron 3 Ultra). Notablemente, una línea base de RAG sufrió una tasa de falsedad del 94.6% debido al sesgo de anclaje de recuperación, donde el LLM seleccionó nodos hoja sin sus rutas de padres requeridas.
• Escalabilidad (RQ4): El número de llamadas de LLM escala casi linealmente con el tamaño del retículo ($R^2 = 0.69$), confirmando la eficiencia de la estrategia de poda basada en fronteras. Sin embargo, la latencia de tiempo de ejecución está dominada por la sobrecarga de red/servicio del modelo, más que por la complejidad del retículo. El validador simbólico añade una sobrecarga insignificante (<0.4% de la latencia total).

5. Significado y Reivindicaciones

El artículo sostiene que delegar la integridad estructural a una capa simbólica determinista garantiza con éxito la conformidad estructural, transformando efectivamente las salidas neurales inconsistentes en especificaciones verificadas y estructuralmente sólidas.

• Seguridad en el Despliegue: La arquitectura proporciona un patrón de diseño general para el despliegue seguro de LLM en dominios de misión crítica o sensibles a la calidad, al separar la heurística neural del verificador de restricciones simbólicas. Esto asegura que el componente de LLM pueda actualizarse sin comprometer las garantías formales.
• Retroalimentación Accionable: La clasificación de tres valores proporciona retroalimentación inmediata a los profesionales. Una alta indeterminación señala visiones insuficientes que requieren la aclaración de un analista, mientras que la falsedad persistente (aunque rara) señala problemas específicos de comprensión del modelo o del retículo.
• Rigor Formal: A diferencia de los enfoques heurísticos, este sistema ofrece una garantía determinista: para cualquier ejecución que converja dentro del presupuesto de llamadas, se garantiza que la salida final satisfará todas las restricciones del retículo.

Los autores mantienen una postura modesta, reconociendo que el sistema no puede detectar alucinaciones semánticas (selecciones estructuralmente válidas pero irrelevantes) y depende de retículos OOMRAM pre-diseñados. Señalan que, si bien la capa simbólica garantiza la corrección estructural, la capacidad del LLM para seguir mensajes de error y converger sigue dependiendo del modelo, como se evidencia en la diferencia de rendimiento entre los modelos 8B y de frontera. Se propone como trabajo futuro la automatización de la extracción de retículos, la integración de la ruta semántica para la selección de familias y el paso de la calificación de tres valores nítida a una visualización de incertidumbre basada en probabilidades continuas.