Towards Energy-aware Requirements Dependency Classification: Knowledge-Graph vs. Vector-Retrieval Augmented Inference with SLMs

Título: Hacia la Clasificación de Dependencias de Requisitos Consciente de la Energía: Grafos de Conocimiento vs. Recuperación Aumentada por Vectores con Modelos de Lenguaje Pequeños (SLMs)

1. Problema

La ingeniería de requisitos (RE) enfrenta un desafío crítico: la detección y clasificación de dependencias conflictivas entre requisitos (donde cumplir uno impide o contradice a otro). Tradicionalmente, este proceso es manual y laborioso. Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado potencial para automatizar esta tarea, su despliegue conlleva un alto costo computacional, un consumo energético excesivo y una gran huella de carbono, lo que los hace insostenibles para flujos de trabajo iterativos.

Existe una necesidad urgente de transicionar hacia Modelos de Lenguaje Pequeños (SLMs) (en el rango de 7B-8B parámetros) que son más eficientes. Sin embargo, los SLMs carecen de la capacidad de razonamiento contextual profundo de los LLMs masivos y requieren mecanismos de aumento robustos. Las técnicas de recuperación actuales se basan principalmente en Recuperación Semántica Vectorial (VSR), que sufre de "ceguera estructural" (no entiende jerarquías ni relaciones complejas), o en Recuperación basada en Grafos de Conocimiento (KGR), que es estructuralmente rica pero computacionalmente costosa en la fase de indexación. No existe un marco unificado que evalúe el equilibrio entre el rendimiento predictivo y el impacto ambiental en la clasificación de dependencias de requisitos.

2. Metodología

El estudio propone y evalúa empíricamente un marco de trabajo consciente de la energía que compara dos estrategias de recuperación aumentada para SLMs:

• Enfoques de Recuperación:
  • KGR (Knowledge Graph-based Retrieval): Utiliza un pipeline lingüístico (spaCy) para extraer entidades estructuradas (actores, acciones, objetos, condiciones) y las almacena en un grafo de conocimiento (Neo4j). La recuperación se basa en la travesía del grafo a través de entidades compartidas y relaciones tipadas, calculando una puntuación basada en la superposición de entidades, la coherencia de los roles estructurales y la proximidad en el grafo.
  • VSR (Vector-based Semantic Retrieval): Utiliza modelos de transformadores densos (Sentence-Transformers) para generar embeddings de 768 dimensiones y realiza una búsqueda de vecinos más cercanos en una base de datos vectorial (Milvus) basada en similitud coseno.
• Modelos y Configuración: Se utilizaron tres SLMs de código abierto (DeepSeek-Coder-7B, Llama-3-8B, Mistral-7B) en lugar de LLMs propietarios para garantizar control total sobre la medición de energía.
• Estrategias de Prompting: Se evaluaron tres técnicas: Zero-Shot, Few-Shot y Chain-of-Thought (CoT).
• Métricas de Evaluación:
  • Rendimiento: Precisión, Recall y F1-score (Macro).
  • Eficiencia de Recuperación: Recall@K.
  • Sostenibilidad: Consumo de energía (Wh), latencia (s) y emisiones de carbono (gCO2eq), medidos mediante CodeCarbon.
  • Métrica Compuesta: EcoScore, que relaciona el rendimiento (F1) con el costo de carbono.
• Datos: Se utilizaron cinco conjuntos de datos heterogéneos (OpenCOSS, WorldVista, UAV, PURE, IBM-UAV) que cubren dominios críticos como seguridad, salud y aeroespacial.

3. Contribuciones Clave

1. Comparación Empírica Sistemática: Es el primer estudio que compara KGR frente a VSR bajo estrictas restricciones de energía y carbono para la detección de dependencias de requisitos usando SLMs de 7-8B.
2. Arquitectura KGR Novel: Propone un pipeline de recuperación basado en grafos diseñado para superar la ceguera estructural de los métodos vectoriales, capturando dependencias jerárquicas que los embeddings densos suelen pasar por alto.
3. Análisis de Sostenibilidad Multidimensional: Introduce un marco de tres pilares (energía, latencia, carbono) junto con métricas de precisión, analizando las compensaciones (trade-offs) entre el rendimiento predictivo y el impacto ambiental.
4. Ciencia Abierta: Proporciona código fuente, prompts, análisis de sensibilidad y un paquete de replicación completo para la comunidad.

4. Resultados Principales

• KGR vs. VSR (RQ1):
  • En cuatro de los cinco conjuntos de datos (Pure, OpenCoss, UAV, WorldVista), KGR superó a VSR en sostenibilidad, reduciendo el consumo de energía entre un 71% y un 75% y las emisiones de carbono hasta un 80%, manteniendo un Recall@K comparable (diferencia ≤ 5%).
  • La única excepción fue el conjunto de datos IBM-UAV (escala grande y alta profundidad de recuperación), donde VSR fue más eficiente energéticamente y obtuvo un recall ligeramente superior, debido a la sobrecarga computacional de la travesía densa de grafos en corpus masivos.
  • KGR introdujo una sobrecarga de latencia de aproximadamente un 45-48% en la mayoría de los casos, pero el ahorro energético compensa este costo.
• Impacto del Prompting (RQ2):
  • Zero-Shot resultó ser la estrategia más eficiente energéticamente, minimizando el uso de tokens y emisiones, mientras mantenía un rendimiento competitivo (especialmente en Mistral y DeepSeek).
  • Few-Shot duplicó el uso de tokens y aumentó las emisiones de carbono en un 5-6% sin mejoras consistentes en la precisión.
  • Chain-of-Thought (CoT) mejoró significativamente la precisión en modelos como Llama, pero a un costo energético moderado-alto.
  • Mistral-7B con Zero-Shot ofreció el mejor equilibrio global entre sostenibilidad y rendimiento.
• Relación Sostenibilidad-Rendimiento (RQ3):
  • La implementación de pipelines aumentados con recuperación (KGR/VSR) redujo el espacio de búsqueda de inferencia en un 51.8% (de 35,498 pares a 17,123 pares).
  • Esto resultó en una reducción total de energía y carbono de aproximadamente 51.8% en comparación con una inferencia exhaustiva (vanilla) sin recuperación, sin sacrificar la precisión del modelo.

5. Significado e Implicaciones

Este estudio demuestra que la sostenibilidad en la IA no debe lograrse solo reduciendo el tamaño del modelo, sino optimizando la arquitectura del pipeline de inferencia.

• Reducción del Espacio de Búsqueda: La clave para la eficiencia energética en RE no es hacer que el modelo "piense más" (mediante prompts complejos como CoT), sino hacer que procesar menos mediante una recuperación estructurada y precisa que elimine el ruido contextual antes de la inferencia.
• Ventaja Estructural de KGR: Para tareas de ingeniería de requisitos donde las relaciones jerárquicas y las dependencias estructurales son críticas, los grafos de conocimiento ofrecen una ventaja significativa sobre la recuperación vectorial pura, especialmente en conjuntos de datos de tamaño pequeño a mediano.
• Marco Reproducible: El trabajo establece un precedente para la "IA Verde" en la ingeniería de software, proporcionando métricas y metodologías para evaluar el impacto ambiental de las soluciones de automatización de requisitos, promoviendo un diseño de sistemas que priorice la reducción de la computación innecesaria.

En conclusión, el enfoque propuesto ofrece una arquitectura reproducible y consciente del medio ambiente para la detección automática de conflictos en requisitos, demostrando que es posible lograr alta precisión con una huella de carbono drásticamente reducida mediante la combinación de SLMs eficientes y recuperación basada en grafos.