Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

Resumen Técnico: Apoyo a la Prueba de Sistemas con un Marco Basado en LLM Multi-Agente para la Extracción de Grafos de Conocimiento

Enunciado del Problema
Los documentos técnicos, como los Manuales de Configuración de Conmutadores Ethernet (ESCM), contienen conocimiento especializado rico esencial para automatizar tareas de ingeniería de software posteriores, particularmente la prueba de sistemas. Sin embargo, los ESCM son inherentemente semiestructurados y están diseñados para usuarios humanos en lugar de para la automatización. Presentan desafíos significativos para la extracción directa de conocimiento debido a:

1. Atributos Implícitos: Los pasos de configuración a menudo contienen objetivos, notas y dependencias implícitos que no están etiquetados explícitamente.
2. Dependencias Complejas: A menudo existen mapeos muchos-a-muchos entre los pasos de alto nivel del "Plan de Ruta de Configuración" y los pasos detallados del "Procedimiento", los cuales no están documentados explícitamente.
3. Variabilidad Estructural: El formato, los estilos de escritura y los marcadores estructurales varían significativamente entre diferentes manuales, lo que hace que los métodos basados en reglas y las técnicas tradicionales de Procesamiento del Lenguaje Natural (NLP) sean ineficaces para una extracción precisa.

En consecuencia, derivar casos de prueba integrales a partir de estos manuales sigue siendo un proceso manual e intensivo en mano de obra. Aunque los Grafos de Conocimiento (KG) ofrecen una representación estructurada adecuada para la automatización, generar KG de alta precisión a partir de documentos técnicos tan complejos es difícil, especialmente cuando los enfoques existentes de Modelos de Lenguaje Grandes (LLM) están principalmente ajustados para texto general en lugar de para la adherencia precisa a esquemas técnicos.

Metodología
Los autores proponen un marco basado en LLM multi-agente diseñado para extraer, evaluar y mejorar KG a partir de ESCM. El marco opera sobre un esquema de KG de granularidad fina adaptado específicamente al dominio de los conmutadores Ethernet, capturando entidades como Escenarios de Casos de Uso, Requisitos de Redes, Planes de Ruta de Configuración (con pasos jerárquicos, objetivos y notas) y Procedimientos (con comandos, resultados esperados y notas).

El marco consta de los siguientes componentes principales:

1. Fragmentación (Chunking): Los ESCM se descomponen en fragmentos basados en secciones (por ejemplo, Plan de Ruta, Procedimiento) para manejar los límites de tokens y aislar tipos de información.
2. Agentes de Extracción (ExtrAgents): Tres agentes LLM especializados realizan tareas de extracción distintas:
   • Agente de Extracción del Plan de Ruta: Extrae el contexto, los pasos jerárquicos, los objetivos y las notas del Plan de Ruta de Configuración.
   • Agente de Mapeo Plan de Ruta-Procedimiento: Identifica mapeos semánticos entre los pasos del plan de ruta de alto nivel y los pasos detallados del procedimiento, manejando relaciones muchos-a-muchos.
   • Agente de Extracción de Procedimientos: Extrae pasos jerárquicos, comandos, resultados esperados y notas de la sección de Procedimiento. Este agente utiliza la indicación con pocos ejemplos (few-shot prompting) con ejemplos representativos para manejar variaciones estructurales.
3. Bucle Extraer-Evaluar-Mejorar (EEI) de Extracción de Grafos de Conocimiento: Para garantizar una alta corrección, el marco emplea un bucle iterativo:
   • Agente de Evaluación (EvalAgent): Utiliza el paradigma LLM-como-Juez para evaluar las entidades extraídas frente a directrices específicas de la tarea (por ejemplo, copia literal, coincidencia correcta de pasos). Proporciona puntuaciones binarias y retroalimentación detallada.
   • Agente de Mejora (ImprovAgent): Analiza la retroalimentación del EvalAgent y refina las indicaciones de extracción para abordar errores específicos (por ejemplo, aclarar cómo distinguir las notas de los detalles de la acción).
   • El bucle regenera las entidades del KG con indicaciones refinadas hasta que se cumple un umbral de corrección (establecido en 0.9) o se alcanza un recuento máximo de iteraciones (3).
4. Mejora del KG: Las secciones suplementarias (por ejemplo, Archivos de Configuración, Requisitos de Redes) se integran en el KG final para apoyar tareas posteriores.
5. Aplicación Posterior: Los KG generados se convierten en Especificaciones de Casos de Prueba (TCS), un formato estructurado revisable por humanos que contiene precondiciones, pasos de configuración y resultados esperados, destinado a guiar la generación automatizada de pruebas.

Contribuciones Clave

1. Marco Multi-Agente: Un marco novedoso que comprende agentes especializados para la extracción, evaluación y refinamiento de indicaciones, guiado por un mecanismo EEI iterativo para manejar variaciones estructurales y semánticas en documentos técnicos.
2. Esquema de KG de Granularidad Fina: Un esquema específico del dominio diseñado para ESCM que captura explícitamente atributos a nivel de paso (objetivos, notas, comandos) y dependencias entre secciones (mapeos plan de ruta-procedimiento).
3. Mecanismo de Refinamiento Iterativo: La introducción del bucle EEI, que aprovecha la retroalimentación de LLM-como-Juez para refinar automáticamente las indicaciones de extracción, mejorando significativamente la corrección para casos desafiantes sin requerir referencias de verdad fundamental.
4. Validación Empírica: Una evaluación exhaustiva en 50 ESCM del mundo real de un socio industrial (Huawei), demostrando una alta corrección de extracción y la utilidad práctica de los KG generados para la generación de casos de prueba.

Resultados
El estudio se realizó en 50 ESCM que cubren 18 subcategorías.

• Corrección de Extracción (RQ1): Utilizando indicaciones originales (antes del refinamiento EEI), el marco logró puntuaciones promedio de corrección altas que oscilaron entre 0.97 y 0.99 en las tres tareas de extracción. La mayoría de los ESCM no requirieron refinamiento.
• Impacto de EEI (RQ2): Para el pequeño subconjunto de ESCM donde las puntuaciones iniciales cayeron por debajo del umbral de 0.9, el bucle EEI activó el refinamiento de indicaciones. Esto resultó en mejoras sustanciales, con ganancias promedio de corrección de 0.12 para la extracción del plan de ruta y 0.15 para el mapeo plan de ruta-procedimiento, llevando todos los casos al nivel de calidad requerido.
• Acuerdo LLM vs. Humano (RQ3): El LLM-como-Juez mostró un acuerdo sustancial con los evaluadores humanos en todas las tareas, con puntuaciones kappa de Cohen que oscilaron entre 0.72 y 0.80. Las discrepancias se debieron principalmente a diferencias menores de categorización (por ejemplo, distinguir notas de detalles de acción) o problemas de formato en lugar de errores críticos de extracción.
• Utilidad Posterior (RQ4): Cinco probadores experimentados de la industria evaluaron las TCS generadas a partir de los KG. Las TCS recibieron calificaciones consistentemente altas, con una puntuación promedio general de 4.18/5 y una tasa de calificación positiva del 95.3%. Los probadores encontraron las especificaciones útiles, claras y técnicamente precisas, aunque algunos notaron que las precondiciones y los resultados esperados a veces requerían un refinamiento adicional para su ejecución directa.

Significado y Afirmaciones
El artículo afirma que su marco propuesto cierra efectivamente la brecha entre la documentación técnica semiestructurada y la prueba de sistemas automatizada. Al aprovechar una arquitectura multi-agente y un bucle de refinamiento iterativo, el enfoque logra una extracción de conocimiento de alta precisión donde los métodos tradicionales fallan. Los autores enfatizan que, aunque el estudio se centra en los ESCM, el marco es modular y generalizable; adaptarlo a otros dominios requiere principalmente redefinir el esquema del KG y ajustar las indicaciones de extracción/evaluación, en lugar de rediseñar la arquitectura.

El significado radica en demostrar que los LLM, cuando se integran en un marco estructurado y guiado por retroalimentación, pueden extraer de manera fiable dependencias y atributos implícitos de documentos industriales complejos. Esta capacidad apoya la automatización de tareas posteriores, específicamente la generación de especificaciones de casos de prueba, reduciendo así el esfuerzo manual y los costos asociados con la prueba de conmutadores Ethernet. Los autores mantienen una postura modesta, reconociendo que, aunque las TCS generadas son altamente útiles, aún pueden requerir revisión humana o un refinamiento adicional para ser totalmente ejecutables, y que la generalizabilidad del marco a otros tipos de documentos requiere mayor investigación.