Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

Resumo Técnico: Suporte à Testagem de Sistemas com um Framework Baseado em LLM Multi-Agente para Extração de Grafos de Conhecimento

Declaração do Problema
Documentos técnicos, como Manuais de Configuração de Switches Ethernet (ESCMs), contêm conhecimento de domínio rico essencial para automatizar tarefas de engenharia de software downstream, particularmente a testagem de sistemas. No entanto, os ESCMs são inerentemente semi-estruturados e projetados para usuários humanos, não para automação. Eles apresentam desafios significativos para a extração direta de conhecimento devido a:

1. Atributos Implícitos: As etapas de configuração frequentemente contêm objetivos, notas e dependências implícitos que não são explicitamente rotulados.
2. Dependências Complexas: Frequentemente existem mapeamentos muitos-para-muitos entre as etapas de alto nível do "Roteiro de Configuração" e as etapas detalhadas do "Procedimento", que não são documentados explicitamente.
3. Variabilidade Estrutural: A formatação, os estilos de escrita e os marcadores estruturais variam significativamente entre diferentes manuais, tornando os métodos baseados em regras e as técnicas tradicionais de PLN ineficazes para extração precisa.

Consequentemente, derivar casos de teste abrangentes a partir desses manuais permanece um processo manual e intensivo em trabalho. Embora os Grafos de Conhecimento (KGs) ofereçam uma representação estruturada adequada para automação, gerar KGs de alta precisão a partir de documentos técnicos tão complexos é difícil, especialmente quando as abordagens existentes de Modelos de Linguagem de Grande Escala (LLMs) são principalmente ajustadas para texto geral, em vez de aderência precisa a esquemas técnicos.

Metodologia
Os autores propõem um framework baseado em LLM multi-agente projetado para extrair, avaliar e melhorar KGs a partir de ESCMs. O framework opera sobre um esquema de KG de granularidade fina especificamente adaptado ao domínio de switches Ethernet, capturando entidades como Cenários de Caso de Uso, Requisitos de Rede, Roteiros de Configuração (com etapas hierárquicas, objetivos e notas) e Procedimentos (com comandos, saídas esperadas e notas).

O framework consiste nos seguintes componentes principais:

1. Fragmentação (Chunking): Os ESCMs são decompostos em fragmentos baseados em seções (por exemplo, Roteiro, Procedimento) para lidar com limites de tokens e isolar tipos de informação.
2. Agentes de Extração (ExtrAgents): Três agentes LLM especializados realizam tarefas de extração distintas:
   • Agente de Extração de Roteiro: Extrai contexto, etapas hierárquicas, objetivos e notas do Roteiro de Configuração.
   • Agente de Mapeamento Roteiro-Procedimento: Identifica mapeamentos semânticos entre etapas de roteiro de alto nível e etapas de procedimento detalhadas, lidando com relacionamentos muitos-para-muitos.
   • Agente de Extração de Procedimento: Extrai etapas hierárquicas, comandos, saídas esperadas e notas da seção de Procedimento. Este agente utiliza prompting com poucos exemplos (few-shot prompting) com exemplos representativos para lidar com variações estruturais.
3. Loop Extrair-Avaliar-Melhorar (EEI) do Grafo de Conhecimento: Para garantir alta correção, o framework emprega um loop iterativo:
   • Agente de Avaliação (EvalAgent): Utiliza o paradigma LLM-como-Juiz para avaliar entidades extraídas contra diretrizes específicas da tarefa (por exemplo, cópia literal, correspondência correta de etapas). Ele fornece pontuações binárias e feedback detalhado.
   • Agente de Melhoria (ImprovAgent): Analisa o feedback do EvalAgent e refina os prompts de extração para abordar erros específicos (por exemplo, esclarecendo como distinguir notas de detalhes de ação).
   • O loop regenera entidades do KG com prompts refinados até que um limiar de correção (definido em 0,9) seja atingido ou que uma contagem máxima de iterações (3) seja alcançada.
4. Melhoria do KG: Seções suplementares (por exemplo, Arquivos de Configuração, Requisitos de Rede) são integradas ao KG final para suportar tarefas downstream.
5. Aplicação Downstream: Os KGs gerados são convertidos em Especificações de Casos de Teste (TCSs), um formato estruturado e revisável por humanos contendo pré-condições, etapas de configuração e resultados esperados, destinado a orientar a geração automatizada de testes.

Principais Contribuições

1. Framework Multi-Agente: Um framework inovador composto por agentes especializados para extração, avaliação e refinamento de prompts, guiado por um mecanismo iterativo EEI para lidar com variações estruturais e semânticas em documentos técnicos.
2. Esquema de KG de Granularidade Fina: Um esquema específico de domínio projetado para ESCMs que captura explicitamente atributos em nível de etapa (objetivos, notas, comandos) e dependências entre seções (mapeamentos roteiro-procedimento).
3. Mecanismo de Refinamento Iterativo: A introdução do loop EEI, que aproveita o feedback de LLM-como-Juiz para refinar automaticamente os prompts de extração, melhorando significativamente a correção para casos desafiadores sem exigir referências de verdade fundamental (ground-truth).
4. Validação Empírica: Uma avaliação abrangente em 50 ESCMs do mundo real de um parceiro industrial (Huawei), demonstrando alta correção de extração e a utilidade prática dos KGs gerados para geração de casos de teste.

Resultados
O estudo foi conduzido em 50 ESCMs cobrindo 18 subcategorias.

• Correção de Extração (RQ1): Usando prompts originais (antes do refinamento EEI), o framework alcançou pontuações médias de correção altas, variando de 0,97 a 0,99 nas três tarefas de extração. A maioria dos ESCMs não exigiu refinamento.
• Impacto do EEI (RQ2): Para o pequeno subconjunto de ESCMs onde as pontuações iniciais caíram abaixo do limiar de 0,9, o loop EEI acionou o refinamento de prompts. Isso resultou em melhorias substanciais, com ganhos médios de correção de 0,12 para extração de roteiro e 0,15 para mapeamento roteiro-procedimento, trazendo todos os casos ao nível de qualidade exigido.
• Acordo LLM vs. Humano (RQ3): O LLM-como-Juiz mostrou acordo substancial com avaliadores humanos em todas as tarefas, com pontuações de kappa de Cohen variando de 0,72 a 0,80. As discrepâncias foram principalmente devidas a diferenças menores de categorização (por exemplo, distinguir notas de detalhes de ação) ou problemas de formatação, em vez de erros críticos de extração.
• Utilidade Downstream (RQ4): Cinco testadores experientes da indústria avaliaram as TCSs geradas a partir dos KGs. As TCSs receberam classificações consistentemente altas, com uma pontuação média geral de 4,18/5 e uma taxa de classificação positiva de 95,3%. Os testadores acharam as especificações úteis, claras e tecnicamente precisas, embora alguns tenham notado que as pré-condições e os resultados esperados às vezes exigiam refinamento adicional para execução direta.

Significância e Alegações
O artigo alega que seu framework proposto efetivamente preenche a lacuna entre documentação técnica semi-estruturada e testagem de sistemas automatizada. Ao aproveitar uma arquitetura multi-agente e um loop de refinamento iterativo, a abordagem alcança extração de conhecimento de alta precisão onde os métodos tradicionais falham. Os autores enfatizam que, embora o estudo se concentre em ESCMs, o framework é modular e generalizável; adaptá-lo a outros domínios requer principalmente redefinir o esquema do KG e ajustar os prompts de extração/avaliação, em vez de redesenhar a arquitetura.

A significância reside em demonstrar que LLMs, quando integrados a um framework estruturado e orientado por feedback, podem extrair de forma confiável dependências e atributos implícitos de documentos industriais complexos. Essa capacidade suporta a automação de tarefas downstream, especificamente a geração de especificações de casos de teste, reduzindo assim o esforço manual e o custo associados à testagem de switches Ethernet. Os autores mantêm uma postura modesta, reconhecendo que, embora as TCSs geradas sejam altamente úteis, elas ainda podem exigir revisão humana ou refinamento adicional para serem totalmente executáveis, e que a generalizabilidade do framework para outros tipos de documentos requer investigação adicional.