Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

Riepilogo Tecnico: Supporto ai Test di Sistema con un Framework Multi-Agente basato su LLM per l'Estrazione di Grafi della Conoscenza

Enunciato del Problema
I documenti tecnici, come i Manuali di Configurazione degli Switch Ethernet (ESCM), contengono conoscenze di dominio ricche ed essenziali per automatizzare i compiti di ingegneria del software a valle, in particolare i test di sistema. Tuttavia, gli ESCM sono intrinsecamente semi-strutturati e progettati per utenti umani piuttosto che per l'automazione. Presentano sfide significative per l'estrazione diretta della conoscenza a causa di:

1. Attributi Impliciti: Le fasi di configurazione spesso contengono obiettivi, note e dipendenze impliciti che non sono esplicitamente etichettati.
2. Dipendenze Complesse: Esistono spesso mappature molti-a-molti tra le fasi di alto livello della "Roadmap di Configurazione" e le fasi dettagliate della "Procedura", che non sono documentate esplicitamente.
3. Variabilità Strutturale: La formattazione, gli stili di scrittura e i marcatori strutturali variano significativamente tra i diversi manuali, rendendo inefficaci i metodi basati su regole e le tecniche NLP tradizionali per un'estrazione accurata.

Di conseguenza, derivare casi di test completi da questi manuali rimane un processo manuale e laborioso. Sebbene i Grafi della Conoscenza (KG) offrano una rappresentazione strutturata adatta all'automazione, generare KG ad alta accuratezza da documenti tecnici così complessi è difficile, specialmente quando gli approcci esistenti basati su Large Language Model (LLM) sono principalmente ottimizzati per testi generali piuttosto che per l'aderenza precisa a schemi tecnici.

Metodologia
Gli autori propongono un framework multi-agente basato su LLM progettato per estrarre, valutare e migliorare i KG dagli ESCM. Il framework opera su uno schema KG granulare specificamente adattato al dominio degli switch Ethernet, catturando entità come Scenari di Caso d'Uso, Requisiti di Rete, Roadmap di Configurazione (con fasi gerarchiche, obiettivi e note) e Procedure (con comandi, output attesi e note).

Il framework è composto dai seguenti componenti principali:

1. Chunking: Gli ESCM sono decomposti in chunk basati sulle sezioni (ad esempio, Roadmap, Procedura) per gestire i limiti dei token e isolare i tipi di informazione.
2. Agenti di Estrazione (ExtrAgents): Tre agenti LLM specializzati eseguono compiti di estrazione distinti:
   • Agente di Estrazione della Roadmap: Estrae contesto, fasi gerarchiche, obiettivi e note dalla Roadmap di Configurazione.
   • Agente di Mappatura Roadmap-Procedura: Identifica le mappature semantiche tra le fasi di alto livello della roadmap e le fasi dettagliate della procedura, gestendo le relazioni molti-a-molti.
   • Agente di Estrazione della Procedura: Estrae fasi gerarchiche, comandi, output attesi e note dalla sezione Procedura. Questo agente utilizza il prompting con pochi esempi (few-shot prompting) con esempi rappresentativi per gestire le variazioni strutturali.
3. Ciclo Estrazione-Valutazione-Miglioramento (EEI) del Grafo della Conoscenza: Per garantire un'elevata correttezza, il framework impiega un ciclo iterativo:
   • Agente di Valutazione (EvalAgent): Utilizza il paradigma LLM-as-a-Judge per valutare le entità estratte rispetto a linee guida specifiche del compito (ad esempio, copia verbatim, corrispondenza corretta delle fasi). Fornisce punteggi binari e feedback dettagliato.
   • Agente di Miglioramento (ImprovAgent): Analizza il feedback dall'EvalAgent e affina i prompt di estrazione per affrontare errori specifici (ad esempio, chiarire come distinguere le note dai dettagli delle azioni).
   • Il ciclo rigenera le entità del KG con prompt raffinati fino a quando non viene raggiunto una soglia di correttezza (impostata a 0,9) o un numero massimo di iterazioni (3).
4. Miglioramento del KG: Le sezioni supplementari (ad esempio, File di Configurazione, Requisiti di Rete) sono integrate nel KG finale per supportare i compiti a valle.
5. Applicazione a Valle: I KG generati sono convertiti in Specifiche di Casi di Test (TCS), un formato strutturato e verificabile dall'uomo contenente precondizioni, fasi di configurazione e risultati attesi, destinato a guidare la generazione automatica dei test.

Contributi Chiave

1. Framework Multi-Agente: Un framework innovativo composto da agenti specializzati per l'estrazione, la valutazione e il raffinamento dei prompt, guidato da un meccanismo EEI iterativo per gestire le variazioni strutturali e semantiche nei documenti tecnici.
2. Schema KG Granulare: Uno schema specifico del dominio progettato per gli ESCM che cattura esplicitamente attributi a livello di fase (obiettivi, note, comandi) e dipendenze tra sezioni (mappature roadmap-procedura).
3. Meccanismo di Rifinitura Iterativa: L'introduzione del ciclo EEI, che sfrutta il feedback LLM-as-a-Judge per affinare automaticamente i prompt di estrazione, migliorando significativamente la correttezza per i casi difficili senza richiedere riferimenti ground-truth.
4. Validazione Empirica: Una valutazione completa su 50 ESCM reali provenienti da un partner industriale (Huawei), che dimostra un'elevata correttezza di estrazione e l'utilità pratica dei KG generati per la generazione di casi di test.

Risultati
Lo studio è stato condotto su 50 ESCM che coprono 18 sottocategorie.

• Correttezza di Estrazione (RQ1): Utilizzando i prompt originali (prima del raffinamento EEI), il framework ha ottenuto punteggi medi di correttezza elevati, compresi tra 0,97 e 0,99 nelle tre attività di estrazione. La maggior parte degli ESCM non ha richiesto raffinamento.
• Impatto EEI (RQ2): Per il piccolo sottoinsieme di ESCM in cui i punteggi iniziali sono scesi sotto la soglia di 0,9, il ciclo EEI ha attivato il raffinamento dei prompt. Ciò ha portato a miglioramenti sostanziali, con guadagni medi di correttezza di 0,12 per l'estrazione della roadmap e 0,15 per la mappatura roadmap-procedura, portando tutti i casi al livello di qualità richiesto.
• Accordo LLM vs Umano (RQ3): L'LLM-as-a-Judge ha mostrato un accordo sostanziale con i valutatori umani in tutte le attività, con punteggi di kappa di Cohen compresi tra 0,72 e 0,80. Le discrepanze erano dovute principalmente a differenze minori di categorizzazione (ad esempio, distinguere le note dai dettagli delle azioni) o problemi di formattazione piuttosto che a errori critici di estrazione.
• Utilità a Valle (RQ4): Cinque tester industriali esperti hanno valutato le TCS generate dai KG. Le TCS hanno ricevuto valutazioni costantemente elevate, con un punteggio medio complessivo di 4,18/5 e un tasso di valutazione positiva del 95,3%. I tester hanno trovato le specifiche utili, chiare e tecnicamente accurate, sebbene alcuni abbiano notato che le precondizioni e i risultati attesi richiedessero talvolta un ulteriore affinamento per l'esecuzione diretta.

Significato e Affermazioni
Il documento afferma che il framework proposto colma efficacemente il divario tra la documentazione tecnica semi-strutturata e i test di sistema automatizzati. Sfruttando un'architettura multi-agente e un ciclo di raffinamento iterativo, l'approccio raggiunge un'estrazione della conoscenza ad alta precisione dove i metodi tradizionali falliscono. Gli autori sottolineano che, sebbene lo studio si concentri sugli ESCM, il framework è modulare e generalizzabile; adattarlo ad altri domini richiede principalmente la ridefinizione dello schema KG e l'adattamento dei prompt di estrazione/valutazione, piuttosto che la riprogettazione dell'architettura.

Il significato risiede nel dimostrare che gli LLM, quando integrati in un framework strutturato e guidato dal feedback, possono estrarre in modo affidabile dipendenze e attributi impliciti da documenti industriali complessi. Questa capacità supporta l'automazione dei compiti a valle, in particolare la generazione di specifiche di casi di test, riducendo così lo sforzo manuale e i costi associati ai test degli switch Ethernet. Gli autori mantengono una posizione modesta, riconoscendo che, sebbene le TCS generate siano altamente utili, potrebbero comunque richiedere una revisione umana o un ulteriore affinamento per essere pienamente eseguibili, e che la generalizzabilità del framework ad altri tipi di documenti richiede ulteriori indagini.