Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems
Dieses Papier stellt ein Multi-Agenten-Framework auf Basis von LLMs vor, das Wissensgraphen aus halbstrukturierten Ethernet-Switch-Konfigurationshandbüchern extrahiert und iterativ verfeinert, um die automatisierte Generierung präziser Spezifikationen für Systemtestfälle zu unterstützen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Einen unordentlichen Handbuch in eine intelligente Landkarte verwandeln
Stellen Sie sich vor, Sie haben ein massives, 500-seitiges Bedienhandbuch für eine komplexe Maschine (in diesem Fall einen Ethernet-Switch, der wie ein Verkehrsleiter für Internetdaten funktioniert). Dieses Handbuch ist für Menschen geschrieben, nicht für Computer, um es zu verstehen. Es ist voller „halbstrukturierter" Texte – das bedeutet, es enthält Überschriften und Listen, aber die wichtigen Details sind oft in Absätzen versteckt, mit Hinweisen vermischt oder eher impliziert als klar formuliert.
Das Problem? Ein Computer, der versucht, automatisch zu testen, ob diese Maschine korrekt funktioniert, gerät in Verwirrung. Er kann nicht leicht herausfinden: „Wenn ich Schritt A ausführe, bedeutet das, dass ich als Nächstes Schritt B durchführen muss? Und wie genau sollte die Maschine aussehen, nachdem ich fertig bin?"
Die Autoren dieses Papiers haben ein intelligentes Roboterteam (ein Multi-Agent LLM-Framework) entwickelt, um diese unordentlichen Handbücher zu lesen und in eine perfekt organisierte Landkarte (einen Wissensgraphen) zu verwandeln. Diese Landkarte ermöglicht es Computern, automatisch Testskripte zu generieren, um zu prüfen, ob die Maschine funktioniert, und spart Menschen die langweilige, repetitive Arbeit, dies manuell zu erledigen.
Die Besetzung: Ein Team spezialisierter Roboter
Anstatt einen einzigen riesigen Roboter zu haben, der alles auf einmal versucht, schufen die Autoren ein Team aus drei spezialisierten „Agenten" (KI-Assistenten), von denen jeder einen bestimmten Job hat, plus zwei Aufsichtspersonen.
- Der Routenplaner-Agent: Dieser Roboter liest den „großen Überblick"-Abschnitt des Handbuchs. Er ermittelt die übergeordneten Ziele (z. B. „Wir müssen Schleifen im Netzwerk erkennen").
- Der Verfahrens-Agent: Dieser Roboter liest den „Kleinigkeiten"-Abschnitt. Er extrahiert die genauen Befehle, zu drückenden Tasten und erwarteten Ergebnisse (z. B. „Geben Sie diesen spezifischen Code ein, und Sie sollten diese spezifische Fehlermeldung sehen").
- Der Mapper-Agent: Dies ist das entscheidende Bindeglied. Er verbindet die „großen Überblick"-Ziele mit den „Kleinigkeiten"-Schritten. Er beantwortet die Frage: „Welche spezifischen Befehle erreichen tatsächlich dieses übergeordnete Ziel?"
Die Aufsichtspersonen:
- Der Richter (EvalAgent): Nachdem das Team seine Arbeit erledigt hat, prüft der Richter ihre Hausaufgaben. Er vergleicht die Ausgabe des Roboters mit dem ursprünglichen Handbuch, um festzustellen, ob etwas übersehen oder falsch verstanden wurde.
- Der Trainer (ImprovAgent): Wenn der Richter Fehler findet, korrigiert der Trainer nicht nur die Antwort; er schreibt die Anweisungen (Prompts) um, die den Robotern gegeben wurden, damit sie beim nächsten Mal denselben Fehler nicht wiederholen.
Der Prozess: Die „Versuchen, Prüfen, Beheben"-Schleife
Das System verwendet einen cleveren Zyklus namens Extract-Evaluate-Improve (EEI)-Schleife. Stellen Sie sich das wie einen Schüler vor, der einen Probetest macht:
- Extrahieren: Das Roboterteam liest das Handbuch und baut die Landkarte (Wissensgraphen).
- Bewerten: Der Richter betrachtet die Landkarte und sagt: „Sie haben hier ein Detail übersehen" oder „Sie haben diese Notiz in das falsche Feld gelegt". Er vergibt eine Punktzahl.
- Verbessern: Wenn die Punktzahl zu niedrig ist, greift der Trainer ein. Er betrachtet das Feedback des Richters und sagt: „Okay, beim nächsten Mal achten Sie genauer darauf, zwischen einem 'Ziel' und einer 'Notiz' zu unterscheiden." Er aktualisiert die Anweisungen des Roboters.
- Wiederholen: Die Roboter versuchen es mit den neuen Anweisungen erneut. Sie fahren damit fort, bis die Landkarte perfekt ist oder sie oft genug versucht haben.
Die Ergebnisse: Wie gut hat es funktioniert?
Das Team testete dieses System an 50 realen Handbüchern eines großen Technologieunternehmens (Huawei).
- Der „erste Versuch" war bereits erstaunlich: Selbst ohne die Hilfe des „Trainers" zur Verbesserung erhielten die Roboter beim ersten Versuch 97 % bis 99 % der Zeit die richtige Antwort.
- Der „Trainer" half bei den schwierigen Fällen: Für die wenigen Handbücher, die besonders knifflig oder verwirrend waren, trat die EEI-Schleife in Kraft. Sie verfeinerte die Anweisungen, und die Genauigkeit stieg noch weiter an und erreichte nahezu perfekte Ergebnisse.
- Menschen stimmen den Robotern zu: Die Autoren ließen auch menschliche Experten die Arbeit prüfen. Sie stellten fest, dass der „Richter"-Roboter und die menschlichen Experten 72 % bis 80 % der Zeit übereinstimmten. Die meisten Uneinigkeiten betrafen Kleinigkeiten (wie ein fehlendes Leerzeichen oder eine leicht unterschiedliche Art, eine Notiz zu kategorisieren), keine schwerwiegenden Fehler.
- Praktische Anwendbarkeit: Das Team gab die generierten Landkarten fünf erfahrenen menschlichen Testern. Die Tester erklärten, die Landkarten seien sehr nützlich, klar und genau. Sie empfanden, dass die Landkarten sie erfolgreich bei der Erstellung von Testfällen leiten könnten, obwohl sie feststellten, dass manchmal die „Vorbedingungen" (was vor dem Start eingerichtet werden muss) eine winzige menschliche Nachbesserung benötigten, um völlig klar zu sein.
Das Fazit
Dieses Papier zeigt, dass wir ein Team von KI-Robotern einsetzen können, um komplexe, unordentliche technische Handbücher zu lesen und in saubere, strukturierte Daten zu verwandeln. Diese Daten sind so gut, dass sie die Automatisierung des Testens von Netzwerkausrüstung unterstützen können, eine Aufgabe, die normalerweise langsam, teuer und vollständig von Hand erledigt wird. Das System ist intelligent genug, um aus eigenen Fehlern zu lernen und sich im Lesen bestimmter Handbuchtypen zu verbessern, was es zu einem mächtigen Werkzeug für die Zukunft des Softwaretestens macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.