Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment
Diese Arbeit untersucht die Wirksamkeit des Einsatzes von Large Language Models zur Bewertung von Softwarearchitektur-Dokumenten innerhalb eines Digital-Marketplace-Projekts und stellt fest, dass LLMs zwar vielversprechend sind, ihre Übereinstimmung mit menschlichen Expertenbewertungen jedoch stark von der ursprünglichen Qualität der Architektur-Artefakte abhängt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Stadtplaner, der entscheiden muss, welche neuen digitalen Werkzeuge (wie Apps für den Verkehr oder die Abfallwirtschaft) Sie für Ihre Stadt kaufen sollen. Sie haben einen riesigen Online-Marktplatz voller dieser Werkzeuge, aber Sie können unmöglich jedes einzelne Handbuch und jeden Bauplan für jedes einzelne davon lesen. Sie brauchen eine Möglichkeit, schnell zu prüfen, ob die „Baupläne“ (die Softwarearchitektur-Dokumente) gut geschrieben, klar und zuverlässig sind, bevor Sie die Erbauer engagieren.
In dieser Arbeit geht es um ein Experiment, bei dem die Forscher versucht haben, ein superintelligentes KI-Roboter-System (ein Large Language Model, oder LLM) einzusetzen, das als Junior-Inspektor fungiert, um diese Baupläne zu prüfen, und dann die Notizen des Roboters mit denen eines erfahrenen menschlichen Architekten verglichen haben.
Hier ist die Aufschlüsselung ihrer Reise:
1. Das Setup: Der „Digitale Marktplatz“
Die Forscher arbeiten an einem digitalen Marktplatz für deutsche Städte. Stellen Sie sich einen Laden vor, in dem Unternehmen digitale Lösungen verkaufen. Bevor eine Stadt eine Lösung kaufen kann, muss sie wissen: Ist die Dokumentation gut? Ist das Design fundiert?
Normalerweise muss ein menschlicher Experte hunderte Seiten an PDFs, Diagrammen und Texten lesen, um dies zu beantworten. Das ist langsam und teuer. Deshalb haben die Forscher ein Tool namens Quasar entwickelt. Betrachten Sie Quasar als einen robotergestützten Bibliothekar, der all diese Dokumente sofort lesen und eine „Zeugnis-Note“ vergeben kann.
2. Das Experiment: Roboter gegen Mensch
Um zu sehen, ob der Roboter gut war, richteten sie einen direkten Vergleich ein:
- Die Kontrahenten: Zwei verschiedene Softwareprojekte (eines mit einer riesigen, detaillierten Bibliothek an Bauplänen und eines mit einer sehr kleinen, spärlichen Bibliothek).
- Die Richter: Zwei erfahrene menschliche Architekten und der Quasar-Roboter (unter Verwendung verschiedener KI-Gehirne wie Qwen und Llama).
- Die Aufgabe: Beide betrachteten dieselben 25 spezifischen Fragen zur Qualität der Dokumente (z. B. „Werden die Designentscheidungen klar erklärt?“). Sie vergaben Punktzahlen von 0 bis 4.
3. Die Ergebnisse: Es kommt auf die „Rohstoffe“ an
Die wichtigste Erkenntnis dieser Arbeit ist eine einfache Regel: Garbage In, Garbage Out (Müll rein, Müll raus). Die Qualität der Antwort der KI hing vollständig von der Qualität der Dokumente ab, die sie las.
Szenario A: Die gut organisierte Bibliothek (Projekt 1)
- Die Situation: Das Projekt verfügte über eine massive, gut strukturierte Menge an Dokumenten.
- Das Ergebnis: Der Roboter und die menschlichen Architekten stimmten fast perfekt überein. Die Scores des Roboters waren sehr konsistent (er gab bei dreimaliger Abfrage die gleiche Antwort).
- Die Analogie: Es ist, als würde man einen Koch bitten, ein perfekt gegartes Steak zu probieren. Wenn das Steak großartig ist, kann selbst ein Roboter mit einem Geschmackssensor sagen: „Dies ist ein 5-Sterne-Steak“, und dem menschlichen Koch zustimmen.
- Zeit: Der Mensch brauchte etwa 60 Minuten und der Roboter etwa 68 Minuten. Ungefähr die gleiche Geschwindigkeit.
Szenario B: Das spärliche Skizzenbuch (Projekt 2)
- Die Situation: Das Projekt hatte sehr wenige Dokumente und wenig Details.
- Das Ergebnis: Der Roboter und der Mensch waren weit auseinander. Die Scores des Roboters waren völlig unbeständig, und er konnte einige Fragen gar nicht erst beantworten.
- Die Analogie: Es ist, als würde man denselben Koch bitten, ein Steak zu probieren, das kaum durchgegart ist und bei dem die Hälfte des Fleisches fehlt. Der Roboter wird verwirrt, rät und gibt eine Punktzahl ab, die im Vergleich zum Menschen keinen Sinn ergibt.
- Zeit: Der Roboter war schneller (14 Min. vs. 22 Min.), aber die Geschwindigkeit spielte keine Rolle, da die Antworten unzuverlässig waren.
4. Was sie gelernt haben (Das „Fazit“)
Die Forscher kamen zu dem Schluss, dass KI ein großartiger „erster Durchgang“-Inspektor ist, aber noch kein Ersatz für einen Menschen.
- Wann es funktioniert: Wenn die Dokumentation klar, vollständig und gut organisiert ist, kann die KI als zuverlässiger Assistent fungieren und eine schnelle „Stichprobenkontrolle“ liefern, die mit dem übereinstimmt, was ein menschlicher Experte sagen würde.
- Wann es scheitert: Wenn die Dokumentation chaotisch, unvollständig oder vage ist, beginnt die KI zu halluzinieren (Dinge zu erfinden) oder gibt inkonsistente Antworten. Sie kann die „Lücken“ nicht so füllen, wie ein menschlicher Experte es mithilfe seiner Erfahrung könnte.
5. Die Zukunft: Den Roboter intelligenter machen
Die Arbeit räumt ein, dass ihr aktueller Roboter etwas „dumm“ ist, weil er die Dokumente in kleine Stücke zerlegen musste, um sie lesen zu können (als würde man versuchen, ein Buch zu lesen, indem man die Seiten einzeln herausreißt).
Für die Zukunft planen sie:
- Dem Roboter ein größeres „Gedächtnis“ zu geben, damit er das ganze Buch auf einmal lesen kann, ohne den Kontext zu verlieren.
- Den Roboter spezifisch auf Softwarearchitektur zu trainieren, damit er den Jargon besser versteht.
- Den Roboter in ein Plugin zu verwandeln, das direkt in den Werkzeugen der Softwarearchitekten sitzt, um ihnen sofortiges Feedback zu geben, während sie die Baupläne zeichnen, anstatt sie erst nach der Fertigstellung zu bewerten.
Kurz gesagt: Der KI-Roboter ist ein vielversprechender Lehrling, der eine großartige Arbeit leistet, wenn der Meister klare Anweisungen und gute Materialien bereitstellt. Aber wenn die Materialien chaotisch sind, verliert sich der Lehrling, und man benötigt immer noch den Meisterarchitekten für die abschließende Prüfung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.