Large Language Models for Analyzing Enterprise Architecture Debt in Unstructured Documentation
Diese Studie stellt einen auf Design-Science-Forschung basierenden Ansatz vor, der Large Language Models nutzt, um Enterprise-Architecture-Smells in unstrukturierter Dokumentation automatisch zu identifizieren und zu quantifizieren, wobei ein Benchmark-Modell zwar höhere Präzision und Geschwindigkeit bietet, ein feinabgestimmtes On-Premise-Modell jedoch Vorteile im Datenschutz bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🏗️ Wenn das Haus baufällig wird: KI als Hausinspektor für Firmen
Stellen Sie sich ein riesiges, altes Firmengebäude vor. Es ist voll mit Räumen, Leitungen und Maschinen. Mit der Zeit haben die Architekten und Handwerker viele Notizen, Skizzen und mündliche Absprachen hinterlassen. Aber niemand hat mehr den Überblick.
Das Problem: Der „versteckte Bauschaden"
In der Welt der IT nennen wir das Enterprise Architecture Debt (Firmen-Architektur-Schulden). Das sind Entscheidungen, die damals „okay" schienen, aber heute das Gebäude instabil machen.
- Beispiel: Jemand hat eine provisorische Reparatur (ein „Klebeband") gemacht, die nun zum Dauerzustand wurde. Oder zwei Abteilungen nutzen völlig unterschiedliche Baupläne für dasselbe Zimmer.
Diese Probleme nennt man „Gerüche" (Smells). Wie ein fauler Geruch in der Küche signalisieren sie: „Hier stimmt etwas nicht!" Bisher mussten teure Experten (Architekten) durch das Gebäude laufen, alle Notizen lesen und manuell riechen, wo es stinkt. Das ist langsam, teuer und bei tausenden von Dokumenten unmöglich.
Die Lösung: Ein KI-Hausinspektor
Die Autoren dieser Studie haben einen neuen Ansatz getestet: Künstliche Intelligenz (KI), genauer gesagt Large Language Models (LLMs). Sie wollten herausfinden, ob eine KI in der Lage ist, diese „Gerüche" automatisch in unordentlichen Textdokumenten (wie Strategiepapieren oder Prozessbeschreibungen) zu finden.
Sie haben zwei verschiedene „Inspektoren" verglichen:
1. Der lokale Handwerker (Das On-Premise-Modell)
- Wer ist das? Ein kleiner, schlauer KI-Helfer (ein Modell namens LLaMA-3), der direkt auf dem Computer der Firma läuft.
- Vorteil: Er ist wie ein Handwerker, der in Ihrem Keller arbeitet. Er sieht Ihre Dokumente nie. Alles bleibt privat und sicher (Datenschutz).
- Nachteil: Er ist nicht sehr stark. Er läuft auf einem normalen PC ohne spezielle Grafikkarte.
- Verhalten: Er ist überängstlich. Er riecht fast überall etwas. Wenn er ein Dokument liest, sagt er: „Hier riecht es nach faulen Eiern! Und hier! Und da auch!"
- Das Ergebnis: Er findet viele Probleme, aber er meldet auch oft Dinge, die gar keine Probleme sind (falsche Alarme). Er ist schnell, aber ungenau.
2. Der weltberühmte Gutachter (Das Cloud-Modell / GPT)
- Wer ist das? Ein sehr mächtiger KI-Experte (ein angepasstes GPT-Modell), der in der „Wolke" (Cloud) lebt.
- Vorteil: Er ist extrem erfahren und schnell. Er riecht die Probleme sehr präzise.
- Nachteil: Er arbeitet nicht im Keller der Firma. Die Dokumente müssen hochgeladen werden. Das ist für viele Firmen ein No-Go wegen des Datenschutzes.
- Verhalten: Er ist sehr vorsichtig. Er meldet nur, wenn er sich zu 100 % sicher ist.
- Das Ergebnis: Er macht fast keine falschen Alarme. Aber er übersieht manchmal auch echte Probleme, weil er zu skeptisch ist.
🧪 Der Test: Die Simulation
Die Forscher haben eine fiktive Firma („NextTech") erfunden und 30 Dokumente erstellt, in denen sie absichtlich bestimmte „Gerüche" versteckt haben (wie „Prozesse, die seit 10 Jahren nicht geändert wurden" oder „Ziele, die nie erreicht wurden").
Dann ließen sie beide Inspektoren diese Dokumente durchsuchen.
Was passierte?
- Der lokale Handwerker (LLaMA): Er fand fast alle versteckten Probleme, aber er schrie auch „Feuer!" bei vielen harmlosen Stellen. Er war schnell, aber seine Liste war voller Unsinn. Er brauchte etwa 2 Minuten pro Dokument.
- Der weltberühmte Gutachter (GPT): Er fand die Probleme sehr genau und hatte kaum falsche Alarme. Er war blitzschnell (2 Sekunden pro Dokument). Aber er verpasste einige der versteckten Probleme, weil er zu selektiv war.
🏁 Das Fazit: Was lernen wir daraus?
Die Studie sagt im Grunde: KI kann helfen, aber sie ist noch kein Ersatz für den Menschen.
- Datenschutz ist König: Wenn eine Firma sensible Daten hat, kann sie die „Welt-Gutachter"-KI nicht nutzen. Sie muss den lokalen Handwerker nehmen.
- Der lokale Handwerker braucht Training: Der kleine KI-Handwerker ist noch nicht perfekt. Er muss besser lernen, zwischen echtem „faulen Geruch" und harmlosem „Kochduft" zu unterscheiden.
- Die beste Strategie: Man sollte die KI nicht als Richter sehen, sondern als Triage-Assistenten.
- Stellen Sie sich vor: Die KI sortiert die Berge von Papier und markiert die Stapel, die „verdächtig" riechen. Ein menschlicher Experte geht dann nur noch zu diesen Stapeln, schaut nach und entscheidet, ob wirklich etwas kaputt ist.
Zusammengefasst in einem Bild:
Stellen Sie sich vor, Sie haben einen riesigen Haufen alter Briefe. Sie wollen wissen, welche davon wichtige Warnungen enthalten.
- Der menschliche Experte liest jeden Brief einzeln. Das dauert ewig.
- Die KI wirft einen schnellen Blick auf den ganzen Haufen und sagt: „Diese 50 Briefe hier riechen komisch!"
- Manchmal sagt sie das bei Briefen, die gar nicht komisch sind (falscher Alarm). Aber sie spart Ihnen die Zeit, die anderen 90 % durchzulesen.
Die Studie zeigt also: Wir haben den ersten funktionierenden „KI-Riecher" gebaut. Er ist noch nicht perfekt, aber er ist ein vielversprechender Anfang, um Firmen vor dem Zusammenbruch ihrer IT-Systeme zu bewahren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.