Evaluating Large Language Models for Detecting Architectural Decision Violations
Diese Studie untersucht die Effektivität von Large Language Models bei der automatisierten Erkennung von Verstößen gegen Architektur-Entscheidungen (ADRs) und stellt fest, dass diese zwar bei code-bezogenen Entscheidungen präzise unterstützen können, bei impliziten oder konfigurationsabhängigen Entscheidungen jedoch weiterhin menschliche Expertise benötigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der digitale Bauleiter: Können KIs prüfen, ob wir uns an den Bauplan halten?
Stell dir vor, du baust ein riesiges, hochmodernes Hochhaus. Damit das Gebäude stabil bleibt und nicht nach zwei Jahren Risse bekommt, schreibt ein Architekt ein „Regelbuch“ (in der Fachsprache: Architectural Decision Records oder ADRs). Darin steht zum Beispiel: „Alle tragenden Wände müssen aus Stahlbeton sein“ oder „Die Wasserleitungen müssen in der Nordwand verlaufen“.
Das Problem: Während des Bauens kommen hunderte Handwerker. Einer vergisst die Regel, ein anderer denkt sich: „Ach, eine Holzwand sieht doch schöner aus.“ Wenn niemand kontrolliert, werdet ihr irgendwann ein instabiles Haus haben. Früher musste ein menschlicher Chef-Architekt jeden Stein einzeln prüfen – das dauert ewig und ist extrem anstrengend.
Die große Frage der Forscher: Können wir eine KI (wie ChatGPT) als „digitalen Bauleiter“ einstellen, der automatisch durch das Gebäude läuft und prüft: „Hey, hier steht eine Holzwand, aber im Regelbuch steht Stahlbeton!“?
Das Experiment: Die KI-Prüfmannschaft
Die Forscher haben nicht nur eine KI gefragt, sondern eine ganze „Prüf-Truppe“ zusammengestellt.
- Es gab einen „Haupt-Prüfer“ (ein sehr schlaues Modell namens Marco-o1), der die Regeln gelesen und den Baufortschritt (den Programmcode) gescannt hat.
- Dann gab es drei „Kontrolleur-KIs“, die den Haupt-Prüfer kritisch hinterfragt haben: „Stimmt das wirklich, was du da behauptest?“
Was kam dabei heraus? (Die Ergebnisse)
1. Die KI ist ein super Korrekturleser (Die Stärken)
Wenn die Regeln ganz klar sind – zum Beispiel: „Benutze immer die Farbe Blau“ – und der Handwerker plötzlich Rot benutzt, dann ist die KI fast unschlagbar. Sie hat in über 90 % der Fälle recht behalten, wenn es um Dinge ging, die man direkt „sehen“ konnte (also im Code direkt sichtbar war).
2. Die KI ist manchmal etwas „verpeilt“ (Die Schwächen)
Es gibt Momente, da scheitert die KI. Stell dir vor, im Regelbuch steht: „Die Heizung muss effizient sein.“ Die KI schaut sich die Rohre an und sagt: „Ich sehe keine Heizung, also ist es falsch!“ Aber die Heizung ist vielleicht noch im Keller gelagert oder wird erst nächste Woche eingebaut.
Die KI hat zwei große Probleme:
- Das „Unsichtbare“: Sie versteht Dinge nicht, die nicht direkt im Code stehen (z. B. organisatorische Regeln oder wie die Software auf einem speziellen Server läuft).
- Das „Warum“: Wenn eine Regel sehr abstrakt ist (z. B. „Das System soll benutzerfreundlich sein“), weiß die KI nicht, wie sie das an einer Zeile Code festmachen soll.
Das Fazit: Ein Assistent, kein Ersatz
Die Forscher sagen: Die KI ist wie ein sehr fleißiger, aber manchmal etwas begriffsstutziger Praktikant.
Sie ist fantastisch darin, die „einfachen“ Fehler zu finden und den menschlichen Architekten zu entlasten. Aber: Man darf ihr niemals blind vertrauen! Wenn es um komplizierte Details geht, die man erst beim Betrieb des Hauses merkt, muss immer noch der erfahrene Mensch mit dem Bauplan in der Hand drüberschauen.
Kurz gesagt: Die KI kann den Bauleiter unterstützen, aber den Hut des Chef-Architekten darf sie (noch) nicht aufsetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.