Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

In der modernen Softwarewelt versuchen eine wachsende Anzahl von Unternehmen, die Erstellung von Computerprogrammen mithilfe von künstlicher Intelligenz zu automatisieren. Anstatt ein Team von Ingenieuren zu engagieren, um jede Zeile Code von Grund auf neu zu schreiben, liefern sie eine detaillierte schriftliche Beschreibung dessen, was die Software tun soll – bekannt als Spezifikation – und bitten eine KI, dies zu bauen. Dieser Ansatz, die spezifikationsgesteuerte Entwicklung, behandelt den schriftlichen Plan als primäre Bedienungsanleitung für die Maschine. Die Hoffnung ist, dass die KI bei einem ausreichend klaren Plan jedes Mal perfekte Software produziert. Es bleibt jedoch eine kritische Frage: Macht ein besserer Plan die KI tatsächlich intelligenter, oder wissen die KI-Systeme die Antworten bereits aufgrund ihres Trainings? Wenn die KI dem Plan zustimmt, nur weil sie ähnliche Pläne bereits gesehen hat, leistet der Plan selbst keine echte Arbeit. Diese Ungewissheit macht es schwierig zu wissen, ob eine Spezifikation wirklich hochwertig ist oder nur ein Dokument, das zufällig mit dem übereinstimmt, was die Maschine ohnehin tun würde.

Ein Team von Forschern setzte sich zum Ziel, dieses Messproblem zu lösen, indem sie eine spezifische, komplexe Aufgabe testeten: den Transfer einer massiven Datenbank von einem Typ von System zu einem anderen. Sie erstellten eine formale, strukturierte Spezifikation für die Migration von Daten von einer Oracle-Datenbank zu einem PostgreSQL-System, ein Prozess, der die Übersetzung tausender Regeln über die Art und Weise umfasst, wie Daten gespeichert und verarbeitet werden. Um zu testen, ob diese Spezifikation tatsächlich half, ließen sie die KI nicht einfach nur Code schreiben und prüfen, ob er richtig aussah. Stattdessen bauten sie ein strenges Experiment auf, bei dem dieselbe Gruppe von KI-Systemen die Migration zweimal durchführen musste: einmal mit der detaillierten Spezifikation und einmal ohne sie. Die Forscher nutzten eine Live-Oracle-Datenbank und ein frisches PostgreSQL-System als strengen Richter. Sie ließen den von der KI generierten Code gegen die Originaldaten laufen, um zu sehen, ob die Ergebnisse identisch waren, wobei das tatsächliche Verhalten der Software als einziges wahres Maß für den Erfolg diente.

Die Studie umfasste drei verschiedene KI-Systeme, die als unabhängige Implementierer fungierten und alle an denselben 75 spezifischen Migrationsaufgaben arbeiteten. Als die Forscher die Ergebnisse verglichen, stellten sie eine klare Kluft zwischen der Funktionsfähigkeit der Software und der Übereinstimmung der KI-Systeme untereinander fest. Die Spezifikation verbesserte die Fähigkeit der Software, dramatisch zu werden, ohne abzustürzen. Ohne die Spezifikation konnten nur 72 Prozent des generierten Codes erfolgreich in die neue Datenbank geladen werden. Mit der vollständigen Spezifikation sprang diese Zahl auf 97,3 Prozent. Der Plan fungierte als Leitfaden, der der KI half, fatale Fehler zu vermeiden und Code zu produzieren, der tatsächlich funktionierte.

Die Geschichte nahm jedoch eine andere Wendung, als die Forscher untersuchten, ob die Spezifikation die KI-Systeme dazu brachte, mehr untereinander zu übereinstimmen. Vor der Studie bestand die Hoffnung, dass ein perfekter Plan alle KI-Systeme dazu zwingen würde, exakt dieselben Entscheidungen zu treffen und so eine einheitliche Lösung zu schaffen. Die Daten zeigten, dass dies nicht der Fall war. Bereits ohne die Spezifikation stimmten die KI-Systeme zu 83 Prozent überein, was wahrscheinlich darauf zurückzuführen ist, dass sie während ihres Trainings dieselben Industriestandards gelernt hatten. Als die Spezifikation hinzugefügt wurde, bewegte sich diese Übereinstimmungsrate kaum und stieg nur auf 83,8 Prozent. Der Plan änderte nichts an der Meinung der KI bezüglich der Entscheidungen, die sie ohnehin bereits traf; er half ihr lediglich dabei, diese Entscheidungen ohne Fehler auszuführen.

Die Forscher entdeckten auch, dass die Art und Weise der Informationspräsentation wichtiger war als die Menge der gegebenen Informationen. In einem Experiment nahmen sie eine einzelne Regel und platzierten sie an verschiedenen Stellen des Dokuments. Wenn die Regel in einem Absatz am Ende eines Abschnitts versteckt war, befolgte die KI sie nur zu 23 Prozent der Zeit. Wenn dieselbe Regel in einer strukturierten Tabelle am Anfang des Abschnitts platziert wurde, stieg die Compliance auf 42 Prozent. Überraschenderweise senkte das Wiederholen der Regel an beiden Stellen die Compliance-Rate auf 34 Prozent, was darauf hindeutet, dass Redundanz das System eher verwirrt als die Anweisung verstärkt. Dieser Befund zeigt, dass die Struktur des Dokuments einflussreicher ist als das Volumen des Textes.

Der vielleicht bedeutendste Befund war, dass eine Spezifikation die Dinge manchmal sogar verschlechtert. In einem spezifischen Fall wies eine Regel in der Spezifikation die KI an, einen bestimmten Typ von Datencontainer zu verwenden. Die KI befolgte diese Regel perfekt, aber das Ergebnis war Code, der ungültig war und nicht funktionieren würde. Ohこと der Spezifikation hätte die KI diese spezifische Anweisung ignoriert und von sich aus eine andere, funktionierende Methode verwendet. Dies bewies, dass das Befolgen einer Regel nicht garantiert, dass ein korrektes Ergebnis erzielt wird, und dass eine Spezifikation neue Fehler einführen kann, während sie gleichzeitig alte behebt. Die Studie fand auch heraus, dass die KI-Systeme eine natürliche Grenze ihrer Konsistenz hatten; als die Forscher denselben Test mehrmals durchführten, variierten die Ergebnisse um etwa 14 Prozentpunkte, einfach aufgrund der zufälligen Natur, wie die KI Text generiert. Diese Variabilität bedeutete, dass kleine Verbesserungen nicht als echter Fortschritt vertrauenswürdig waren.

Letztendlich kommt die Forschung zu dem Schluss, dass eine Spezifikation ein mächtiges Werkzeug ist, um Software ausführbar zu machen und Menschen dabei zu helfen, festzustellen, wo Anweisungen fehlen, aber sie ist kein Zauberstab, der verschiedene KI-Systeme dazu zwingt, gleich zu denken. Die Spezifikation gelang es erfolgreich, die Anzahl der defekten Programme um fast ein Viertel zu reduzieren, was ihren Wert bei der Sicherstellung der Ausführbarkeit des Codes beweist. Dennoch gelang es ihr nicht, die Übereinstimmung zwischen verschiedenen KI-Systemen zu erhöhen oder die Genauigkeit der Daten selbst zu verbessern, welche in beiden Gruppen – der kontrollierten und der unkontrollierten – unverändert bei 19 korrekten Ergebnissen aus 42 Tests blieb. Die Studie legt nahe, dass eine Spezifikation für die aktuelle Generation von KI eher wie ein Sicherheitsnetz wirkt, das katastrophale Fehler verhindert, als ein Leitfaden, der die Qualität der Lösung über das hinaus hebt, was die KI bereits weiß. Die wahre Stärke der Spezifikation liegt nicht darin, die KI zur Übereinstimmung zu zwingen, sondern darin, den Prozess der Softwareentwicklung zuverlässig genug zu machen, um ihn prüfen und verifizieren zu können.