Deterministic vs. LLM-Controlled Orchestration for COBOL-to-Python Modernization
Diese Arbeit präsentiert eine kontrollierte empirische Studie, die zeigt, dass deterministische Orchestrierung LLM-gesteuerte agentische Workflows bei der COBOL-zu-Python-Modernisierung übertrifft, indem sie eine vergleichbare Übersetzungsgenauigkeit erreicht und gleichzeitig die Robustheit signifikant verbessert, die Performance-Variabilität reduziert und die Betriebskosten um bis zu das 3,5-fache senkt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit Jahrzehnten verlassen sich der Finanz- und Regierungssektor auf massive, komplexe Computerprogramme, die in einer Sprache namens COBOL geschrieben wurden. Diese Systeme steuern die weltweiten Banktransaktionen und Sozialversicherungszahlungen, doch die Experten, die sie aufgebaut haben, gehen in den Ruhestand, und der Code selbst ist oft Jahrzehnte alt, schlecht dokumentiert und schwer zu ändern. Um diese lebenswichtigen Dienste am Laufen zu halten, müssen Organisationen diesen antiken Code in moderne Sprachen wie Python übersetzen – ein Prozess, der extreme Präzision erfordert, da selbst ein winziger Fehler dazu führen kann, dass ein System versagt. Vor kurzem ist ein neuer Typ künstlicher Intelligenz, bekannt als Large Language Model, als potenzielles Werkzeug für diese Aufgabe entstanden. Diese Modelle können Code lesen und neuen Code schreiben, aber sie arbeiten oft dadurch, dass sie wie autonome Agenten agieren: Sie entscheiden selbst, welche Schritte sie unternehmen, wann sie eine Aufgabe wiederholen und wie sie Fehler während des Prozesses beheben. Dies wirft eine kritische Frage für Ingenieure auf: Ist es besser, die künstliche Intelligenz die gesamte Kontrolle übernehmen zu lassen, sodass sie jeden Schritt in Echtzeit selbst entscheidet, oder ist es effektiver, den Prozess auf einer strengen, vordefinierten Spur zu halten, bei der der Computer einem festen Satz von Regeln folgt?
Ein Team von Forschern der Bucknell University und Astrio setzte sich zum Ziel, diese Frage zu beantworten, indem sie ein kontrolliertes Experiment durchführten, um zu sehen, wie diese zwei verschiedenen Ansätze die schwierige Aufgabe der Konvertierung von COBOL-Code in Python bewältigen. Sie entwickelten ein System namens ATLAS, das als Übersetzer fungieren sollte, aber sie gestalteten das Experiment so, dass sich zwischen den Tests nur das Element änderte, wer am Steuer saß. In einer Version wurde der künstlichen Intelligenz die volle Kontrolle gegeben, sodass sie ihren eigenen Weg wählen, ihre eigenen Werkzeuge auswählen und selbst entscheiden konnte, wann sie stoppt oder von vorne beginnt. In der anderen Version wurde dieselbe künstliche Intelligenz verwendet, um den Code zu schreiben, aber ein starrer, unveränderlicher Satz von Regeln diktierte exakt, welche Schritte in welcher Reihenfolge zu befolgen waren und wie oft man es bei Fehlern erneut versuchen sollte. Indem sie das „Gehirn“ des Systems – das Sprachmodell – in beiden Szenarien identisch hielten, konnten die Forscher die Auswirkung der Kontrollmethode isolieren und alle anderen Variablen eliminieren, um zu sehen, welche Strategie tatsächlich besser funktionierte.
Die Ergebnisse dieser Studie zeigten einen klaren Zielkonflikt zwischen Flexibilität und Zuverlässigkeit. Wenn der künstlichen Intelligenz erlaubt wurde, den Prozess zu steuern, gelang es ihr häufig, ein funktionierendes Programm zu erstellen, wobei sie oft ein Ergebnis generierte, das ohne Absturz laufen konnte. Dieser Erfolg hatte jedoch einen versteckten Preis: Die Ergebnisse waren inkonsistent. Da das Modell seine eigenen Entscheidungen darüber traf, wie es fortfahren sollte, konnte derselbe Ausgangscode bei verschiedenen Versuchen zu sehr unterschiedlichen Ergebnissen führen – manchmal entstand eine perfekte Übersetzung und manchmal scheiterte es auf unvorhersehbare Weise. Darüber hinaus war dieser „agentische“ Ansatz unglaublich teuer. Das Modell verlor sich oft in langen, gewundenen Denkpfaden, stellte sich selbst Fragen und probierte mehrere Strategien aus, die gar nicht notwendig waren, was enorme Mengen an Rechenressourcen verbrauchte. In einigen Fällen verbrauchte der flexible Ansatz mehr als dreimal so viele Token – die Basiseinheiten der Information, die das Modell verarbeitet – wie der feste Ansatz, um ein ähnliches Ergebnis zu erzielen.
Im Gegensatz dazu produzierte das System, das einem festen, deterministischen Pfad folgte, Ergebnisse, die weitaus stabiler und vorhersehbarer waren. Während die allgemeine Fähigkeit, den Code zu übersetzen, genauso gut war wie bei der flexiblen Version, scheiterte das starre System selten in den schlimmsten Fällen. Es verirrte sich nicht in Schleifen unnötigen Nachdenkens und veränderte sein Verhalten nicht von einem Durchlauf zum nächsten. Am wichtigsten war jedoch, dass es signifikant kostengünstiger im Betrieb war. Indem es einem strengen Zeitplan von Schritten folgte und die künstliche Intelligenz lediglich zum Schreiben des Codes nutzte, statt sie die gesamte Reise planen zu lassen, reduzierte das System die Übersetzungskosten um den Faktor drei bis dreieinhalb. Die Forscher fanden heraus, dass bei Aufgaben wie der Modernisierung von Legacy-Software, bei denen die Schritte gut definiert sind und die Ergebnisse gegen strikte Regeln geprüft werden können, der künstlichen Intelligenz das Steuer zu überlassen, nicht nur teurer, sondern auch weniger zuverlässig war, als wenn ein von Menschen entworfenes Kartenwerk den Weg gewiesen hätte.
Diese Studie legt nahe, dass die Zukunft des Einsatzes künstlicher Intelligenz in komplexen technischen Aufgaben möglicherweise nicht darin liegt, den Maschinen die totale Freiheit über ihre Arbeitsweise zu geben. Stattdessen scheint der effektivste Ansatz darin zu bestehen, diese leistungsstarken Modelle in ein strukturiertes Framework einzubetten, in dem die Spielregeln festgelegt sind und der Pfad klar vorgegeben ist. Die künstliche Intelligenz bleibt der Experten-Schreiber, der in der Lage ist, komplexe Anweisungen zu verstehen und neuen Code zu generieren, aber die Orchestrierung der Arbeit – die Planung, das Timing und die Sicherheitsprüfungen – bleibt unter strenger, deterministischer Kontrolle. Dies stellt sicher, dass der Prozess nicht nur in der Lage ist, qualitativ hochwertige Ergebnisse zu liefern, sondern auch robust, vorhersehbar und wirtschaftlich rentabel bleibt für die groß angelegten, kritischen Systeme, die unsere moderne Welt am Laufen halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.