COBOLAssist: Analyzing and Fixing Compilation Errors for LLM-Powered COBOL Code Generation
Die Studie stellt COBOLAssist vor, ein Framework, das mithilfe von Large Language Models und iterativen Kompilierungsfeedback-Schleifen die Erfolgsrate bei der Generierung fehlerfreien COBOL-Codes erheblich steigert und dabei die aktuellen Grenzen der Modelle bei der funktionalen Korrektheit aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Der vergessene Dinosaurier im IT-Dschungel
Stellen Sie sich vor, die Weltwirtschaft läuft auf einem riesigen, alten Schiffsantrieb, der aus den 1950er Jahren stammt. Dieser Motor heißt COBOL. Er ist unglaublich robust und treibt Banken, Versicherungen und Regierungen an. Aber es gibt ein riesiges Problem: Die Mechaniker, die diesen Motor verstehen, gehen langsam in Rente. Die jungen Ingenieure kennen diese alte Sprache kaum noch.
Heute versuchen wir, Künstliche Intelligenz (KI), genauer gesagt Large Language Models (LLMs) wie ChatGPT, einzusetzen, um diesen alten Motor zu reparieren oder neue Teile zu bauen. Das Problem: Die KI ist wie ein genialer Student, der nur moderne Sprachen (wie Python oder Englisch) gelernt hat. Wenn sie versucht, COBOL zu schreiben, macht sie viele Fehler. Sie verwechselt die strengen Regeln der alten Sprache, baut Teile falsch zusammen oder vergisst wichtige Schlusssteine. Das Ergebnis? Der Code funktioniert nicht und der Compiler (der „Prüfer") spuckt Fehlermeldungen aus.
Die Lösung: COBOLAssist – Der KI-Prüfling mit Nachhilfe
Die Autoren des Papers haben eine Lösung entwickelt, die sie COBOLAssist nennen. Man kann sich das wie einen intelligenten Tutor vorstellen, der der KI hilft, ihre Fehler selbst zu korrigieren.
Statt dass die KI einfach einen Code schreibt und hofft, dass er passt, läuft folgender Prozess ab:
- Der erste Versuch: Die KI schreibt einen COBOL-Code.
- Der Prüfer: Der Compiler prüft den Code und sagt: „Nein, hier fehlt ein Punkt" oder „Du hast zwei Abschnitte namens 'Linkage' verwendet, das geht nicht."
- Die Rückmeldung: Diese Fehlermeldung wird nicht weggeworfen, sondern der KI zurückgegeben.
- Die Korrektur: Die KI liest den Fehler, denkt nach und schreibt den Code neu, um den Fehler zu beheben.
- Wiederholung: Dieser Zyklus wiederholt sich so lange, bis der Code fehlerfrei ist oder eine maximale Anzahl an Versuchen erreicht ist.
Es ist, als würde man einem Schüler eine Matheaufgabe geben. Wenn er sich verrechnet, gibt der Lehrer nicht die Lösung vor, sondern sagt: „Schau mal, bei Schritt 3 hast du ein Vorzeichen vergessen." Der Schüler korrigiert es und versucht es erneut.
Was haben sie herausgefunden? (Die wichtigsten Erkenntnisse)
Die Forscher haben untersucht, wo genau die KI scheitert und wie gut COBOLAssist hilft:
Andere Fehler als Menschen: Wenn menschliche Entwickler COBOL schreiben, machen sie viele verschiedene, kleine Fehler. Wenn die KI schreibt, macht sie fast immer die gleichen großen Fehler.
- Beispiel: Die KI vergisst oft, Programmabschnitte ordentlich abzuschließen (wie ein Satz ohne Punkt). Das passiert Menschen kaum, aber der KI ständig.
- Beispiel: Die KI benutzt Funktionen falsch, als wären sie aus einer anderen Sprache (z. B. wie in Python), obwohl COBOL eine ganz andere Grammatik hat.
Der Erfolg von COBOLAssist: Das System funktioniert erstaunlich gut!
- Ohne Hilfe schaffte es eine der besten KIs (GPT-4o), nur in etwa 42 % der Fälle, einen fehlerfreien Code zu schreiben.
- Mit COBOLAssist (der Rückmeldung und Korrektur) stieg dieser Wert auf 96 %!
- Das ist, als würde ein Schüler, der vorher nur 4 von 10 Aufgaben richtig löste, nach ein paar Runden Nachhilfe 9 oder 10 von 10 Aufgaben perfekt machen.
Wo die KI noch scheitert: Auch mit Hilfe gibt es noch Probleme. Die KI kann einfache Fehler (wie Tippfehler bei Variablennamen) gut korrigieren. Aber wenn der Fehler tief in der Logik steckt oder die Struktur des Programms komplett durcheinander ist, kommt die KI manchmal an ihre Grenzen. Sie versteht die Bedeutung des Codes noch nicht immer perfekt, nur die Grammatik.
Warum ist das wichtig?
Diese Forschung ist wie ein Rettungsanker für die alte IT-Welt.
- Für Unternehmen: Sie können jetzt KI nutzen, um ihre alten Systeme zu warten, ohne Angst zu haben, dass alles abstürzt. Die KI wird durch COBOLAssist zu einem zuverlässigen Assistenten.
- Für die Zukunft: Es zeigt, dass KI auch bei alten, „trockenen" Sprachen helfen kann, wenn man ihr den richtigen Feedback-Loop gibt. Man muss der KI nicht nur sagen „Schreib Code", sondern ihr auch sagen „Hier ist dein Fehler, korrigiere ihn".
Fazit
Stellen Sie sich vor, Sie haben einen alten, wertvollen Wecker, den niemand mehr reparieren kann. Plötzlich kommt eine junge, clevere Person (die KI), die den Wecker reparieren will, aber die Schrauben falsch anzieht. COBOLAssist ist der erfahrene Uhrmacher, der neben ihr steht, auf den Wecker zeigt und sagt: „Nein, die Schraube gehört hierhin." Nach ein paar Versuchen repariert die junge Person den Wecker perfekt.
Das Paper zeigt uns, wie wir KI nutzen können, um die alte Welt der Informatik am Laufen zu halten, bevor die letzten Experten gehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.