💻 computer science

COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation

Dit artikel introduceert COBOL-Coder, een gespecialiseerd groot taalmodel dat middels een geautomatiseerd data-curatieproces is getraind om aanzienlijk betere resultaten te boeken bij het genereren en vertalen van COBOL-code dan bestaande algemene modellen, zoals bevestigd door zowel benchmarks als feedback van ervaren ontwikkelaars.

Oorspronkelijke auteurs: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anh T. V. Dau, Shin Hwei Tan, Jinqiu Yang, Nghi D. Q. Bui, Anh Tuan Nguyen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

COBOL-Coder: De Digitale Restauratie-expert

Stel je voor dat de wereld van computers net als een oude stad is. De meeste nieuwe gebouwen zijn modern, glanzend en gebouwd van glas en staal (dat zijn talen zoals Python en Java). Maar in de kelder van deze stad, waar de echte zware lasten worden gedragen, staan nog steeds enorme, oude stenen gebouwen. Dit zijn de mainframes die de banken, verzekeraars en overheden runnen. De taal waarin deze gebouwen zijn gebouwd, heet COBOL.

Het probleem? De oude bouwmeesters die deze gebouwen hebben ontworpen, gaan met pensioen. De nieuwe bouwmeesters (de moderne kunstmatige intelligentie of AI) zijn fantastisch in het ontwerpen van glazen wolkenkrabbers, maar ze weten niet hoe ze met die oude stenen moeten werken. Als je hen vraagt om een muur in een oud COBOL-gebouw te repareren, bouwen ze vaak een glazen toren die niet past, of ze laten gewoon een gat in de muur.

Deze paper introduceert COBOL-Coder, een nieuwe soort AI die speciaal is getraind om deze oude gebouwen te begrijpen, te repareren en zelfs om te bouwen.

Hier is hoe ze dat hebben gedaan, vertaald in alledaagse termen:

1. Het verzamelen van de juiste blauwdrukken (De Data)

Om een expert te worden, moet je eerst veel boeken lezen en oude tekeningen bestuderen. Maar COBOL-boeken zijn zeldzaam en vaak verspreid over oude archieven.

Het probleem: De meeste AI's hebben gelezen op internet, maar daar vind je weinig COBOL. Wat ze wel vinden, is vaak onvolledig of foutief (zoals een bouwtekening met ontbrekende lijnen).
De oplossing: De onderzoekers hebben een slimme "robot-detective" gebouwd.
1. Ze hebben duizenden COBOL-bestanden van internet gehaald.
2. Ze hebben ze door een strenge bouwkundige controle (de compiler) gestuurd. Als een bestand niet paste, gaf de computer een foutmelding.
3. Een slimme AI (zoals een ervaren meester-bouwmeester) keek naar die foutmelding en repereerde het bestand totdat het perfect paste.
4. Ze maakten ook "synthetische" voorbeelden: ze namen moderne Java-code en vertaalden die terug naar COBOL, om te zien of de oude structuur behouden bleef.

Het resultaat is een enorme bibliotheek van perfecte COBOL-voorbeelden, waar de AI van kan leren.

2. De Speciale Leerling (COBOL-Coder)

Vervolgens namen ze een zeer slimme, algemene AI (een "universele bouwmeester") en gaven ze hem een speciale opleiding.

In plaats van alles te leren over alle talen, leerden ze deze AI alleen COBOL.
Ze noemden hem COBOL-Coder.
Het is alsof je een briljante architect die alleen moderne huizen bouwt, een jaar lang laat studeren bij de laatste overlevende meester-bouwmeester van de middeleeuwen. Hij leert de specifieke regels, de oude dialecten en de manier waarop de stenen precies moeten liggen.

3. De Proef (De Test)

Hoe goed werkt deze nieuwe AI? De onderzoekers hebben hem op de proef gesteld op twee manieren:

Nieuwe gebouwen bouwen (Code Generatie): Ze gaven de AI een opdracht (bijvoorbeeld: "Bereken de rente voor een klant") en keken of hij een werkend COBOL-programma kon maken.
- Resultaat: De oude, algemene AI's (zoals GPT-4) faalden bijna volledig of maakten programma's die niet werkten. COBOL-Coder slaagde bijna 74% van de tijd en maakte programma's die daadwerkelijk werkten.
Ombouwen (Vertaling): Ze vroegen de AI om moderne Java-code om te zetten naar oude COBOL-code (en andersom). Dit is heel lastig, omdat het twee totaal verschillende stijlen zijn.
- Resultaat: De algemene AI's maakten hier bijna niets van terecht. COBOL-Coder slaagde erin om de moderne code om te zetten naar correcte, oude COBOL-code.

4. Wat zeggen de echte vakmensen?

De onderzoekers hebben niet alleen gekeken naar cijfers, maar ook gepraat met echte COBOL-experts (de "oudste bouwmeesters" van de stad).

De experts vonden dat COBOL-Coder voelde als een van hen. De code zag eruit zoals ze het gewend waren: netjes, gestructureerd en veilig.
De algemene AI's maakten code die "te modern" of "te rommelig" aanvoelde voor een mainframe.
De experts zagen COBOL-Coder niet als een robot die alles voor ze doet, maar als een junior medewerker. Een junior die een eerste opzet maakt, waarna de senior (de mens) het controleert en verbetert. Dit bespaart enorm veel tijd en hoofdpijn.

Conclusie: Waarom is dit belangrijk?

Deze paper laat zien dat voor oude, speciale systemen geen "grootste en slimste" AI nodig is, maar een speciale expert.

Het is alsof je een auto wilt repareren. Je kunt een wereldkampioen Formule 1-coureur vragen om een oude, stalen Ford uit 1960 te repareren. Hij is misschien de beste coureur ter wereld, maar hij weet niet hoe je aan die specifieke motor moet sleutelen. Je hebt liever een specialist die precies weet hoe die oude Ford werkt.

COBOL-Coder is die specialist. Hij zorgt ervoor dat de oude, cruciale systemen van onze wereld (onze geld, onze verzekeringen) veilig blijven staan, terwijl we ze langzaam kunnen ombouwen naar de toekomst.

Probleemstelling

COBOL blijft een kritieke taal voor mainframe-systemen in sectoren zoals bankwezen, verzekeringen en overheid. Ondanks het belang van deze taal presteren bestaande Large Language Models (LLMs) slecht bij het genereren en vertalen van COBOL-code. De belangrijkste uitdagingen zijn:

Data-schaarste: COBOL-code is grotendeels gesloten (bedrijfsintern) en niet publiek beschikbaar, wat leidt tot een gebrek aan trainingsdata vergeleken met moderne talen zoals Python of Java.
Scheefstand in prestaties: Algemene code-LLMs (zoals CodeLlama, StarCoder2) en zelfs geavanceerde modellen (zoals GPT-4o) falen vaak bij het produceren van compileerbare COBOL-programma's of vertonen een gebrek aan kennis van legacy-conventies.
Gebrek aan benchmarks: Bestaande evaluatiemethoden zijn beperkt tot code-generatie en missen benchmarks voor bidirectionele vertaling (COBOL $\leftrightarrow$ Java), wat essentieel is voor moderniseringsscenarios.

Methodologie

De auteurs introduceren een geautomatiseerde aanpak bestaande uit een data-curatiepijplijn en een gespecialiseerd model.

1. Data Curatie Pijplijn

Om een hoogwaardig trainingsdataset te creëren, combineren de auteurs drie bronnen met een multi-stap validatieproces:

Bron 1: Publieke COBOL-code (GitHub):
- Bestanden worden gefilterd op grootte en kwaliteit.
- Compiler-gestuurde validatie: Een compiler (GnuCOBOL) test de code. Bij fouten wordt een LLM (GPT-4o) ingezet als "reparateur" om de code te corrigeren op basis van de compiler-log. Dit proces is iteratief (max. 3 rondes) totdat de code compileert.
- Resultaat: 31.492 compileerbare COBOL-programma's.
Bron 2: Synthetische COBOL-code (Cross-linguale vertaling):
- Java-code (uit het Stack-v2-dataset) wordt vertaald naar COBOL.
- Validatie: Na compiler-validatie wordt een gelijkwaardigheidscontrole uitgevoerd:
  1. LLM-beoordeling van de semantische overeenkomst tussen Java en COBOL.
  2. Back-translation: De gegenereerde COBOL-code wordt terugvertaald naar Java en vergeleken met de originele Java-code via AST-based similarity scoring (CodeBERTScore). Alleen paren met hoge overeenkomst worden behouden.
- Resultaat: Een groot dataset van Java-COBOL en COBOL-Java paren.
Bron 3: Kennisbronnen:
- Tekstuele bronnen (handboeken, documentatie) worden omgezet naar vraag-antwoordparen door een LLM, om conceptuele kennis van mainframes en COBOL-syntaxis te vergroten.

2. Model Training (COBOL-Coder)

Basis: Het model is gebaseerd op de Qwen2.5-Coder familie (7B en 14B parameters).
Aanpassing: In plaats van de architectuur te wijzigen, wordt het model fine-tuned op de gecurateerde instructiedata (beschrijving-code paren, vertaaltaken en vraag-antwoorden).
Doel: Het model leert specifieke COBOL-syntaxis, mainframe-conventies en enterprise-programmeerpatronen.

3. Evaluatie en Benchmarks

Generatie: Getest op COBOLEval en COBOLCodeBench.
Vertaling: De auteurs introduceren COBOL-JavaTrans, de eerste benchmark voor bidirectionele vertaling tussen COBOL en Java, afgeleid van HumanEval.
Gebruikersonderzoek: Een enquête onder ervaren COBOL-ontwikkelaars om de praktische bruikbaarheid, leesbaarheid en naleving van bedrijfsstandaarden te beoordelen.

Belangrijkste Bijdragen

Geautomatiseerde Data Pijplijn: Een robuust systeem voor het genereren en valideren van COBOL-data via compiler-feedback en semantische filtering.
COBOL-Coder: Een gespecialiseerd LLM dat significant beter presteert dan state-of-the-art modellen op COBOL-taken.
COBOL-JavaTrans Benchmark: Een nieuw dataset voor het evalueren van legacy-modernisatie (COBOL $\to$ Java) en migratie (Java $\to$ COBOL).
Praktische Validatie: Een kwalitatief onderzoek dat de kloof tussen automatische metrics en echte ontwikkelaarsbehoeften in kaart brengt.

Resultaten

Kwantitatieve Prestaties

Code Generatie (COBOLEval):
- COBOL-Coder-14B: Bereikt een compilatie-succesrate (CSR) van 73,95% en 49,33 Pass@1.
- Vergelijking: GPT-4o bereikt slechts 41,8% CSR en 16,4 Pass@1. De meeste open-source baselines (CodeGemma, CodeLlama, StarCoder2) behalen 0% op beide metrics.
Code Vertaling (COBOL-JavaTrans):
- COBOL $\to$ Java: COBOL-Coder behaalt 97,9% CSR en 83,91 Pass@1, wat vergelijkbaar is met of beter is dan veel grotere algemene modellen.
- Java $\to$ COBOL: Dit is de moeilijkste taak. COBOL-Coder-14B bereikt 72,03% CSR en 34,93 Pass@1. Algemene modellen (zoals GPT-4o) zakken hier bijna volledig weg (onder de 5% CSR).

Kwalitatieve Feedback (Ontwikkelaars)

COBOL-Awareness: Ontwikkelaars rapporteren dat COBOL-Coder beter begrijpt hoe COBOL-programma's in de praktijk werken (bijv. batch-verwerking, bestandsbehandeling) dan algemene modellen.
Structuur: De gegenereerde code volgt meer de conventionele COBOL-structuur en enterprise-patronen.
Rol: Ontwikkelaars zien het model als een "junior developer" die een eerste concept maakt (draft generator), maar benadrukken dat menselijke controle en integratie met bestaande systemen (zoals JCL en copybooks) nog steeds noodzakelijk zijn.

Betekenis en Conclusie

De studie toont aan dat domeinspecialisatie cruciaal is voor legacy-talen. Het simpelweg vergroten van het model (schaal) is niet voldoende; de kwaliteit en specificiteit van de trainingsdata zijn bepalend.

Asymmetrie: Het vertalen van moderne code naar legacy (Java $\to$ COBOL) is fundamenteel moeilijker dan andersom, wat specifieke modellen vereist.
Praktische Impact: COBOL-Coder biedt een haalbare oplossing voor het moderniseren van mainframe-systemen, maar moet worden ingezet binnen een "human-in-the-loop" workflow.
Toekomst: Voor volledige adoptie in productie moeten toekomstige modellen verder gaan dan single-file generatie en rekening houden met repository-level context (gedeelde data, cross-program dependencies).

Kortom, dit werk sluit een belangrijke kennislacune door een gespecialiseerd model te presenteren dat niet alleen technisch superieur is op benchmarks, maar ook door experts wordt erkend als een bruikbaar hulpmiddel in de COBOL-ontwikkelwereld.