💻 computer science

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

Dit artikel behandelt de uitdaging van codegeneratie in programmeertalen zonder middelen door nieuwe benchmarks te introduceren en aan te tonen dat een kosteneffectieve strategie van het verder voortrainen van een basismodel op doeltaaldata, gevolgd door het injecteren van instructievolgende capaciteiten via gewichtsdifferentieoverdracht, de directe fijnafstemming van instructieafgestemde modellen aanzienlijk overtreft.

Oorspronkelijke auteurs: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente robotassistent hebt (een Large Language Model, of LLM) die een expert is in programmeren. Je kunt de robot vragen om code in Python of Java te schrijven, en het is alsof je een meesterkok vraft om een klassiek Italiaans gerecht te bereiden — hij kent het recept uit zijn hoofd omdat hij miljoenen kookboeken (trainingsdata) over die specifieke talen heeft gelezen.

Maar wat gebeurt er als je de robot vraagt om een gerecht te bereiden uit een gloednieuwe, obscure keuken waar nog nooit een kookboek voor is geschreven? Misschien is het een taal die een bedrijf pas gisteren heeft uitgevonden, of een gespecialiseerde tool voor een specifieke industrie die nog niet op het internet is gedeeld.

Dit artikel gaat over het leren aan die robot hoe hij deze "no-resource" gerechten moet bereiden.

Het Probleem: De Robot is Klaar met de Wereld

De onderzoekers ontdekten dat wanneer ze topmodellen AI vroegen om code te schrijven in deze gloednieuwe talen (ze testten Gleam en MoonBit), de robots bijna volledig de weg kwijt waren.

High-Resource Talen (Python/Java): De robot had het ongeveer 80–90% van de tijd goed.
Low-Resource Talen (zoals Lua of R): De robot deed het redelijk en had het ongeveer 50–60% van de tijd goed.
No-Resource Talen (Gleam/MoonBit): De robot faalde bijna 100% van de tijd.

De Analogie: Het is alsof je een chef vraagt die alleen ooit met een mes heeft gewerkt, om plotseling een gloednieuw, vreemd gevormd instrument te gebruiken dat hij nog nooit heeft gezien. Ze maken niet alleen een kleine fout; ze weten vaak niet eens hoe ze het instrument correct moeten vasthouden. De fouten waren niet alleen "slecht koken"; het waren "syntaxfouten" — de robot kon niet eens de basisstructuur van de code schrijven omdat hij de grammatica van de nieuwe taal niet kende.

Het Experiment: Hoe leren we de robot?

Het team probeerde vier verschillende manieren om de robot te helpen de nieuwe talen te leren, waarbij ze de nieuwe talen behandelden als een nieuw vak waar de robot voor moet leren voor een examen.

Het "Spiekbriefje" (Few-Shot & RAG): Ze gaven de robot een paar voorbeelden van code geschreven in de nieuwe taal of een fragment uit de handleiding vlak voordat ze hem vroegen om iets te schrijven.
- Resultaat: Het hielp een beetje, zoals het geven van een paar oefenopgaven aan een student. De robot werd iets beter, maar hij worstelde nog steeds met de basis.
De "Crashcursus" (Fine-Tuning): Ze namen de robot en voerden hem elk stukje code en elke documentatie die ze konden vinden voor de nieuwe taal, waarbij ze hem dwongen alles opnieuw te leren.
- Resultaat: Dit werkte goed. De robot leerde de taal veel beter.
De "Diepe Duik" (Pre-Training): Ze namen een ruwe versie van de robot (één die nog niet geleerd heeft om instructies op te volgen) en voerden hem alle beschikbare data — elk codebestand en elke pagina uit de handleiding.
- Resultaat: Dit was de winnaar. Omdat ze alle data gebruikten (niet alleen de netjes georganiseerde voorbeelden die gebruikt worden bij fine-tuning), leerde de robot de taal dieper. Hij behaalde de beste scores.

De Catch: De "Slimme" Robot vs. De "Ruwe" Robot

Hier komt de wending. De "Diepe Duik" (Pre-Training) werkte het best, maar het had een bijwerking.

De robot die de taal diepgaand had geleerd, was een "ruw" model. Hij kende de taal perfect, maar hij was vergeten hoe hij menselijke instructies moet opvolgen. Als je hem vroeg: "Schrijf een functie om twee getallen op te tellen," staarde hij misschien alleen maar naar je of schreef hij onzin, omdat hij niet getraind was om opdrachten op te volgen.
De "Slimme" robots (Instruction-Tuned modellen) konden perfect opdrachten opvolgen, maar ze waren verschrikkelijk in de nieuwe taal.

De Oplossing: De "Vaardigheidsoverdracht" (Instruction Transferring)

De onderzoekers bedachten een slimme truc om het beste van beide werelden te krijgen zonder een fortuin uit te geven aan training.

De Metafoor: Stel je voor dat je twee tweelingen hebt.

Tweeling A is een meesterchef die de nieuwe keuken perfect kent, maar onbeleefd is en niet naar opdrachten luistert.
Tweeling B is een beleefde, gehoorzame ober die niets van de nieuwe keuken weet.

In plaats van een nieuwe chef in te huren of de ober vanaf nul opnieuw te trainen, vonden de onderzoekers een manier om de "beleefdheid" en "luistervaardigheden" van Tweeling B te kopiëren en op Tweeling A te plakken.
Ze berekenden het "verschil" tussen de beleefde ober en de ruwe chef, en voegden dat "verschil" toe aan de nieuwe, taal-expert robot.

Het Resultaat: Ze creëerden een robot die een expert is in de nieuwe taal EN perfect weet hoe hij instructies moet opvolgen.
De Bonus: Deze truc werkte zo goed dat een kleinere, goedkopere robot (8 miljard parameters) met deze "vaardigheidsoverdracht" daadwerkelijk beter presteerde dan een veel grotere, duurdere robot (32 miljard parameters) die alleen normaal gefinetuned was.

De Kernboodschap

Als een bedrijf vandaag een nieuwe programmeertaal uitvindt, kunnen ze niet simpelweg een kant-en-klare AI-assistent kopen en verwachten dat deze werkt. De AI zal falen.

Echter, dit artikel toont een weg vooruit:

Verzamel wat er ook maar aan code bestaat voor die nieuwe taal.
Leer een ruwe AI-model die taal (Pre-training).
Gebruik een "vaardigheidsoverdracht"-truc om dat model het vermogen te geven om instructies op te volgen.

Dit stelt bedrijven in staat om hun eigen gespecialiseerde AI-coding assistenten te bouwen voor hun unieke, eigen programmeertalen zonder dat ze miljoenen dollars aan enorme trainingssessies hoeven uit te geven. Ze kunnen een klein, slim model nemen en er voor een fractie van de kosten een taalexpert van maken.

Technische Samenvatting: Evaluatie en Verbetering van LLM's voor Codegeneratie in No-Resource Talen

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke successen hebben geboekt bij het automatiseren van software engineering-taken voor talen met veel middelen (bijv. Python, Java) en, in mindere mate, voor talen met weinig middelen (bijv. Lua, R), kampen ze met een kritieke kloof wanneer ze worden toegepast op no-resource talen. Dit zijn talen die buiten de pre-training distributie van LLM's vallen, vaak ontstaan als propriëtaire of domeinspecifieke talen in de industrie (bijv. Gleam, MoonBit). Commerciële tools zoals GitHub Copilot ondersteunen deze talen niet, waardoor organisaties gedwongen worden om eigen oplossingen te ontwikkelen. Echter, het gebrek aan trainingsdata maakt het onduidelijk hoe LLM's effectief gespecialiseerd kunnen worden voor deze contexten zonder dat dit gepaard gaat met prohibitieve computationele kosten of het verlies van instructievolgend vermogen.

Methodologie

Context en Benchmarks

De studie evalueert de prestaties van codegeneratie over negen talen, gecategoriseerd op basis van de beschikbaarheid van middelen:

High-Resource (Veel middelen): Python, Java (>10M GitHub-repositories).
Low-Resource (Weinig middelen): R, Lua, Haskell, Julia, Racket (22k–981k repositories).
No-Resource (Geen middelen): Gleam en MoonBit (<3k repositories elk, recent uitgebracht).

Om deze talen te beoordelen, hebben de auteurs drie benchmarks geconstrueerd door bestaande datasets (HumanEval, MBPP en een subset van McEval-Hard) te vertalen naar Gleam en MoonBit. Een rigoureus vertaalproces werd toegepast, waarbij automatische generatie werd gevolgd door handmatige inspectie om syntactische en semantische equivalentie met de originele taken te waarborgen.

Modellen

Zes state-of-the-art LLM's werden geëvalueerd, inclus\n_in_ commerciële modellen (GPT-4o, o3-mini) en open-source modellen (Qwen 2.5 Coder 32B, Qwen 3 32B/8B), die zowel base- als instruction-tuned varianten beslaan.

Experimentele Strategieën

De studie onderzoekt vier strategieën om de prestaties op no-resource talen te verbeteren:

Zero-Shot: Baseline prestaties zonder extra context.
In-Context Learning:
- Few-Shot: Het verstrekken van voorbeelden van code in de doeltaal.
- Retrieval-Augmented Generation (RAG): Het injecteren van relevante documentatiefragmenten die zijn opgehaald uit taalhandleidingen.
Training-gebaseerde benaderingen:
- Fine-Tuning: Het trainen van instruction-tuned modellen op verzamelde functie-documentatie paren.
- Further Pre-Training: Het voortzetten van de pre-training op base-modellen met behulp van beschikbare code en documentatie.
Instruction Transferring (Weight Diff): Een nieuwe benadering waarbij de instructievolgende capaciteiten worden overgedragen van een bestaand instruction-tuned model ( $M_i$ ) naar een gespecialiseerd base-model ( $M_{bk}$ ) door het gewichtsverschil te berekenen ( $\Delta w = M_i - M_{base}$ ) en dit toe te voegen aan het gespecialiseerde model. Dit vermijdt de hoge kosten van volledige instruction fine-tuning.

Belangrijkste Resultaten

RQ1: Impact van Taalpopulariteit

High-Resource: LLM's behalen hoge pass@1 scores (59–97%).
Low-Resource: De prestaties blijven redelijk (27–87%), vaak hoger dan 50% pass@1, wat suggereert dat moderne LLM's goed generaliseren, zelfs met beperkte data.
No-Resource: De prestaties storten in. In een zero-shot setting variëren de pass@1 scores van 0% tot 20%, en dalen naar bijna 0% bij complexe taken (McEval-Hard).
Foutanalyse: Falen in no-resource talen zijn voornamelijk syntactisch (tot 90% voor sommige modellen), terwijl falen in high-resource talen voornamelijk semantisch zijn. Dit geeft aan dat LLM's de basisgrammatica voor deze talen missen.

RQ2: Prestatieverbetering

In-Context Learning: Few-shot en RAG zorgen voor marginale verbeteringen (bijv. het verhogen van pass@1 van ~1% naar ~8% op harde taken), maar zijn onvoldoende voor complexe generatie. Few-shot presteert beter dan RAG, waarschijnlijk omdat codevoorbeelden de grammatica beter overbrengen dan documentatie.
Fine-Tuning vs. Pre-Training:
- Fine-tuning van instruction-tuned modellen verbetert de prestaties, maar wordt beperkt door de kleine hoeveelheid hoogwaardige functie-documentatie paren (ongeveer 0,5M–3,6M tokens).
- Further Pre-Training op base-modellen levert de beste resultaten op tussen de standaard technieken, door het volledige corpus van code en documentatie te benutten (ongeveer 13M–28M tokens). Het presteert aanzienlijk beter dan fine-tuning (bijv. 12,47% vs. 3,04% pass@1 op McEval-Hard voor Gleam).
- Beperking: Pre-trained base-modellen verliezen hun instructievolgende capaciteiten, waardoor ze ongeschikt zijn als directe programmeerassistenten.

RQ3: Instruction Transferring

Het toepassen van de weight diff transfer techniek op pre-trained base-modellen slaagt erin de instructievolgende capaciteiten te herstellen zonder volledige hertraining.
Deze benadering levert de hoogste prestatiewinsten op, waarbij het beter presteert dan zowel gefinetunede instruction-modellen als commerciële modellen met few-shot prompting.
- Voorbeeld: Op Gleam (McEval-Hard) verhoogde instruction transferring de pass@1 van 12,47% (pre-trained base) naar 26,08%.
- Efficiëntie: Een kleiner model (Qwen 3 8B) met instruction transferring presteerde beter dan een groter, gefinetuned model (Qwen 3 32B) in verschillende scenario's, wat aantoont dat strategische kennisoverdracht effectiever kan zijn dan het schalen van de modelgrootte.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

Benchmarks: De release van drie codegeneratie-benchmarks (HumanEval, MBPP, McEval-Hard) vertaald naar twee no-resource talen (Gleam en MoonBit), waarmee een gat in publieke evaluatietools voor propriëtaire talen wordt gedicht.
Empirisch Bewijs: Een uitgebreide studie die de prestatiekloof tussen high-, low- en no-resource talen kwantificeert, en vaststelt dat syntactische fouten de primaire faalmodus zijn voor no-resource talen.
Praktische Oplossing: De demonstratie dat further pre-training gecombineerd met instruction transferring een kosteneffectieve, hoogwaardige oplossing is voor bedrijven die gespecialiseerde in-house AI-programmeerassistenten willen implementeren voor propriëtaire talen. Deze benadering stelt organisaties in staat om de computationele kosten van instruction fine-tuning te omzeilen terwijl ze superieure resultaten behalen vergeleken met standaard in-context learning of fine-tuning.

De auteurs concluderen dat hoewel no-resource talen een aanzienlijke uitdaging blijven voor out-of-the-box LLM's, de voorgestelde methodologie een levensvatbaar pad biedt voor organisaties om gespecialiseerde, in-house AI-programmeerassistenten te ontwikkelen.