CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

Deze paper introduceert CangjieBench, een nieuw benchmark voor het evalueren van grote taalmodellen op de lage-resource programmeertaal Cangjie, waarbij wordt vastgesteld dat syntax-beperkte generatie de beste balans biedt tussen nauwkeurigheid en kosten, terwijl agenten de hoogste nauwkeurigheid halen maar veel tokens verbruiken.

De kern

CANGJIEBENCH: Een Speurtocht naar Code in een Nieuwe Taal

Stel je voor dat je een meester-bakker bent die perfect koekjes kan bakken in het Nederlands, Engels en Frans. Je kent de recepten uit je hoofd. Maar dan krijg je een nieuwe, vreemde taal aangeboden: Cangjie. Dit is een moderne programmeertaal die net is uitgevonden door Huawei voor hun nieuwe besturingssysteem. Het probleem? Er zijn nog geen bakboeken, geen recepten en niemand heeft er ooit eerder mee gekookt.

Dit is precies waar dit onderzoek over gaat. De auteurs hebben een nieuwe test ontwikkeld, genaamd CANGJIEBENCH, om te kijken hoe goed kunstmatige intelligentie (AI) kan leren koken in deze nieuwe taal, zonder dat ze er ooit eerder van hebben gehoord.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Lege Bibliotheek"

De meeste AI-modellen zijn getraind op enorme hoeveelheden data van populaire talen zoals Python of Java. Ze zijn als studenten die alle boeken in de bibliotheek hebben gelezen. Maar Cangjie is als een nieuwe taal die gisteren is uitgevonden. Er zijn geen boeken over. Als je een AI vraagt code te schrijven in Cangjie, is het alsof je een student vraagt een essay te schrijven in een taal die ze net hebben bedacht, zonder woordenboek. De meeste AI's vallen dan in paniek en maken onzin.

2. De Oplossing: Een Schone Test (Geen "Cheaten")

Om dit eerlijk te testen, hebben de onderzoekers geen oude code van het internet gekopieerd (want dat zou de AI kunnen "leren" door te onthouden in plaats van te begrijpen). In plaats daarvan hebben ze bekende, moeilijke puzzels uit Python (een populaire taal) handmatig vertaald naar Cangjie.

• De Analogie: Stel je voor dat je een set wiskundepuzzels hebt. Je neemt de vragen, maar verandert de taal waarin de antwoorden moeten worden geschreven. Zo weten ze zeker dat de AI de logica van de puzzel moet begrijpen, en niet alleen de antwoorden uit haar geheugen moet halen.

3. De Vier Strategieën: Hoe probeert de AI het?

De onderzoekers hebben gekeken hoe verschillende methoden werken om de AI te helpen deze nieuwe taal te leren. Ze hebben vier benaderingen getest:

• A. Directe Creatie (De "Gokker"):
  Je vraagt de AI gewoon: "Schrijf dit in Cangjie."

  • Resultaat: Het is een ramp. De AI probeert het te raden, maar omdat ze de regels niet kent, maakt ze grammaticale fouten. Het is alsof je iemand vraagt een zinnen te maken in het Chinees zonder dat ze het alfabet kent. Het resultaat is onleesbaar.

• B. Grammatica-Richtlijnen (De "Spiekbrief"):
  Je geeft de AI een kort, duidelijk overzicht van de belangrijkste regels van Cangjie (zoals "een zin begint met een hoofdletter" of "gebruik dit symbool voor lijsten").

  • Resultaat: Dit werkt verrassend goed! De AI had de logica al in haar hoofd, ze miste alleen de specifieke regels. Met een kleine "spiekbrief" in het gesprek (prompt) kon ze plotseling veel betere code schrijven. Dit was de meest efficiënte methode: veel succes voor weinig moeite.

• C. Opzoeken in Documentatie (De "Zoeker"):
  Je laat de AI zoeken in een digitale bibliotheek met handleidingen over Cangjie voordat ze antwoordt.

  • Resultaat: Het werkt beter dan niets, maar de AI is vaak slecht in het vinden van de juiste informatie. Ze zoekt naar de verkeerde woorden of raakt verward door te veel informatie. Het is alsof iemand een zoektocht doet in een enorme bibliotheek, maar de verkeerde boeken pakt.

• D. De Agent (De "Onderzoeker"):
  Je geeft de AI een robot-assistent die zelfstandig kan zoeken, lezen en proberen. De AI kan zelf beslissen: "Ik weet dit niet, ik ga even de handleiding opzoeken, proberen, en als het mislukt, zoek ik opnieuw."

  • Resultaat: Dit gaf de beste resultaten. De AI kon zichzelf corrigeren en leerde onderweg. Maar het was heel duur en langzaam. Het was alsof je een student een hele dag laat studeren voor een examen dat ze in 10 minuten hadden kunnen halen als je ze gewoon de regels had gegeven. Het kostte enorm veel rekenkracht (tokens).

4. De Verrassende Ontdekking: "Oude Gewoontes"

Een van de coolste ontdekkingen was dat het soms moeilijker is om code van Python naar Cangjie te vertalen dan om een nieuwe tekst in Cangjie te schrijven.

• De Analogie: Stel je voor dat je een tekst in het Nederlands moet vertalen naar een nieuwe taal. Je blijft onbewust de zinsbouw van het Nederlands gebruiken, terwijl de nieuwe taal een heel andere structuur heeft. De AI "plakt" de oude Python-regels op de nieuwe Cangjie-structuur, wat resulteert in een rommeltje. Als je de AI echter vraagt om niets te zien van de oude taal en gewoon een nieuwe tekst te schrijven, doet ze het juist beter! Ze moet de oude gewoontes vergeten om de nieuwe taal te leren.

Conclusie: Wat betekent dit voor de toekomst?

Deze studie laat zien dat we niet per se enorme, dure AI-modellen nodig hebben om nieuwe programmeertalen te leren. Als je de AI gewoon de regels (de grammatica) geeft, kan ze haar bestaande kennis van logica toepassen op de nieuwe taal.

• Voor de "gewone" gebruiker: Als er morgen een nieuwe programmeertaal uitkomt, hoeft de AI niet maandenlang te worden getraind. Geef haar gewoon een snelle handleiding, en ze is klaar om te werken.
• Voor de "Agent": Hoewel slimme agents die zelf zoeken het beste resultaat geven, zijn ze vaak te duur voor dagelijks gebruik. De "spiekbrief-methode" (Syntax-Constrained) is de gouden middenweg: goedkoop, snel en effectief.

Kortom: CANGJIEBENCH is de eerste eerlijke test die laat zien dat AI's niet alleen kunnen "onthouden", maar ook echt kunnen leren als je ze de juiste hulpmiddelen geeft, zelfs in een taal die ze nog nooit hebben gezien.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend in programmeren met hoog-resource talen zoals Python en C++, maar kampen met aanzienlijke moeilijkheden bij low-resource programmeertalen. Bestaand onderzoek richt zich voornamelijk op Domeinspecifieke Talen (DSL's) zoals Verilog of Solidity. Dit creëert een gat in de kennis, omdat het moeilijk is om te bepalen of een model faalt door gebrek aan syntactische kennis of door gebrek aan domeinkennis.

Daarnaast is er een groeiende industriële vraag naar nieuwe, algemene programmeertalen die geschikt zijn voor edge-cloud samenwerking, zoals Cangjie (ontwikkeld door Huawei voor het HarmonyOS-ecosysteem). Cangjie is echter een jonge taal (gepubliceerd in juli 2025) met een gebrek aan grote open-source corpora. Dit maakt het voor huidige LLMs onmogelijk om geldige Cangjie-code te genereren zonder dat ze de taal hebben "geleerd" via training, wat een unieke test biedt voor de generalisatiecapaciteit van modellen.

Methodologie

De auteurs introduceren CANGJIEBENCH, een schoon, verontreinigingsvrij (contamination-free) benchmark voor Cangjie.

1. Dataset Constructie:

   • Vanwege het gebrek aan bestaande Cangjie-data, hebben de auteurs een vertaalstrategie toegepast. Ze hebben de bekende datasets HumanEval (functieniveau) en ClassEval (klasseniveau) handmatig vertaald van Python naar Cangjie.
   • De dataset bevat 248 hoogwaardige samples (164 uit HumanEval, 84 uit ClassEval).
   • Schoonheid: Omdat de data handmatig is vertaald en niet via web-scraping is verkregen, is er geen risico op data-lekkage (het model kan de antwoorden niet hebben "gezien" tijdens training).
   • Twee taken:
     • Text-to-Code: Genereren van Cangjie-code vanuit natuurlijke taalbeschrijvingen.
     • Code-to-Code: Vertalen van Python-code naar Cangjie-code.

2. Evaluatie Framework:

   • Een geautomatiseerde sandbox (Docker) met de Cangjie-runtime, standaardbibliotheken en testframeworks wordt gebruikt om de gegenereerde code te compileren en te testen.
   • Metrieken: Pass@1 (functionele correctheid), Compile Rate (syntactische geldigheid) en Token Usage (kosten/efficiëntie).

3. Onderzochte Paradigma's:
   De auteurs evalueren vier strategieën om LLMs te helpen zonder het model te fine-tunen:

   • Directe Generatie: Zero-shot prompting zonder extra context.
   • Syntax-Constrained Generatie: Het toevoegen van een beknopte set grammaticaregels en type-definities aan de prompt om het model te leiden.
   • Retrieval-Augmented Generation (RAG): Het ophalen van relevante documentatie (Docs) of code-snippets (Code) om context te bieden.
   • Agent: Een CLI-gebaseerde agent die autonoom documentatie raadpleegt, fouten analyseert en iteratief code corrigeert (simulatie van een menselijke ontwikkelaar).

Belangrijkste Resultaten

De experimenten met diverse state-of-the-art modellen (o.a. GPT-5, DeepSeek-V3, Kimi-K2, Qwen3) tonen de volgende inzichten:

• Directe Generatie faalt: Zonder hulp presteren modellen slecht (Pass@1 < 5% voor de meeste modellen). De lage "Compile Rate" toont aan dat het probleem voornamelijk syntactisch is; de modellen kennen de logica wel, maar niet de syntax van Cangjie.
• Syntax-Constrained is de beste trade-off: Het toevoegen van grammaticaregels leidt tot een enorme prestatieverbetering (bijv. GPT-5 stijgt van 4,3% naar 53,8% Pass@1). Dit is de meest kostenefficiënte methode, met een hoge nauwkeurigheid en lage token-gebruik.
• Agenten bereiken de hoogste nauwkeurigheid: Agenten (vooral GPT-5 met Codex CLI) bereiken de beste resultaten (77,6% Pass@1) door iteratief te zoeken en te corrigeren. Echter, dit komt met een enorme kostprijs (honderdduizenden tokens), wat ze minder praktisch maakt voor dagelijkse toepassingen.
• RAG presteert minder dan Syntax-Constrained: Het ophalen van documentatie of code-snippets helpt, maar is minder effectief dan het direct geven van gestructureerde grammaticaregels. Modellen hebben moeite om complexe syntax uit losse snippets te generaliseren.
• Negatieve Transfer bij Code-to-Code: Verrassend genoeg presteert de taak "Code-to-Code" (Python naar Cangjie) vaak slechter dan "Text-to-Code". De auteurs stellen dat modellen de neiging hebben om de patronen van de bron-taal (Python) over te nemen in plaats van de doel-taal (Cangjie) correct toe te passen, wat leidt tot syntactische fouten.

Belangrijkste Bijdragen

1. CANGJIEBENCH: De eerste uitgebreide benchmark voor Cangjie, die zowel generatie als vertaling ondersteunt en vrij is van data-verontreiniging.
2. Nieuw Onderzoeksperspectief: Cangjie wordt behandeld als een algemene low-resource taal in plaats van een DSL, waardoor de pure syntactische generalisatie van LLMs kan worden getest zonder domein-specifieke bias.
3. Uitgebreide Evaluatie: Een systematische vergelijking van vier verschillende methoden (Direct, Syntax, RAG, Agent) om te bepalen welke het meest effectief is voor het aanleren van nieuwe talen.
4. Inzicht in Negatieve Transfer: Het paper onthult dat het hebben van broncode (Python) soms een nadelig effect kan hebben op de vertaling naar een nieuwe taal, wat wijst op overfitting op bron-patronen.

Betekenis en Toekomstperspectief

Dit werk is cruciaal voor de toekomst van software-engineering met AI. Het toont aan dat voor nieuwe, onbekende programmeertalen expliciete syntactische richtlijnen (in de prompt) vaak effectiever en goedkoper zijn dan complexe RAG-systemen of fine-tuning.

De bevindingen suggereren dat de toekomst van low-resource code-generatie ligt in het ontwikkelen van methoden om automatisch minimale, effectieve grammaticaregels te extraheren en in te voegen. Daarnaast wijst het op de noodzaak van "semantisch uitgelijnde vertaling" in plaats van regel-voor-regel vertaling om negatieve transfer te voorkomen. CANGJIEBENCH biedt de gemeenschap een robuust testbed om de grenzen van LLM-generalisatie verder te verkennen.