💬 NLP

Evaluating and Achieving Controllable Code Completion in Code LLM

Dit artikel introduceert de Controllable Code Completion Benchmark (C3-Bench) om het gebrek aan evaluatie van instructievolgend vermogen in code-LLM's aan te pakken, onthult significante prestatiekloven tussen open-source en propriëtaire modellen, en stelt een datapijplijn voor voor synthese die een gefinetuned model in staat stelt om state-of-the-art resultaten te behalen op de nieuwe benchmark.

Oorspronkelijke auteurs: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Gepubliceerd 2026-01-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent (de AI) die werkt in een drukke keuken. Een lange tijd was de manier waarop we deze koks testten simpel: we gaven ze een half afgewerkt gerecht (de code vóór het ontbrekende deel) en een half afgewerkt gerecht erna (de code na het ontbrekende deel), en vroegen hen het midden in te vullen. Als het uiteindelijke gerecht goed smaakte (voldoet aan de unit tests), kreeg de kok een gouden ster.

Het Probleem: Het "Recept" Ontbrak
De auteurs van dit artikel beweren dat deze oude manier van testen gebrekkig is. In de echte wereld zegt een chef-kok niet alleen: "Vul het midden aan." Een chef-kok zegt: "Vul het midden aan, maar gebruik alleen vegetarische ingrediënten," of "Vul het midden aan, maar maak het precies drie regels lang," of "Vul het midden aan, maar gebruik een specifiek type mes."

Huidige AI-modellen zijn goed in het zorgen dat het gerecht lekker smaakt, maar ze negeren vaak de specifieke instructies over hoe het gemaakt moet worden. Ze gebruiken misschien vlees wanneer je om groenten vroeg, of schrijven een paragraaf wanneer je om één regel vroeg. De oude tests merkten dit niet op omdat ze alleen controleerden of het eten eetbaar was, niet of de kok de opdracht opvolgde.

De Oplossing: C3-Bench (De "Instructie-Opvolging" Test)
Om dit op te lossen, heeft het team een nieuwe test gemaakt genaamd C3-Bench (Controllable Code Completion Benchmark). Zie dit als een nieuwe, veel strengere kookwedstrijd.

In plaats van alleen te vragen om een ontbrekend stuk code, komt elke test in C3-Bench met een specifieke, fijnmazige instructie. Ze hebben deze instructies onderverdeeld in twee hoofdcategorieën:

De "Hoe-te-doen" Instructies (Implementatie-controle):
- Analogie: "Bouw een brug, maar je moet een hangbrugontwerp gebruiken, geen liggerontwerp."
- De AI moet code schrijven die werkt en een specifieke stijl, algoritme of structuur volgt. Bijvoorbeeld: "Sorteer deze lijst met behulp van een specifieke sorteermethode" of "Behandel fouten op deze specifieke manier."
De "Grootte" Instructies (Schaal-controle):
- Analogie: "Schrijf een zin die precies 10 woorden lang is," of "Schrijf een paragraaf die precies 3 zinnen bevat."
- De AI moet code genereren die binnen een strikte grootte limiet past, zoals precies 5 regels code of een specifiek blok logica, niet meer en niet minder.

Wat Ze Hebben Ontdekt
Het team heeft meer dan 40 verschillende AI-modellen (zowel gratis, open-source modellen als dure, gesloten modellen) getest op deze nieuwe test. Dit is wat zij ontdekten:

De "Overmoedige" Open-Source Modellen: Op de oude tests presteerden veel gratis, open-source AI-modellen net zo goed als de dure, topmodellen. Echter, op deze nieuwe C3-Bench hadden ze grote moeite. Het blijkt dat ze de oude tests hadden "uit het hoofd geleerd", maar niet echt wisten hoe ze complexe instructies moesten opvolgen. Ze waren als studenten die het antwoordmodel uit hun hoofd hadden geleerd, maar niet in staat waren een nieuw probleem met een draai te lossen.
De Kloof: Er is een enorme kloof tussen modellen die gewoon "code werkend kunnen krijgen" en modellen die "code precies zo werkend kunnen krijgen als je dat vraagt." Zelfs sommige van de slimste, duurste modellen hadden moeite met de "Grootte" instructies (zoals het schrijven van precies het juiste aantal regels).
De Fix: De auteurs hebben niet alleen naar het probleem gewezen; ze hebben een oplossing gebouwd. Ze hebben een pipeline ontwikkeld om automatisch duizenden nieuwe trainingsvoorbeelden te genereren waarbij een AI code schrijft en een specifieke instructie opvolgt. Ze hebben deze data gebruikt om een nieuwe versie van hun model te trainen, genaamd Qwen2.5-Coder-C3.
Het Resultaat: Dit nieuwe model werd de beste in het opvolgen van instructies bij code-completie, waarbij het bijna iedereen versloeg op de nieuwe test, terwijl het nog steeds goed was in de oude tests.

De Kernboodschap
Dit artikel introduceert een nieuwe manier om AI-coderingsvaardigheden te meten die er echt toe doet voor echt wereldgebruik: Kan de AI luisteren?

Ze ontdekten dat veel huidige AI-modellen als getalenteerde muzikanten zijn die de juiste noten spelen, maar de tempoveranderingen van de dirigent negeren. Door deze nieuwe benchmark en een methode te creëren om modellen beter te leren luisteren, helpen de auteurs ontwikkelaars bij het bouwen van AI-tools die niet alleen code schrijven, maar de juiste code schrijven volgens de specifieke, gedetailleerde behoeften van de gebruiker. Ze hebben al hun data en modellen beschikbaar gesteld zodat anderen ze kunnen gebruiken en verbeteren.

Technische Samenvatting: C3-Bench: Evaluatie en Realisatie van Controleerbare Code-aanvulling in Code LLM's

Probleemstelling

Hoewel Large Language Models (LLM's) de mogelijkheden voor code-aanvulling aanzienlijk hebben verbeterd, blijven huidige evaluatiemethodologieën ontoereikend voor praktische software engineering-scenario's. Traditionele benchmarks (bijv. HumanEval, CrossCodeEval, SAFIM) beoordelen primair de functionele correctheid van gegenereerde code op basis van context, vaak vertrouwend op unit tests of gelijkenis-metrieken. Ze negeren echter grotendeels een cruciaal aspect van LLM-ondersteunde programmering: het vermogen van het model om fijnmazige gebruikersinstructies te volgen tijdens het aanvullingsproces. In de echte wereld vereisen ontwikkelaars vaak dat modellen code genereren die niet alleen functioneel correct is, maar ook voldoet aan specifieke implementatiebeperkingen, structurele vereisten of scope-beperkingen. Het ontbreken van benchmarks die deze "instructie-volgende" capaciteit in code-aanvulling rigoureus evalueren, creëert een kloof tussen benchmarkprestaties en praktische bruikbaarheid.

Methodologie

1. Definitie van Controleerbare Code-aanvulling (C3)

De auteurs introduceren het concept van Controllable Code Completion (CCC), waarbij de traditionele tupel $(P, S, G, T)$ (Prefix, Suffix, Ground Truth, Unit Test) wordt uitgebreid met $I$ (Fijnmazige Instructie). De taak vereist dat het model de middelste code $G$ genereert zodat $M(P, S, I) \rightarrow G$ , waarbij zowel aan de functionele correctheid (geverifieerd door $T$ ) als aan de instructie-naleving (afstemming met $I$ ) wordt voldaan.

2. Constructie van C3-Bench

De Controllable Code Completion Benchmark (C3-Bench) bestaat uit 2.195 hoogwaardige Python-taken afgeleid van HumanEval en SAFIM, die zijn verbeterd via een vierstaps synthese-pipeline:

Extractie van Middelste Code: Het gebruik van Abstract Syntax Trees (AST) om logisch volledige codeblokken te extraheren en knopen te maskeren om diverse middelste segmenten te creëren.
Generatie van Equivalent Implementatie-alternatief: Het genereren van meerdere functioneel equivalente implementaties voor dezelfde context om de instructie-naleving te testen.
Data Filtering: Het waarborgen van code-leesbaarheid (PEP8), passende lengte en significante implementatie-diversiteit.
Instructiegeneratie:
- Implementation-Control Completion (ICC): Taken die specifieexe implementatiestrategieën vereisen (bijv. algoritmische benaderingen, control flow, datastructuren). Bevat 1.286 instanties met unit tests.
- Scale-Control Completion (SCC): Taken die code-generatie binnen precieze scope-limieten vereisen (bijv. specifiek aantal regels, statement-blokken). Bevat 909 instanties zonder unit tests, met de focus op structurele conformiteit.

3. Evaluatiemetrieken

Pass@1: Meet de functionele correctheid via unit testing (alleen ICC).
Instruction-Following Rate (IF): Meet de naleving van specifieke vereisten, beoordeeld op alleen functioneel correcte gevallen.
Edit Similarity (ES): Een statische analyse-metriek voor voorlopige kwaliteitsvalidatie.
Geautomatiseerde Beoordeling: Een LLM-gebaseerd systeem (gebruikmakend van Claude3.5-Sonnet) valideert de instructie-naleving met een 98% overeenstemming met menselijke experts.

4. Modeltraining (Qwen2.5-Coder-C3)

Om het tekort aan instructie-aanvullings-trainingsdata aan te pakken, ontwikkelden de auteurs een geautomatiseerde synthese-pipeline:

Seed Generatie: Gebruikte Claude3.5-Sonnet om 1.000 hoogwaardige seed-paren te creëren.
Grootschalige Synthese: Maakte gebruik van Qwen2.5-Coder-32B-Instruct om 200.000 instructie-aanvullings-paren te generen uit GitHub-repositories.
Fine-Tuning: Paste Supervised Fine-Tuning (SFT) toe op Qwen2.5-Coder-1.5B en 32B varianten met behulp van de gesynthetiseerde data, wat resulteerde in Qwen2.5-Coder-C3.

Belangrijkste Resultaten

1. Prestatiekloven in Instructie-volging

Uitgebreide evaluaties van meer dan 40 mainstream LLM's (zowel open-source als propriëtair) onthullen significante beperkingen:

Open-Source vs. Propriëtair: Hoewel open-source modellen vaak even goed of zelfs beter presteren dan propriëtaire modellen op traditionele benchmarks voor functionele correctheid (bijv. CrossCodeEval, RepoEval), vertonen ze een substantiële prestatiekloof in instructie-volgende capaciteiten op C3-Bench.
Instructie-gevoeligheid: Het verwijderen van instructies uit prompts leidt tot een significante daling in IF-rates, terwijl Pass@1 grotendeels ongewijzigd blijft, wat bevestigt dat huidige modellen instructie-naleving niet inherent prioriteren boven functionele generatie.
Scale-Control Uitdagingen: Modellen worstelen met name met Scale-Control Completion (SCC) taken, wat wijst op beperkingen in trainingsdoelstellingen met betrekking tot code-scope beperkingen.

2. Effectiviteit van C3-Tuning

Het Qwen2.5-Coder-C3 model bereikt State-of-the-Art (SOTA) prestaties op C3-Bench:

Het vertoont substantiële verbeteringen in IF-rates vergeleken met zijn base instruction-tuned tegenhanger (bijv. +23,7% IF op ICC voor het 32B model).
Het overtreft leidende propriëtaire modellen (bijv. GPT-4o, o1-serie) in Scale-Control taken, terwijl het concurrerende prestaties behoudt op conventionele benchmarks.
De resultaten suggeren dat open-source modellen mogelijk overfitten op bestaande functionele benchmarks en een gebrek aan generalisatie hebben in controleerbare scenario's, maar dat dit kan worden opgelost door gerichte instructie-synthese.

3. Correlatie met Geavanceerde Capaciteiten

Modelrangschikkingen op C3-Bench vertonen sterke correlaties met prestaties op taken die uitgebreide contextbegrip vereisen (ExecRepoBench) en menselijke voorkeursbeoordeling (Chatbot Arena-Coding), wat suggereert dat instructie-volgende bekwaamheid een proxy is voor bredere code-begrip.

Betekenis en Claims

Het artikel claimt dat C3-Bench de eerste instructie-gestuurde benchmark biedt voor code-aanvulling, waarmee een kritiek blinde vlek in de huidige evaluatielandschappen wordt geadresseerd. De betekenis ligt in:

Onthullen van Systematische Overschatting: Het aantonen dat bestaande benchmarks de capaciteiten van modellen in praktische, instructie-zware ontwikkelingsscenario's systematisch overschatten.
De Kloof Overbruggen: Het identificeren dat open-source code LLM's, ondanks sterke functionele prestaties, achterblijven bij propriëtaire modellen wat betreft instructie-naleving, een kloof die gedicht kan worden via gerichte data-synthese.
Geavanceerde Open-Source Ontwikkeling: Het bieden van een eenvoudige, reproduceerbare pipeline voor het synthetiseren van instructie-aanvullings-data, waardoor de community in staat wordt gesteld open-source modellen te verbeteren zonder afhankelijk te zijn van propriëtaire data.

De auteurs concluderen dat toekomstig onderzoek prioriteit moet geven aan instructie-volgende capaciteiten in code LLM's om hun betrouwbaarheid en controleerbaarheid in real-world software engineering-applicaties te waarborgen. Alle code, datasets en modellen zijn open-source om verdere research te faciliteren.