🤖 machine learning

SemRep: Generative Code Representation Learning with Code Transformations

SemRep is een framework dat code-transformaties verbetert door generatief leren van semantisch behoudende transformaties als tussenrepresentatie, wat resulteert in superieure correctheid, prestaties en generalisatie vergeleken met bestaande methoden, zelfs met minder rekenkracht.

Oorspronkelijke auteurs: Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar soms wat ongeduldige kok bent. Je hebt een recept (de code) en een klant die vraagt: "Maak dit gerecht sneller klaar, maar de smaak moet exact hetzelfde blijven."

De meeste moderne AI's (zoals grote taalmodellen) proberen dit direct te doen. Ze kijken naar het recept en proberen in één keer een snellere versie te schrijven. Het probleem? Ze vergeten soms een ingrediënt, veranderen de smaak per ongeluk, of gebruiken een pan die niet past bij het fornuis. Ze weten wat ze moeten doen, maar ze begrijpen niet altijd diep waarom het recept werkt.

SEMREP is een nieuwe manier om deze AI-koks te trainen. In plaats van ze direct te laten koken, leert het hen eerst een nieuwe vaardigheid: het recept herschrijven zonder de smaak te veranderen.

Hier is hoe SEMREP werkt, vertaald naar alledaagse termen:

1. De Twee-Stappen Dans (In plaats van één grote sprong)

Stel je voor dat je een oude, rommelige zolder moet opruimen en er een nieuwe, strakke kamer van wilt maken.

De oude manier (Directe transformatie): Je gooit alles direct in een nieuwe kamer. Je hoopt dat alles op de juiste plek valt. Vaak beland je met een rommelige kamer waar de stoel op de tafel staat en de lamp op de vloer.
De SEMREP-methode:
- Stap 1: De "Hersenschrijvings"-dans. Eerst laat je de AI het recept herschrijven in een andere taal of stijl, maar met de exacte smaak. Bijvoorbeeld: "Schrijf dit recept op alsof je een Franse chef bent, maar zorg dat het gerecht er precies hetzelfde uitziet en smaakt." Dit dwingt de AI om te begrijpen wat het essentiële is (de smaak/semantiek) en wat slechts versiering is (de specifieke code).
- Stap 2: De Optimalisatie. Pas als de AI het recept in die nieuwe stijl perfect onder de knie heeft, zegt de klant: "Oké, nu maak je het sneller." Omdat de AI nu precies weet wat het gerecht is, kan het slimme trucs bedenken (zoals een snellere oven of een betere snijtechniek) zonder de smaak te bederven.

2. Waarom is dit zo slim? (De Creatieve Analogieën)

De "Taal van de Code" vs. "De Geest van de Code"
Stel je voor dat code een boek is. De meeste AI's leren het boek letter voor letter uit te bestuderen. SEMREP leert de AI de verhaallijn te begrijpen.

Als je een zin in een boek herschrijft (bijvoorbeeld van actief naar passief, of met andere woorden), blijft het verhaal hetzelfde.
SEMREP laat de AI oefenen met het herschrijven van code op duizenden manieren, zolang de "verhaallijn" (wat de computer doet) maar hetzelfde blijft. Hierdoor leert de AI de diepe logica van de code, niet alleen de oppervlakkige woorden.

De "Proefloper" (Evolutionaire Zoeking)
Soms is het moeilijk om direct de perfecte oplossing te vinden. SEMREP werkt als een slimme proefloper.

Stel je voor dat je een auto wilt bouwen die sneller rijdt. In plaats van direct de raceauto te bouwen, laat SEMREP de AI eerst 100 verschillende versies van de auto bouwen die allemaal net zo veilig en betrouwbaar zijn als de originele, maar er anders uitzien.
Vervolgens kiest de AI de versie die het makkelijkst aan te passen is voor snelheid en bouwt daar de raceauto op.
Dit is wat ze "evolutionaire zoekopdracht" noemen: de AI probeert veel verschillende "tussentijdse" versies, en de beste overleven. Omdat SEMREP eerst heeft geleerd dat de "smaak" (de functionaliteit) niet mag veranderen, durft de AI creatiever te zijn zonder bang te zijn dat de auto uit elkaar valt.

3. Wat levert dit op?

In de paper zien we dat SEMREP, zelfs met een kleinere "hersenen" (een kleiner computermodel), beter presteert dan enorme modellen die alleen maar direct proberen te optimaliseren.

Betrouwbaarheid: De code werkt altijd nog zoals bedoeld (geen bugs).
Snelheid: De code werkt vaak veel sneller (zoals een GPU-kernel die 1,1 keer sneller is).
Slimme aanpassing: Het werkt zelfs op hardware die de AI nooit eerder heeft gezien (zoals een nieuwe chip), omdat het de principes van de code begrijpt in plaats van alleen het recept voor die ene chip.

Samenvattend

SEMREP is als een meester-kok die eerst duizenden variaties van een gerecht oefent om te begrijpen wat de "ziel" van het gerecht is. Pas daarna probeert hij het gerecht sneller te bereiden. Door eerst te leren wat het gerecht is (de betekenis), kan hij veel beter leren hoe het te verbeteren (de transformatie), zonder dat het gerecht onherkenbaar wordt.

Het is een manier om AI niet alleen te laten "typen", maar te laten "denken" over wat code eigenlijk doet.

Probleemstelling

Code-transformatie is een fundamentele stap in softwareontwikkeling, variërend van bugfixing en refactorings tot prestatie-optimalisatie (zoals GPU-kernel-optimalisatie). Bestaande benaderingen behandelen deze taak vaak als een end-to-end leertaak. Hierbij wordt de constructie van de representatie die nodig is voor semantische redenering impliciet gelaten in de modelgewichten, of er wordt vertrouwen gesteld in rigide compiler-niveau abstracties (zoals AST's of control-flow graphs).

De kernuitdaging is dat modellen moeten begrijpen wat er behouden moet blijven (de oorspronkelijke semantiek) en wat er veranderd mag worden (de nieuwe instructie). Bestaande methoden falen vaak omdat ze:

Geen expliciete tussenrepresentatie genereren om de semantiek te verifiëren.
Te afhankelijk zijn van oppervlakkige syntaxis in plaats van onderliggende logica.
Moeite hebben om complexe optimalisaties te vinden die een balans vereisen tussen exploratie (het vinden van nieuwe manieren om code te schrijven) en exploitatie (het toepassen van specifieke instructies).

Methodologie: Het SEMREP Framework

SEMREP introduceert een nieuw raamwerk dat code-transformatie verbetert door generatieve code-representatielerening te gebruiken. Het centrale inzicht is het gebruik van semantisch behoudende transformaties als een tussenrepresentatie. Dit dient zowel als een "mid-training" taak als een leidraad voor latere instructie-specifieke transformaties.

Het proces verloopt in twee fasen:

1. Generatieve Code Representatielerening (Stage 1)

In deze fase wordt het model getraind om semantisch equivalente programma's te genereren. Dit betekent dat het model code moet schrijven die exact dezelfde uitvoer geeft als de originele code voor een gegeven set tests, maar met een andere syntaxis, structuur of algoritme.

Doel: Het model leren om de onderliggende semantiek expliciet te maken en diverse syntactische varianten te verkennen.
Reinforcement Learning (RL): Er wordt gebruik gemaakt van Group Relative Policy Optimization (GRPO). De beloning ( $R_{sem}$ $R_{se m}$ ) is gebaseerd op:
- Compilatiegeslaagdheid.
- Semantische equivalentie (gecontroleerd via testcases).
- Diversiteit in de gegenereerde code (om creatieve transformaties te stimuleren).

2. Instructie-specifieke Transformatieleer (Stage 2)

Nadat het model de semantiek heeft "geleerd", wordt het gefinetuned voor specifieke taken (bijv. "optimaliseer deze kernel" of "fix deze bug").

Doel: De instructie volgen terwijl de oorspronkelijke functionaliteit behouden blijft.
Beloning ( $R_{inst}$ ): Combineert compilatie, semantische equivalentie (t.o.v. de originele code) en het voldoen aan de specifieke instructie.

Iteratieve Inferentie en Test-Time Scaling

SEMREP ondersteunt test-time scaling via een evolutionaire zoekstrategie. Tijdens inferentie wisselt het model tussen:

Semantische exploratie: Het genereren van diverse semantisch equivalente varianten van de invoercode.
Instructie-gevolgende transformatie: Het toepassen van de gewenste wijzigingen op deze varianten.
Dit creëert een "beam" van kandidaat-programma's die iteratief worden geselecteerd op basis van correctheid en prestatie. Hierdoor kan het model "stappen" nemen die niet direct leiden tot de oplossing, maar wel een betere basis vormen voor latere optimalisaties.

Belangrijkste Bijdragen

Expliciete Semantische Representatie: In plaats van semantiek impliciet in gewichten te laten, genereert SEMREP expliciete, mens- en machine-leesbare code als tussenstap. Dit maakt redenering verifieerbaar.
Decoupling van Semantiek en Redactie: Door het proces te splitsen in "semantisch behoud" en "instructie-uitvoering", voorkomt het model fouten waarbij optimalisaties de functionaliteit breken (een veelvoorkomend probleem bij directe transformatie).
Efficiëntie en Generalisatie: Het framework laat zien dat kleinere modellen (bijv. 32B parameters) betere resultaten kunnen behalen dan veel grotere modellen (tot 685B) door een betere trainingsstrategie in plaats van alleen meer parameters.
Compatibiliteit met Evolutionaire Agents: De generatieve aard van de tussenrepresentatie maakt SEMREP ideaal voor integratie met evolutionaire zoekalgoritmen (zoals OpenEvolve), waar het vinden van niet-gierige tussenstappen cruciaal is voor het ontdekken van optimale oplossingen.

Resultaten

De evaluatie is uitgevoerd op benchmarks zoals EditBench (algemene code-editing) en KernelBench (GPU-kernel optimalisatie).

Correctheid en Prestaties: SEMREP presteert significant beter dan sterk gefinetuned baselines met hetzelfde trainingsbudget.
- +6.9% in correctheid.
- 1.1x snellere uitvoering (speedup).
- +13.9% verbetering in generalisatie (bijv. naar onbekende hardware).
- +6.7% in robuustheid tegen semantisch behoudende code-perturbaties.
Vergelijking met Grote Modellen: Een SEMREP-getraind model van 32B (QwQ-32B) presteert beter dan commerciële gesloten modellen en open-source modellen van 72B+ parameters.
Evolutionaire Zoekopdrachten: In combinatie met een evolutionaire agent vond SEMREP optimalisaties voor algoritmen (zoals Minimum Spanning Tree en Circle Packing) die zelfs door 685B-modellen (DeepSeek-V3) niet werden ontdekt, terwijl het 25% minder inferentie-rekenkracht gebruikte.
Case Study (CUDA Kernels): SEMREP slaagde erin om CUDA-kernels te fusioneren en geheugentoegang te optimaliseren (bijv. door gebruik van gedeeld geheugen en tiling), wat leidde tot aanzienlijke snelheidswinsten (tot 13.2x in sommige gevallen).

Significantie

SEMREP markeert een verschuiving in hoe Large Language Models (LLMs) worden getraind voor code-taken. Het bewijst dat het expliciet leren van semantische equivalentie een krachtiger strategie is dan puur end-to-end finetuning.

Voor de Onderzoeksgemeenschap: Het biedt een nieuwe route voor het trainen van code-LLMs waarbij verifieerbare tussenstappen (via uitvoeringstests) de basis vormen voor redenering.
Voor Software Engineering: Het stelt kleinere, goedkopere modellen in staat om complexe, hoogwaardige software-engineering taken uit te voeren die voorheen alleen door enorme modellen of menselijke experts mogelijk waren.
Toekomstperspectief: De methode opent de deur voor "test-time scaling", waarbij extra rekenkracht tijdens inferentie wordt gebruikt om de zoekruimte van semantisch equivalente code te verkennen, wat leidt tot creatievere en efficiëntere oplossingen.

Kortom, SEMREP demonstreert dat het ontkoppelen van semantisch begrip en code-editing via generatieve representaties de sleutel is tot robuustere, generaliserendere en efficiëntere AI-gestuurde softwareontwikkeling.