🤖 machine learning

SemRep: Generative Code Representation Learning with Code Transformations

Das Paper stellt SemRep vor, ein Framework für generatives Code-Repräsentationslernen, das semantikerhaltende Transformationen als Zwischenrepräsentation nutzt, um Code-Transformationen und -Optimierungen effizienter und robuster zu gestalten als bestehende Ansätze.

Ursprüngliche Autoren: Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weichen Li, Jiamin Song, Bogdan Alexandru Stoica, Arav Dhoot, Gabriel Ryan, Shengyu Fu, Kexin Pei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr talentierten, aber manchmal etwas ungeduldigen Koch (das ist die Künstliche Intelligenz oder KI), der dir helfen soll, ein Rezept zu verbessern. Vielleicht soll das Gericht schneller zubereitet werden oder weniger Energie verbrauchen, ohne dass es im Geschmack anders schmeckt.

Das Problem bei bisherigen KI-Modellen war: Sie haben versucht, das Rezept direkt zu ändern. Sie haben oft den Kochlöffel in die falsche Schüssel geworfen, Zutaten vergessen oder das Gericht so verändert, dass es nicht mehr schmeckte, obwohl es schneller ging. Sie haben einfach "raten" müssen, wie das Essen funktioniert, ohne es wirklich zu verstehen.

SEMREP ist wie ein neuer, genialer Koch-Trainingsplan für diese KI. Hier ist die Idee, ganz einfach erklärt:

1. Der Trick: Erst verstehen, dann optimieren

Statt sofort zu versuchen, das Rezept zu verbessern, sagt SEMREP zur KI: "Halt! Schreib das Rezept erst einmal komplett neu, aber so, dass es genau gleich schmeckt und genau gleich aussieht wie das Original."

Das klingt erst einmal sinnlos, ist aber der Schlüssel:

Die Analogie: Stell dir vor, du hast einen komplizierten, verstaubten Schrank voller Zutaten. Die KI muss den Schrank erst einmal aufräumen und die Zutaten in neue, klarere Behälter umfüllen (das ist die "semantische Transformation"). Sie darf dabei nichts wegwerfen oder hinzufügen.
Der Effekt: Durch dieses "Umschreiben" muss die KI wirklich verstehen, was die Zutaten tun und wie sie zusammenarbeiten. Sie lernt die "Semantik" (die Bedeutung) des Codes, nicht nur die Form.

2. Der zweistufige Tanz

SEMREP führt die KI in zwei Schritten durch den Tanz:

Schritt 1: Der "Gleiche-Schmeckt"-Tanz (Generative Representation Learning)
Die KI schreibt das Programm um. Sie darf die Schleifen ändern, Variablen umbenennen oder die Struktur ändern, solange das Ergebnis am Ende identisch ist. Das zwingt die KI, das "Warum" hinter dem Code zu verstehen. Sie lernt, dass es viele Wege gibt, dasselbe Ziel zu erreichen.
Schritt 2: Der "Verbesserungs"-Tanz (Instruction-Specific Transformation)
Jetzt, wo die KI den Code wirklich verstanden hat und eine saubere, neue Version davon hat, sagt man ihr: "Okay, jetzt mach es schneller!" Weil sie den Code im ersten Schritt so gut verstanden hat, weiß sie genau, wo sie sparen kann, ohne das Gericht zu verderben.

3. Warum ist das so erfolgreich?

In der wissenschaftlichen Welt nennt man das "Generatives Code-Repräsentations-Lernen". Aber stell es dir so vor:

Bisherige Methoden: Ein Schüler, der versucht, eine Matheaufgabe zu lösen, indem er einfach die Zahlen ändert, bis das Ergebnis stimmt. Wenn die Aufgabe schwer wird, scheitert er.
SEMREP: Ein Schüler, der erst die Formel herleitet und versteht, warum sie funktioniert, und dann die Zahlen einsetzt.

Die Ergebnisse im echten Leben:

Kleinere Modelle, große Leistung: Ein kleineres KI-Modell mit SEMREP-Training kann Aufgaben besser lösen als riesige, teure Modelle, die nur "auswendig gelernt" haben.
Robustheit: Wenn jemand das Original-Rezept ein bisschen durcheinanderbringt (z. B. die Zutaten in anderer Reihenfolge auflistet), scheitert die alte KI. Die SEMREP-KI versteht aber, dass es immer noch dasselbe Rezept ist, und kann trotzdem optimieren.
Evolutionärer Suchraum: Die KI kann jetzt mutig experimentieren. Sie kann einen Weg gehen, der kurzzeitig langsamer wirkt, aber später zu einer genialen Lösung führt (wie in den Tests mit dem "Kreis-Packen"-Problem gezeigt).

Zusammenfassung

SEMREP ist wie ein Architekt, der erst ein neues Fundament legt, bevor er das Haus umbaut.

Früher haben KI-Modelle versucht, das Dach direkt zu reparieren, während das Haus noch wackelte. SEMREP sagt: "Lass uns erst das Fundament (das Verständnis der Code-Bedeutung) stabilisieren, indem wir den Code in eine neue, verständliche Form bringen. Erst dann können wir das Haus so umbauen, dass es schneller, sicherer und effizienter ist – ohne dass es einstürzt."

Das Ergebnis: Bessere Software, weniger Fehler und KI, die wirklich denkt und nicht nur kopiert.

1. Problemstellung

Die Automatisierung von Code-Transformationen (z. B. Performance-Optimierung, Refactoring, Bug-Fixing) mittels Large Language Models (LLMs) steht vor einer grundlegenden Herausforderung: Die Trennung von erhaltungspflichtiger Semantik (was darf sich nicht ändern?) und änderbarem Verhalten (was soll optimiert werden?).

Bestehende Ansätze behandeln Code-Transformation meist als rein end-to-end Lernaufgabe. Dabei wird die notwendige semantische Repräsentation implizit in den Modellgewichten gelernt oder es werden starre Compiler-Abstraktionen (wie ASTs) verwendet. Dies führt zu folgenden Problemen:

Implizite Repräsentation: Das Modell „versteht" die Semantik nicht explizit, sondern verlässt sich auf latente Muster, was zu Fehlern bei komplexen Optimierungen führt (z. B. falsche Speicherzugriffsmuster in GPU-Kernels).
Mangelnde Explorationsfähigkeit: Ohne explizite Zwischenrepräsentationen ist es schwierig, diverse semantisch äquivalente Varianten zu generieren, die als Sprungbrett für weitere Optimierungen dienen könnten.
Generalisierungsprobleme: Modelle, die nur auf spezifische Edit-Aufgaben finetuned wurden, scheitern oft bei neuen Hardware-Architekturen oder syntaktischen Variationen des Codes.

2. Methodik: Das SEMREP-Framework

SEMREP (Semantics-Preserving Representation Learning) führt einen neuen Ansatz ein, der Code-Transformation in zwei klar getrennte Stufen unterteilt, wobei generatives Lernen von Code-Repräsentationen im Mittelpunkt steht.

Kernidee

Anstatt direkt vom Quellcode zum Zielcode zu springen, lernt das Modell, semantisch äquivalente Zwischenprogramme ( $C_{rep}$ ) zu generieren. Diese Zwischenrepräsentation behält das ursprüngliche Verhalten bei, ändert aber Struktur, Syntax oder Abstraktionsebene. Dies dient als explizite, überprüfbare Repräsentation der Code-Semantik.

Der Zwei-Stufen-Prozess

Das Training erfolgt in zwei Phasen unter Verwendung von Reinforcement Learning (RL) mit verifizierbaren Belohnungen (basierend auf Testausführungen):

Stufe 1: Generatives Code-Repräsentationslernen (Mid-Training)
- Ziel: Das Modell lernt, diverse semantisch äquivalente Varianten des Eingabecodes zu generieren.
- Belohnungsfunktion ( $R_{sem}$ ): Belohnt erfolgreiche Kompilierung und semantische Äquivalenz (gleiche Ausgabe auf Testdaten $U_{sem}$ ), ermutigt aber gleichzeitig zur Exploration verschiedener Syntaxstrukturen.
- Effekt: Das Modell entwickelt die Fähigkeit, Code „neu zu erfinden", ohne seine Funktionalität zu verlieren. Dies schafft eine reichhaltige Repräsentation für nachfolgende Aufgaben.
Stufe 2: Instruktions-spezifisches Transformationslernen (Finetuning)
- Ziel: Das Modell lernt, basierend auf der generierten Repräsentation ( $C_{rep}$ ) spezifische Änderungen (z. B. „Optimiere für GPU") vorzunehmen.
- Belohnungsfunktion ( $R_{inst}$ ): Kombiniert Belohnungen für das Befolgen der Instruktion ( $U_{edit}$ ) mit der Erhaltung der Semantik ( $U_{sem}$ ).
- Inferenz: Während der Inferenz kann das Modell zwischen semantischer Exploration (Erstellen von $C_{rep}$ ) und der eigentlichen Transformation wechseln. Dies ermöglicht eine iterative Suche (Test-Time Scaling).

Test-Time Scaling & Evolutionäre Suche

SEMREP ist besonders gut für evolutionäre Suchverfahren geeignet. Da das Modell explizit semantisch äquivalente, aber strukturell diverse Zwischenschritte generiert, kann ein evolutionärer Agent (wie OpenEvolve) diese Varianten nutzen, um nicht-gierige Pfade zu erkunden, die zu besseren Optimierungen führen, die direkte Ansätze übersehen.

3. Wichtige Beiträge

Explizite semantische Repräsentation: SEMREP trennt das Verständnis der Semantik (durch Generierung äquivalenten Codes) von der eigentlichen Edit-Aufgabe. Dies macht die Semantik für das Modell und menschliche Prüfer interpretierbar.
Effizientes Training: Die Methode erreicht bessere Ergebnisse als Baselines, die nur auf Edit-Aufgaben finetuned wurden, obwohl das gleiche Trainingsbudget (Anzahl der Iterationen) verwendet wird.
Robustheit und Generalisierung: Durch das Training auf semantischer Äquivalenz ist das Modell robuster gegenüber syntaktischen Variationen und generalisiert besser auf unbekannte Hardware-Architekturen (z. B. CUDA-Kernel-Optimierung auf H200 GPUs).
Synergie mit Evolutionären Agenten: Die Kombination von SEMREP mit evolutionären Suchagenten ermöglicht es, Optimierungen zu finden, die selbst deutlich größere Modelle (z. B. 685B Parameter) übersehen.

4. Ergebnisse

Die Evaluation erfolgte auf Benchmarks wie EditBench (allgemeine Code-Edits) und KernelBench (GPU-Kernel-Optimierung).

Leistungsvorteile: SEMREP (basierend auf dem 32B-Modell QwQ-32B) übertrifft stark finetuned Baselines mit demselben Trainingsbudget um 6,9 % in der Korrektheit und 1,1-fach in der Performance.
Vergleich mit großen Modellen: SEMREP erreicht Ergebnisse, die mit kommerziellen Closed-Weight-Modellen (wie GPT-4o-mini) und deutlich größeren Open-Weight-Modellen (bis zu 405B Parameter) mithalten oder diese übertreffen.
Generalisierung: Bei der Optimierung von CUDA-Kernels für unbekannte Hardware (H200) zeigt SEMREP eine um 10,6 % höhere Performance und eine um 61,4 % höhere Korrektheit im Durchschnitt im Vergleich zu reinen Finetuning-Baselines.
Robustheit: Gegenüber semantisch erhaltenden Code-Perturbationen (z. B. Umbenennung von Variablen, Formatierung) behält SEMREP eine Konsistenz von 88,89 % auf, während Baselines deutlich schlechter abschneiden.
Evolutionäre Suche: In Kombination mit OpenEvolve fand SEMREP Optimierungen für den „Minimum Spanning Tree"-Algorithmus, die zu einer 7,28-fachen Beschleunigung führten – ein Ergebnis, das von 685B-Modellen nicht erreicht wurde. Zudem erreichte es bei „Circle Packing" 93,88 % des State-of-the-Art-Ergebnisses von AlphaEvolve, jedoch mit deutlich weniger Rechenressourcen.

5. Bedeutung und Fazit

SEMREP stellt einen Paradigmenwechsel in der Code-Transformation durch LLMs dar. Anstatt Semantik als implizites Nebenprodukt des Trainings zu behandeln, macht sie das Framework durch generative Repräsentationslernen explizit und überprüfbar.

Dieser Ansatz ermöglicht es kleineren Modellen, die Leistung von riesigen Modellen zu erreichen, und bietet eine robuste Grundlage für komplexe Software-Engineering-Aufgaben wie Performance-Optimierung und Refactoring. Die Fähigkeit, semantisch äquivalente Zwischenzustände zu erkunden, macht SEMREP besonders effektiv in Kombination mit evolutionären Suchalgorithmen, was neue Wege für die algorithmische Entdeckung und Systemoptimierung eröffnet. Die Arbeit unterstreicht, dass das explizite Lernen von „Was bleibt gleich" (Semantik) entscheidend ist, um „Was geändert werden kann" (Optimierung) erfolgreich zu meistern.