🤖 AI

LSem2Vec: A Simple yet Effective Two-Stage Approach for Source Code Embedding

Dieses Paper stellt LSem2Vec vor, ein einfaches, aber effektives zweistufiges Framework, das Large Language Models zur semantischen Extraktion mit Sentence-Embedding-Modellen kombiniert, um robuste Repräsentationen von Quellcode zu generieren, ohne dass ein kostspieliges aufgabenspezifisches Training oder Fine-Tuning erforderlich ist, wobei es bestehende unüberwachte Methoden über mehrere Datensätze hinweg übertrifft.

Ursprüngliche Autoren: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Veröffentlicht 2026-08-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der weiten Landschaft der modernen Software sind Codezeilen der Backstein und Mörtel unserer digitalen Welt. Genau wie ein Stadtplaner die Anordnung von Straßen und Gebäuden verstehen muss, um eine Metropole zu verwalten, müssen Softwareentwickler die Struktur und Bedeutung von Code verstehen, um die Systeme, die sie bauen, zu warten, zu verbessern und abzusichern. Eine kritische Herausforderung in diesem Bereich besteht darin, zu erkennen, wenn zwei Codeabschnitte im Wesentlichen dasselbe tun, selbst wenn sie oberflächlich betrachtet unterschiedlich aussehen. Dies ist als das Finden von „Klonen“ bekannt und hilft Entwicklern, Redundanzen zu vermeiden und Sicherheitsrisiken aufzuspüren. Jahrelang hatten Computer mit dieser Aufgabe zu kämpfen, da sie sich oft im schieren Volumen des Textes verloren oder die zugrunde liegende Logik nicht erfassten, wenn sich die Wortwahl änderte. Obwohl kürzlich leistungsstarke Werkzeuge der künstlichen Intelligenz entstanden sind, die Code lesen und schreiben können, hat sich die Verwendung dieser Tools zum Vergleich von tausenden Dateien als schwierig, teuer und fehleranfällig erwiesen, oft weil die Werkzeuge durch die Länge des Codes überfordert werden oder falsche Antworten liefern, wenn sie gebeten werden, komplexe Urteile auf einmal zu fällen.

Ein Forschungsteam hat nun eine neue Methode namens LSEM2VEC vorgestellt, die diese Probleme löst, indem sie die Art und Weise ändert, wie der Computer den Code „liest“. Anstatt eine massive künstliche Intelligenz zu bitten, zwei lange Dateien anzustarren und zu entscheiden, ob sie ähnlich sind – eine Aufgabe, die oft zu Verwirrung oder Fehlern führt –, unterteilt der neue Ansatz die Arbeit in zwei einfache, handhabbare Schritte. Zuerst nutzt das System ein großes Sprachmodell, das als Übersetzer fungiert, indem es ein Code-Stück liest und einen einzigen, klaren Satz schreibt, der zusammenfasst, was dieser Code tut. Dieser Schritt entfernt die verwirrenden Details und lässt nur die Kernbedeutung übrig. Dann nimmt ein zweites, spezialisiertes Werkzeug diesen Zusammenfassungsatz und wandelt ihn in einen mathematischen Punkt im Raum um, bekannt als Embedding. Indem der Computer den Code in diese Punkte umwandelt, kann er leicht die Distanz zwischen ihnen messen, um zu sehen, wie ähnlich sie sind, ohne jemals die ursprünglichen, umfangreichen Dateien erneut lesen zu müssen. Dieser Prozess ist vergleichbar mit einem Bibliothekar, der zuerst eine einseitige Beschreibung für jedes Buch in einer riesigen Bibliothek schreibt und die Bücher dann basierend auf diesen Beschreibungen gruppiert, anstatt zu versuchen, jede Seite jedes Buches zu lesen, um Übereinstimmungen zu finden.

Die Forscher testeten diese Methode an drei verschiedenen Sätzen von Code, der in verschiedenen Programmiersprachen, einschließlich C und Java, geschrieben wurde, wobei sie mehrere verschiedene Modelle der künstlichen Intelligenz verwendeten, um sicherzustellen, dass die Ergebnisse robust sind. Sie verglichen ihren neuen Ansatz mit vielen bestehenden Methoden, einschließlich jener, die eine umfangreiche Trainingsphase auf gelabelten Daten erfordern, oder jener, die versuchen, künstliche Intelligenz direkt für den Vergleich zu nutzen. Die Ergebnisse waren beeindruckend: Die neue Methode schnitt konsistent besser ab als die anderen und fand Code-Klone mit einer wesentlich höheren Genauigkeit. In einem Test mit C-Code erreichte das System einen Genauigkeitswert von über 95 Prozent und schlug damit die nächstbeste Methode deutlich. Es erwies sich auch als äußerst effektiv beim Gruppieren ähnlicher Codes, einer Aufgabe, die als Clustering bekannt ist, wobei es einen Wert von 0,99 auf dem Adjusted Rand Index erreichte und damit sogar Methoden übertraf, die mit menschlicher Aufsicht trainiert worden waren, welche einen Wert von 0,90 erreichten.

Ein entscheidender Vorteil dieser Arbeit ist, dass sie nicht den teuren und zeitaufwendigen Prozess erfordert, die künstliche Intelligenz auf spezifischen Datensätzen zu trainieren. Traditionelle Methoden benötigen oft tausende von Beispielen von Code-Paaren, die von Menschen beschriftet wurden, um zu lernen, wie man Ähnlichkeiten erkennt, was langsam und kostspielig ist. Der neue Ansatz funktioniert sofort, indem er das bestehende Wissen der Modelle der künstlichen Intelligenz ohne zusätzliches Training nutzt. Er löst zudem ein großes technisches Hindernis: das begrenzte Gedächtnis dieser Modelle. Große Sprachmodelle können nur eine bestimmte Menge an Text gleichzeitig verarbeiten; wenn der Code zu lang ist, stürzt das Modell ab oder gibt auf. Durch die Vorab-Zusammenfassung des Codes umgingen die Forscher dieses Limit, was es dem System ermöglichte, große Dateien zu analysieren, die zuvor unmöglich zu analysieren gewesen wären. Darüber hinaus ist die Methode viel effizienter, da sie weit weniger Aufrufe der Modelle der künstlichen Intelligenz benötigt, was sowohl Zeit als auch Geld spart.

Die Studie untersuchte auch, wie verschiedene Entscheidungen das Ergebnis beeinflussen, wie etwa die Verwendung verschiedener Typen von Modellen der künstlichen Intelligenz oder das Entfernen von häufigen „Stoppwörtern“ aus den Zusammenfassungen. Sie fanden heraus, dass die spezifischen Werkzeuge zwar wichtig sind, der allgemeine Ansatz jedoch über verschiedene Konfigurationen hinweg stabil bleibt. Beispielsweise führte die Verwendung eines fortgeschritteneren Modells der künstlichen Intelligenz zum Schreiben der Zusammenfassungen zu besseren Ergebnissen, aber selbst die Standardmodelle schnitten außergewöhnlich gut ab. Die Forscher visualisierten die Ergebnisse auch und zeigten, dass die durch ihre Methode erzeugten Code-Punkte enge, klare Gruppen bildeten, während andere Methoden unordentliche, überlappende Cluster erzeugten. Diese Klarheit deutet darauf hin, dass das System die Bedeutung des Codes wirklich versteht, anstatt nur oberflächliche Muster abzugleichen.

Letztendlich bietet diese Forschung einen praktischen und effizienten Weg, die riesigen Ozeane an Code zu verstehen, die unsere Welt antreiben. Indem sie die komplexe Aufgabe des Code-Vergleichs in einen zweistufigen Prozess aus Zusammenfassung und Messung vereinfacht, haben die Forscher ein Werkzeug geschaffen, das sowohl leistungsstark als auch zugänglich ist. Es zeigt, dass wir nicht immer größere, komplexere Modelle bauen müssen, um schwierige Probleme zu lösen; manchmal reicht ein klügerer Umgang mit den Werkzeugen, die wir bereits haben, aus, um den Wald vor lauter Bäumen zu sehen. Dieser Ansatz könnte Softwareentwicklern helfen, ihre Codebasen zu bereinigen, verborgene Sicherheitslücken zu finden und ihre Projekte effektiver zu organisieren, ohne die hohe Rechenlast, die diese Fähigkeiten bisher begrenzt hat.

Technische Zusammenfassung von LSEM2VEC: Ein effektiver Embedding-Ansatz zur Erkennung und Clusterung von Code-Clones

Problemstellung
Die Integration von Large Language Models (LLMs) in das Software Engineering (SE) hat Aufgaben wie die Erkennung und Clusterung von Quellcode-Clones vorangetrieben. Bestehende Methoden zur Generierung von Source-Code-Embeddings stehen jedoch vor erheblichen Einschränkungen. Traditionelle vortrainierte Modelle (PTMs) erfordern oft umfangreiches überwachtes Training oder ein Fine-Tuning auf kulturspezifische Daten, was beträchtliche Rechenressourcen und annotierte Datensätze voraussetzt. Obwohl LLMs über beeindruckende Zero-Shot-Lernfähigkeiten verfügen, stellt die direkte Anwendung von LLMs auf SE-Aufgaben zwei kritische Herausforderungen dar:

Fehlerhafte Antworten: LLMs produzieren häufig fehlerhafte Ausgaben, wenn sie mit komplexen Schlussfolgerungen konfrontiert werden, wie etwa der Bestimmung, ob zwei Code-Snippets Klone sind, insbesondere wenn der Workflow darin besteht, die Funktionalität zusammenzufassen und anschließend eine binäre Entscheidung zu treffen.
Beschränkung der Kontextlänge: LLMs haben feste Kontextfenster. Das Verarbeiten großer Mengen an Quellcode oder der Vergleich mehrerer Codepaare gleichzeitig überschreitet oft diese Limits, was zu Fehlern oder der Unfähigkeit führt, lange Codefragmente zu verarbeiten. Darüber hinaus führt der direkte paarweise Vergleich mittels LLMs zu einer quadratischen Zeitkomplexität ( $O(n^2)$ ) bezüglich der LLM-Aufrufe, was bei großen Datensätzen ineffizient und kostspielig ist.

Methodik: LSEM2VEC
Die Autoren schlagen LSEM2VEC (LLM-extracted code Semantics to Vector embedding) vor, einen neuartigen, trainingsfreien Ansatz, der Source-Code-Embeddings generiert, indem er LLMs mit Satz-Embedding-Modellen kombiniert. Das Framework arbeitet über eine vierstufige Pipeline, die darauf ausgelegt ist, die genannten Herausforderungen durch eine „Late-Interaction“-Strategie zu mildern:

Einheitliches Prompt-Design: Eine standardisierte Prompt-Vorlage weist das LLM an, ein Quellcode-Fragment zu lesen und dessen Funktion in einem einzigen Satz prägnant zusammenzufassen, wobei erklärenden Text explizit untersagt wird. Dies stellt die Kompatibilität mit Satz-Embedding-Modellen sicher, die Ein-Satz-Eingaben erwarten.
Code-Zusammenfassungen und Speicherung: Das LLM generiert die Ein-Satz-Zusammenfassung für jedes Code-Fragment. Entscheidend ist, dass das System nur den ersten Satz der Antwort extrahiert, um die Konsistenz zu gewährleisten, und diese Zusammenfassungen im JSON-Format speichert. Dieser Schritt entkoppelt die semantische Extraktion von der nachgelagerten Aufgabe, sodass Zusammenfassungen wiederverwendet werden können, ohne das LLM erneut abfragen zu müssen.
Generierung von Code-Embeddings: Die gespeicherten Textzusammenfassungen werden in ein vortrainiertes Satz-Embedding-Modell (z. B. MiniLM oder SBERT-CN) eingespeist, um festdimensionierte Vektorrepräsentationen zu generieren. In dieser Phase werden die natürlichen Sprachzusammenfassungen ohne zusätzliches Training oder Fine-Tuning in semantische Vektoren umgewandelt.
Nachgelagerte Aufgaben: Die resultierenden Embeddings werden für unüberwachte Aufgaben verwendet. Für die Code-Clone-Erkennung wird die Ähnlichkeit mittels Cosinus-Ähnlichkeit zwischen Vektorpaaren berechnet. Für die Code-Clusterung wird die euklidische Distanz mit dem K-Means-Algorithmus verwendet.

Dieses „Late-Interaction“-Design reduziert die Rechenkomplexität der Code-Clone-Erkennung von $O(n^2)$ (erfordert einen LLM-Aufruf für jedes Codepaar) auf $O(n)$ (erfordert nur einen LLM-Aufruf pro Code-Fragment), was die Token-Kosten signifikant senkt und die Überschreitung der Kontextlänge vermeidet.

Kernbeiträge
Das Paper beansprucht die folgenden Beiträge:

Erste trainingsfreie Integration: Es ist die erste Arbeit, die Large Language und Sentence Embedding Modelle einsetzt, um Source-Code-Embeddings ohne jegliches Training oder Fine-Tuning unter Verwendung unbeschrifteter Datensätze zu generieren.
Milderung von LLM-Beschränkungen: Die vorgeschlagene Pipeline adressiert effektiv fehlerhafte LLM-Antworten und Kontextlängen-Beschränkungen, indem sie die Aufgabe in kleinere Schritte unterteilt (Zusammenfassung gefolgt von Embedding), anstatt das LLM direkt die gesamte Schlussfolgerungsaufgabe ausführen zu lassen.
Flexibilität und Skalierbarkeit: Der Ansatz ist LLM-unabhängig und ermöglicht die Verwendung jedes Open-Source- oder proprietären LLMs sowie verschiedener Satz-Embedding-Modelle. Er skaliert über verschiedene Programmiersprachen hinweg, ohne dass sprachspezifische Trainingsdaten erforderlich sind.
Effizienz: Durch die Reduzierung der Anzahl der LLM-Aufrufe und die Nutzung vortrainierter Satz-Encoder bietet die Methode eine ressourceneffiziente Lösung im Vergleich zu feinabgestimmten Modellen oder direktem LLM-Prompting.

Experimentelle Ergebnisse
Die Autoren evaluierten LSEM2VEC auf drei Datensätzen (POJ-104, OJClone C und BigCloneBench), die die Sprachen C und Java abdecken. Die Evaluierung konzentrierte sich auf unüberwachte Code-Clone-Erkennung und Code-Clusterung unter Verwendung von GPT-3.5, GLM3 und GLM4.

Code-Clone-Erkennung: LSEM2VEC übertraf signifikant den Stand der Technik bei unüberwachten Methoden, einschließlich SourcererCC, Code2vec, InferCode, TransformCode und LLM2Vec.
- Auf dem OJClone C Datensatz erreichte die beste Konfiguration (GPT-3.5 + MiniLM-L12) einen F1-Score von 91,82 % und übertraf damit den überwachten LLM2Vec (83,70 %) sowie andere unüberwachte Baselines.
- Auf dem BigCloneBench Datensatz erreichte LSEM2VEC F1-Scores von bis zu 85,83 % (unter Verwendung von GPT-3.5 + MiniLM-L6) und übertraf damit erneut den überwachten LLM2Vec und andere Methoden.
- Die Studie stellte fest, dass GPT-3.5 im Allgemeinen bessere Ergebnisse lieferte als die GLM-Serie (GLM3 und GLM4), und dass die Wahl des Satz-Embedding-Modells (z. B. MiniLM-L12 vs. L6) die Leistung beeinflusste.
Code-Clusterung: Unter Verwendung des Adjusted Rand Index (ARI) als Metrik demonstrierte LSEM2VEC überlegene Clusterfähigkeiten.
- Die GPT-3.5 Konfiguration erreichte einen ARI von 0,97 (unter Verwendung von MiniLM-L6) und 0,91 (unter Verwendung von MiniLM-L12) und übertraf damit den überwachten LLM2Vec (0,90) sowie alle anderen unüberwachten Baselines.
- Visualisierungen via t-SNE bestätigten, dass die LSEM2VEC-Embeddings wohldefinierte, distinkte Clustergrenzen erzeugten, insbesondere bei der Verwendung fortgeschrittenerer LLMs wie GPT-3.5 im Vergleich zu GLM3.

Bedeutung und Ansprüche
Das Paper positioniert LSEM2VEC als robuste und effiziente Alternative zu bestehenden Embedding-Strategien. Seine primäre Bedeutung liegt in dem Nachweis, dass hochwertige Source-Code-Embeddings ohne den Rechenaufwand eines Fine-Tunings oder die Abhängigkeit von annotierten Daten generiert werden können. Durch die Nutzung der Zero-Shot-Fähigkeiten von LLMs zur semantischen Extraktion und von Satzmodellen zur Vektorisierung bietet der Ansatz eine praktische Lösung für reale SE-Anwendungen, bei denen Ressourcen begrenzt sind. Die Autoren kommen zu dem Schluss, dass diese Methode eine neue Richtung für die Community eröffnet, um fortgeschrittene Quellcode-Repräsentationen zu erforschen, was potenziell auf Aufgaben wie Code-Zusammenfassung, Schwachstellenprüfung und Binäranalyse in zukünftigen Arbeiten ausgeweitet werden kann.

Mehr davon