🤖 AI

LSem2Vec: A Simple yet Effective Two-Stage Approach for Source Code Embedding

Dit artikel introduceert LSem2Vec, een eenvoudig maar effectief tweestaps raamwerk dat large language models combineert met sentence embedding-modellen voor semantische extractie om robuuste broncode-representaties te genereren zonder dat daarvoor kostbare taakspecifieke training of fine-tuning nodig is, waarbij het bestaande unsupervised methoden op meerdere datasets overtreft.

Oorspronkelijke auteurs: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van moderne software zijn regels code de bakstenen en het cement van onze digitale wereld. Net zoals een stadsplanner de lay-out van straten en gebouwen moet begrijpen om een metropool te beheren, moeten software engineers de structuur en betekenis van code begrijpen om de systemen die ze bouwen te onderhouden, te verbeteren en te beveiligen. Een cruciale uitdaging in dit veld is herkennen wanneer twee stukken code in essentie hetzelfde doen, zelfs als ze er aan de oppervlakte verschillend uitzien. Dit staat bekend als het vinden van "clones", en het helpt ontwikkelaars redundantie te vermijden en beveiligingsrisico's op te sporen. Jarenlang hebben computers moeite gehad met deze taak omdat ze vaak verdwalen in de enorme hoeveelheid tekst of de onderliggende logica niet vatten wanneer de bewoording verandert. Hoewel krachtige kunstmatige intelligentie-instrumenten onlangs zijn opgekomen die code kunnen lezen en schrijven, is het gebruik ervan om duizenden bestanden te vergelijken moeilijk, duur en foutgevoelig gebleken, vaak omdat de tools overweldigd raken door de lengte van de code of onjuiste antwoorden geven wanneer ze gevraagd worden om complexe oordelen te vellen.

Een team van onderzoekers heeft nu een nieuwe methode geïntroduceerd genaamd LSEM2VEC die deze problemen oplost door te veranderen hoe de computer de code "leest". In plaats van een enorme kunstmatige intelligentie te vragen naar twee lange bestanden te staren en te beslissen of ze vergelijkbaar zijn — een taak die vaak leidt tot verwarring of fouten — breekt de nieuwe aanpak de klus op in twee eenvoudige, beheersbare stappen. Eerst gebruikt het systeem een groot taalmodel om als een vertaler te fungen, dat een brok code leest en één heldere zin schrijft die samenvat wat die code doet. Deze stap stript de verwarrende details weg en laat alleen de kernbetekenis over. Vervolgens neemt een tweede, gespecialiseerd instrument die samenvattende zin en zet die om in een wiskundig punt in een ruimte, een zogenaamde embedding. Door de code om te zetten in deze punten, kan de computer gemakkelijk de afstand tussen hen meten om te zien hoe vergelijkbaar ze zijn, zonder ooit de oorspronkelijke, langdurige bestanden opnieuw te hoeven lezen. Dit proces is als het hebben van een bibliothecaris die eerst een eenzinsbeschrijving van elk boek in een enorme bibliotheek schrijft en vervolgens de boeken groepeert op basis van die beschrijvingen, in plaats van te proberen elke pagina van elk boek te lezen om overeenkomsten te vinden.

De onderzoekers testten deze methode op drie verschillende sets code geschreven in diverse programmeertalen, waaronder C en Java, waarbij ze verschillende kunstmatige intelligentie-modellen gebruikten om de resultaten robuust te waarborgen. Ze vergeleken hun nieuwe aanpak met veel bestaande methoden, inclusief die welke uitgebreide training vereisen op gelabelde data of die proberen kunstmatige intelligentie direct voor de vergelijking te gebruiken. De resultaten waren opmerkelijk: de nieuwe methode presteerde consequent beter dan de anderen, waarbij codeclones met een veel hogere nauwkeurigheid werden gevonden. In één test met C-code behaalde het systeem een nauwkeurigheidsscore van meer dan 95 procent, waarmee het de op één na beste methode aanzienlijk versloeg. Het bleek ook zeer effectief in het groeperen van vergelijkbare code samen, een taak die bekend staat als clustering, waarbij het een score van 0,99 behaalde op de Adjusted Rand Index, waarmee het zelfs de methoden overtrof die met menselijk toezicht waren getraind, die een score van 0,90 behaalden.

Een belangrijk voordeel van dit werk is dat het niet vereist om de kunstmatige intelligentie op specifieke datasets te trainen, een proces dat duur en tijdrovend is. Traditionele methoden hebben vaak duizenden voorbeelden van codeparen nodig die door mensen zijn gelabeld om te leren hoe ze overeenkomsten kunnen opsporen, wat traag en kostbaar is. De nieuwe aanpak werkt onmiddellijk, gebruikmakend van de bestaande kennis van de kunstmatige intelligentie-modellen zonder extra training. Het lost ook een grote technische hindernis op: het beperkte geheugen van deze modellen. Grote taalmodellen kunnen slechts een bepaalde hoeveelheid tekst tegelijk verwerken; als de code te lang is, crasht het model of geeft het op. Door de code eerst samen te vatten, omzeilden de onderzoekers deze limiet, waardoor het systeem grote bestanden kon verwerken die voorheen onmogelijk te analyseren waren. Bovendien is de methode veel efficiënter, omdat het veel minder oproepen naar de kunstmatige intelligentie-modellen vereist, wat zowel tijd als geld bespaart.

De studie onderzocht ook hoe verschillende keuzes de uitkomst beïnvloeden, zoals het gebruik van verschillende typen kunstmatige intelligentie-modellen of het verwijderen van veelvoorkomende "stopwoorden" uit de samenvattingen. Ze ontdekten dat hoewel de specifieke tools er toe doen, de algemene aanpak sterk blijft over verschillende configuraties heen. Bijvoorbeeld, het gebruik van een geavanceerder kunstmatige intelligentie-model om de samenvattingen te schrijven leidde tot betere resultaten, maar zelfs de standaardmodellen presteerden uitzonderlijk goed. De onderzoekers visualiseerden ook de resultaten, waarbij ze lieten zien dat de door hun methode gegenereerde codepunten nauwe, duidelijke groepen vormden, terwijl andere methoden rommelige, overlappende clusters produceerden. Deze helderheid suggereert dat het systeem de betekenis van de code echt begrijpt in plaats van alleen oppervlakkige patronen te matchen.

Uiteindelijk biedt dit onderzoek een praktische en efficiënte manier om de enorme oceanen van code te begrijpen die onze wereld aandrijven. Door de complexe taak van codevergelijking te vereenvoudigen tot een tweestaps-proces van samenvatting en meting, hebben de onderzoekers een instrument gecreëerd dat zowel krachtig als toegankelijk is. Het demonstreert dat we niet altijd grotere, complexere modellen hoeven te bouwen om moeilijke problemen op te lossen; soms is een slimmere manier van het gebruiken van de instrumenten die we al hebben genoeg om het bos door de bomen te zien. Deze aanpak kan software engineers helpen hun codebases op te schonen, verborgen beveiligingskwetsbaarheden te vinden en hun projecten effectiever te organiseren, allemaal zonder de zware computationele kosten die voorheen deze mogelijkheden beperkten.

Technische Samenvatting van LSEM2VEC: Een Effectieve Embedding-benadering voor Code Clone Detectie en Clustering

Probleemstelling
De integratie van Large Language Models (LLM's) in software engineering (SE) heeft taken zoals broncode-clone detectie en clustering geavanceerd. Echter, bestaande methoden voor het genereren van broncode-embeddings kampen met aanzienlijke beperkingen. Traditionele pre-trained modellen (PTM's) vereisen vaak uitgebreide gesuperviseerde training of fine-tuning op taakspecifieke data, wat substantiële computationele middelen en gelabelde datasets vereist. Hoewel LLM's over indrukwekkende zero-shot leervermogens beschikken, brengt het direct toepassen van LLM's op SE-taken twee kritieke uitdagingen met zich mee:

Foutieve Respons: LLM's produceren vaak onjuiste outputs wanneer ze worden gevraagd om complexe redeneringen, zoals het bepalen of twee codefragmenten clones zijn, vooral wanneer de workflow het samenvatten van functionaliteit en het vervolgens nemen van een binaire beslissing omvat.
Beperkingen in Contextlengte: LLM's hebben een vaste context window. Het verwerken van grote hoeveelheden broncode of het gelijktijdig vergelijken van meerdere codeparen overschrijdt vaak deze limieten, wat leidt tot fouten of het onvermogen om lange codefragmenten te verwerken. Bovendien resulteert directe paarwijze vergelijking met LLM's in een kwadratische tijdscomplexiteit ( $O(n^2)$ ) met betrekking tot LLM-aanroepen, wat inefficiënt en kostbaar is voor grote datasets.

Methodologie: LSEM2VEC
De auteurs stellen LSEM2VEC voor (LLM-extracted code Semantics to Vector embedding), een nieuwe, training-vrije benadering die broncode-embeddings genereert door LLM's te combineren met sentence embedding-modellen. Het framework werkt via een vierfasige pipeline die ontworpen is om de bovengenoemde uitdagingen te mitigeren via een "late-interaction" strategie:

Uniform Prompt Design: Een gestandaardiseerd prompt-template instrueert de LLM om een broncodefragment te lezen en de functie ervan beknopt samen te vatten in één enkele zin, waarbij verklarende tekst expliciet wordt verboden. Dit zorgt voor compatibiliteit met sentence embedding-modellen, die een input van één enkele zin verwachten.
Code Samenvattingen en Opslag: De LLM genereert de eenzins-samenvatting voor elk codefragment. Cruciaal is dat het systeem alleen de eerste zin van de respons extraheert om consistentie te waarborgen en deze samenvattingen in JSON-formaat opslaat. Deze stap ontkoppelt de semantische extractie van de downstream-taak, waardoor samenvattingen kunnen worden hergebruikt zonder de LLM opnieuw te bevragen.
Code Embedding Generatie: De opgeslagen tekstsamenvattingen worden ingevoerd in een pre-trained sentence embedding-model (bijv. MiniLM of SBERT-CN) om fixed-dimensionale vectorrepresentaties te genereren. Deze fase zet de natuurlijke taal-samenvattingen om in semantische vectoren zonder enige aanvullende training of fine-tuning.
Downstream Taken: De resulterende embeddings worden gebruikt voor ongesuperviseerde taken. Voor code clone detectie wordt de gelijkenis berekend met behulp van cosine similarity tussen vectorparen. Voor code clustering wordt de Euclidische afstand gebruikt met het K-means algoritme.

Dit "late-interaction" ontwerp vermindert de computationele complexiteit van code clone detectie van $O(n^2)$ (waarbij een LLM-aanroep nodig is voor elk codepaar) naar $O(n)$ (waarbij slechts één LLM-aanroep nodig is per codefragment), wat de tokenkosten aanzienlijk verlaagt en contextlengte-overschrijding voorkomt.

Belangrijkste Bijdragen
Het artikel claimt de volgende bijdragen:

Eerste Training-Free Integratie: Het is het eerste werk dat large language en sentence embedding-modellen inzet om broncode-embeddings te genereren zonder training of fine-tuning te vereisen, gebruikmakend van ongelabelde datasets.
Mitigatie van LLM-beperkingen: De voorgestelde pipeline adresseert effectief de foutieve LLM-responsen en contextlengte-beperkingen door de taak op te splitsen in kleinere stappen (samenvatting gevolgd door embedding) in plaats van de LLM direct de volledige redeneertaak te laten uitvoeren.
Flexibiliteit en Schaalbaarheid: De benadering is LLM-onafhankelijk, waardoor het gebruik van elke open-source of propriëtaire LLM en diverse sentence embedding-modellen mogelijk is. Het schaalt over verschillende programmeertalen zonder taal-specifieke trainingsdata nodig te hebben.
Efficiëntie: Door het aantal LLM-aanroepen te verminderen en gebruik te maken van pre-trained sentence encoders, biedt de methode een hulpbron-efficiënte oplossing vergeleken met fine-tuned modellen of directe LLM-prompting.

Experimentele Resultaten
De auteurs evalueerden LSEM2VEC op drie datasets (POJ-104, OJClone C, en BigCloneBench) die C en Java talen dekken. De evaluatie richtte zich op ongesuperviseerde code clone detectie en code clustering met behulp van GPT-3.5, GLM3, en GLM4.

Code Clone Detectie: LSEM2VEC presteerde significant beter dan state-of-the-art ongesuperviseerde methoden, inclusief SourcererCC, Code2vec, InferCode, TransformCode, en LLM2Vec.
- Op de OJClone C dataset bereikte de beste configuratie (GPT-3.5 + MiniLM-L12) een F1-score van 91,82%, waarmee het de gesuperviseerde LLM2Vec (83,70%) en andere ongesuperviseerde baselines overtrof.
- Op de BigCloneBench dataset behaalde LSEM2VEC F1-scores tot 85,83% (met behulp van GPT-3.5 + MiniLM-L6), waarmee het wederom de gesuperviseerde LLM2Vec en andere methoden overtrof.
- De studie vond dat GPT-3.5 over het algemeen betere resultaten opleverde dan de GLM-serie modellen (GLM3 en GLM4), en dat de keuze van het sentence embedding-model (bijv. MiniLM-L12 versus L6) de prestaties beïnvloedde.
Code Clustering: Gebruikmakend van de Adjusted Rand Index (ARI) als metriek, demonstreerde LSEM2VEC superieure clustering-capaciteiten.
- De GPT-3.5 configuratie bereikte een ARI van 0,97 (met behulp van MiniLM-L6) en 0,91 (met behulp van MiniLM-L12), waarmee het de gesuperviseerde LLM2Vec (0,90) en alle andere ongesuperviseerde baselines overtrof.
- Visualisatie via t-SNE bevestigde dat LSEM2VEC embeddings goed gedefinieerde, duidelijke clustergrenzen produceerden, met name bij het gebruik van meer geavanceerde LLM's zoals GPT-3.5 vergeleken met GLM3.

Betekenis en Claims
Het artikel positioneert LSEM2VEC als een robuust en efficiënt alternatief voor bestaande embedding-strategieën. De primaire betekenis ligt in het aantonen dat hoogwaardige broncode-embeddings gegenereerd kunnen worden zonder de computationele overhead van fine-tuning of de afhankelijkheid van gelabelde data. Door gebruik te maken van de zero-shot capaciteiten van LLM's voor semantische extractie en sentence modellen voor vectorisatie, biedt de benadering een praktische oplossing voor real-world SE-applicaties waar middelen beperkt zijn. De auteurs concluderen dat deze methode een nieuwe richting biedt voor de gemeenschap om geavanceerde broncode-representaties te verkennen, wat potentieel kan worden uitgebreid naar taken zoals code-samenvatting, kwetsbaarheidsdetectie en binaire code-analyse in toekomstig werk.

Meer zoals dit