Technische Samenvatting: Op de Schouders van Reuzen Stehen: Gestabiliseerde Kennisdistillatie voor Cross-Language Code Clone Detection

Probleemdefinitie

Cross-Language Code Clone Detection (X-CCD) heeft tot doel functioneel equivalente codefragmenten te identificeren die in verschillende programmeertalen zijn geschreven. Deze taak is aanzienlijk uitdagender dan detectie binnen één taal, omdat semantisch equivalente programma's vaak geen oppervlakkige syntactische gelijkenis vertonen. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in semantisch redeneren, staan hun toepassingen voor X-CCD voor drie hoofdbeperkingen:

1. Beperkingen van Black-Box-modellen: Propriëtaire modellen roepen zorgen op over kosten, privacy en reproduceerbaarheid.
2. Betrouwbaarheid van Compacte Modellen: Kleinere, open-source modellen hebben vaak moeite om complexe redeneringsprompts te volgen en produceren outputs die niet consequent kunnen worden gemapt naar binaire clone/non-clone labels.
3. Output-instabiliteit: Generatiegebaseerde inferentie levert vaak ambigu of onleesbare antwoorden op, wat leidt tot lage "response rates" (het aandeel inputs dat een geldig binaire beslissing oplevert) en onbetrouwbare evaluatiemetrics.

Methodologie

De auteurs stellen een raamwerk voor dat Kennisdistillatie (KD) combineert met Response Stabilisatie om redeneervermogens over te dragen van een sterk leraarmodel naar compacte studentmodellen.

1. Kennisdistillatie-pijplijn

• Leraarmodel: DeepSeek-R1 wordt gebruikt als leraar om hoogwaardige, "System 2-achtige" redeneersporen (langzaam, doelbewust, stap-voor-stap analyse) te genereren voor cross-language codeparen.
• Studentmodellen: Twee compacte, instructie-gefine-tuned autoregressieve modellen worden gebruikt: Phi-3-Mini en Qwen2.5-Coder-3B.
• Dataconstructie:
  • Zaaddata: Afgeleid van Project CodeNet, gefilterd op geaccepteerde inzendingen om functionele correctheid te waarborgen. Paren worden gevormd over vier taalcombinaties: Python–Java, Rust–Java, Rust–Python en Rust–Ruby.
  • Synthetische trainingsdata: Het leraarmodel verwerkt zaadparen met een gestructureerde prompt die functievergelijking, algoritmisch redeneren, structurele analyse en een definitieve conclusie vereist.
  • Filtering: Alleen steekproeven waarbij de voorspelde label van de leraar overeenkomt met de ground truth worden behouden om ruispropagatie te voorkomen.
  • Varianten: De studie evalueert vijf datasetvarianten op basis van promptstructuur en outputcomponenten van de leraar (alleen Redenering, alleen Conclusie, of beide). De RRC-variant (Redeneringsprompt + Redenering + Conclusie-outputs) werd geïdentificeerd als het meest effectief.
• Fine-tuning: Studenten worden gefine-tuned met LoRA (Low-Rank Adaptation) om de redeneerpatronen en beslissingsgrenzen van de leraar efficiënt te leren zonder volledige parameterupdates.

2. Response Stabilisatiemethoden

Om het probleem van onleesbare outputs aan te pakken, worden drie methoden geïntroduceerd om een response rate van 100% te garanderen (het mappen van elke input naar een binaire label):

• Gedwongen Conclusie: Een inferentieproces in twee fasen.
  • Fase 1: Het model genereert een vrij-vormige redeneringsrespons.
  • Fase 2: Een follow-up prompt vraagt het model om te beslissen op basis van zijn eerdere redenering. In plaats van tekst te genereren, wordt de beslissing genomen door de token-probabiliteiten van "Ja" en "Nee" te vergelijken in de laatste verborgen toestand.
• Binaire Classificatiekop: Een lichtgewicht classifier wordt gekoppeld aan de gepoolde verborgen representaties van het bevroren taalmodel. Deze leert een directe mapping van embeddings naar binaire labels met behulp van binaire cross-entropy loss, waardoor tekstgeneratie tijdens inferentie overbodig wordt.
• Contrastieve Classificatiekop: Vergelijkbaar met de binaire kop, maar getraind met een extra gesuperviseerde contrastieve loss. Dit doel moedigt cloneparen aan om vergelijkbare embeddings te hebben en non-cloneparen verder uit elkaar te liggen, met als doel robuustheid te verbeteren onder distributieveranderingen.

Experimentele Opstelling

• Datasets: Experimenten bestrijken Same-Distribution (SD) en Different-Distribution (DD) testsets over de vier taalparen.
• Baselines: De zero-shot prestaties van de basisstudentmodellen worden vergeleken met hun KD-fine-tuned tegenhangers.
• Metrics: Precisie, Recall, F1-score en Response Rate (het percentage inputs dat succesvol is gemapt naar een binaire label).

Belangrijkste Resultaten

1. Impact van Kennisdistillatie (RQ2)

• Response Rate: KD verbetert de betrouwbaarheid van compacte modellen aanzienlijk. Bijvoorbeeld, op Rust–Ruby (SD) steeg de response rate van Qwen-Coder van 24,3% naar 67,7%. Bij DD-problemen waren de winsten nog duidelijker (bijvoorbeeld Phi3 op Python–Java DD steeg van 34,6% naar 53,8%).
• Generalisatie: KD verbeterde consistent de F1-scores op Different-Distribution (DD) testsets, wat suggereert dat er hogere redeneerpatronen worden overgedragen in plaats van dataset-specifieke heuristieken.
• Modelgevoeligheid: Qwen-Coder profiteerde disproportioneel meer van KD dan Phi3, met schaalbare F1-verbeteringen van ongeveer 27 punten (SD) en ongeveer 23 punten (DD), vergeleken met ongeveer 7 en ongeveer 9 punten voor Phi3, respectievelijk.

2. Prestaties van Response Stabilisatie (RQ3)

• Gedwongen Conclusie: Deze methode bereikte de beste afweging tussen volledigheid en nauwkeurigheid. In combinatie met KD leverde het consistente F1-scores (bereik 70–75) op in alle instellingen met een response rate van 100%.
• Classificatiekoppen: Hoewel deze methoden response rates van 100% bereikten en de inferentietijd drastisch reduceerden (van uren naar minuten), resulteerden ze over het algemeen in lagere F1-scores vergeleken met de aanpak van gedwongen conclusie, vooral door een verminderde recall in de binaire kop-variant.
• Efficiëntie versus Nauwkeurigheid: De binaire en contrastieve koppen reduceerden de inferentietijd met ongeveer 200–400x ten opzichte van generatiegebaseerde methoden, wat een praktisch alternatief biedt voor grootschalige implementatie waar latentie kritiek is.

3. Baseline Prestaties (RQ1)

• Kleine open-source modellen vertoonden niet-triviale zero-shot capaciteiten, maar leden aan lage response rates (vaak <50%) en slechte robuustheid op onbekende probleemdistributies. Ruwe generatieve inferentie werd onvoldoende geacht voor praktische implementatie zonder stabilisatie.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. Eerste Redeneringsgerichte Dataset: Creatie van een synthetische trainingsdataset (10.671 steekproeven) voor cross-language CCD met DeepSeek-R1, die vier taalparen bestrijkt en is ontworpen om System 2-redeneren op te roepen.
2. Systematische Analyse van Distillatieformaten: Identificatie van het "Redenering + Conclusie" (RRC) formaat als het meest effectief voor het distilleren van CCD-specifiek redeneren.
3. Demonstratie van KD-effectiviteit: Bewijs dat KD zowel response rates als voorspellende prestaties verbetert (vooral onder distributieverandering) voor compacte modellen zoals Phi3 en Qwen-Coder.
4. Response Stabilisatiekader: Introductie van drie methoden om response rates van 100% te bereiken, met een specifieke focus op de Gedwongen Conclusie-techniek die redeneercapaciteiten behoudt terwijl geldige binaire beslissingen worden gegarandeerd.
5. Praktische Afwegingen: Een gedetailleerde analyse die aantoont dat, hoewel gedwongen conclusie de hoogste nauwkeurigheid biedt, classificatiekoppen een zeer efficiënt alternatief bieden, wat lokale implementatie van X-CCD-systemen mogelijk maakt zonder afhankelijkheid van dure, propriëtaire API's.

De auteurs concluderen dat praktische X-CCD met compacte open-source modellen een dubbele aanpak vereist: het distilleren van taakspecifiek redeneren van sterke leraren en het stabiliseren van de outputruimte om deterministische, actieerbare voorspellingen te waarborgen.