Technische Samenvatting: Herschrijvingsstrategieën voor Code-terugvinding

Probleemstelling

Op embedding gebaseerde systemen voor code-terugvinding lijden vaak aan een oppervlakkig begrip van programmagedrag, waarbij ze vaker overfitten op oppervlakkige syntactische aanwijzingen dan op semantische betekenis. Dit leidt ertoe dat semantisch verschillende codefragmenten worden gemapt naar vergelijkbare vectorrepresentaties. Hoewel eerdere werken hebben geprobeerd dit te mitigeren door Large Language Models (LLM's) te gebruiken om queries en corpora te herschrijven naar een genormaliseerde stijl, blijven twee kritieke vragen onopgelost:

1. Representatieve Verschuiving: Hoeveel verbetert het verschuiven van het representatieniveau (bijvoorbeeld van code naar natuurlijke taal of pseudo-code) daadwerkelijk de terugvinding?
2. Kosten-baten Rechtvaardiging: Wanneer is de rekenkosten van een online LLM-aanroep per query gerechtvaardigd, en kan herschrijven offline worden uitgevoerd?

Bestaande methoden opereren doorgaans op één enkel representatieniveau (code) en behandelen tussenliggende representaties (zoals pseudo-code) vaak als tijdelijke bruggen in plaats van als definitieve doelen voor terugvinding. Bovendien ontbreekt het hen over het algemeen aan diagnostiek om te voorspellen wanneer herschrijven voordelig zal zijn.

Methodologie

De auteurs voeren een systematische studie uit waarbij een hiërarchie van drie herschrijvingsstrategieën wordt geëvalueerd onder twee augmentatieregimes:

1. Herschrijvingsstrategieën:
   • Stijlmatige Parafrase: Normaliseren van codesyntaxis en -stijl (volgend op Li et al., 2024).
   • NL-verrijkte PseudoCode: Omzetten van code naar gestructureerde pseudo-code met natuurlijke taalcommentaren, direct gebruikt als de representatie voor terugvinding.
   • Volledige Natuurlijke Taal (NL) Transcriptie: Volledig omzetten van codefragmenten naar beschrijvingen in natuurlijke taal, direct gebruikt als de representatie voor terugvinding.
2. Augmentatieregimes:
   • Gecombineerde Query–Corpus (QC, Online): Zowel de query als het corpus worden door de LLM herschreven voordat ze worden ingebed.
   • Alleen Corpus (C, Offline): Alleen het corpus wordt herschreven; queries blijven in hun oorspronkelijke vorm.
3. Experimentele Opstelling:
   • Benchmarks: Zes datasets uit de CoIR-suite (dekkend code-naar-code, tekst-naar-code en hybride modaliteiten).
   • Encoders: Vijf encoders variërend van algemeen doelgericht tot code-specialistisch (bijvoorbeeld MoSE-18, CodeXEmbed, E5-Base-V2).
   • Herschrijvers: Drie onafhankelijke model-families (Qwen3-Coder, DeepSeek-Coder-V2, Codestral) om robuustheid te garanderen tegen herschrijverspecifieke artefacten.
4. Diagnostiek: Het artikel introduceert twee metrieken om het effect van herschrijven te analyseren:
   • $\Delta H$ (Token Entropie): De verandering in Shannon-entropie van invoertokens, die lexische diversiteit meet.
   • $\Delta \bar{s}$ (Embedding Cosine): De verandering in de gemiddelde paarsgewijze cosinusgelijkenis van embeddings, die representatie-isotropie (discriminerende spreiding) meet.

Belangrijkste Bijdragen

1. Nieuwe Representaties voor Terugvinding: De auteurs zijn de eersten die NL-verrijkte PseudoCode en snippet-niveau Natuurlijke Taal evalueren als directe doelen voor terugvinding, in plaats van als tijdelijke tussenstappen.
2. Systematische Vergelijking: Een gecontroleerde evaluatie over drie herschrijfniveaus, twee augmentatieregimes, meerdere encoders en drie families van herschrijvers.
3. Diagnostisch Kader: De introductie van $\Delta H$ en $\Delta \bar{s}$ als diagnostiek op representatieniveau. Cruciaal toont het artikel aan dat $\Delta H$ dient als een herschrijvers-onafhankelijke voorspeller voor terugvindingswinst onder het QC-regime.
4. Kosten-baten Kader: De studie herformuleert LLM-herschrijven niet als een universele oplossing, maar als een remediatie-laag met specifieke voorwaarden voor effectiviteit.

Resultaten

• Effectiviteit van NL+QC: Volledige herschrijving naar Natuurlijke Taal met gecombineerde query-corpus augmentatie (NL+QC) levert de grootste prestatiewinsten op. Op de CT-Contest-benchmark (code-naar-code) verbeterde dit de NDCG@10 van MoSE-18 van 0,23 naar 0,74 (+0,51 absoluut). Het blijft de beste of gelijkbeste strategie voor alle drie de herschrijvers bij taken die zwaar op code zijn.
• Ineffectiviteit van Alleen Corpus (C): Herschrijven van alleen het corpus verslechtert de prestaties voor terugvinding in ongeveer 62% van de configuraties (56 van de 90). Dit wordt toegeschreven aan een modaliteitsmismatch tussen het herschreven corpus en de originele queries. QC presteert beter dan C in 78 van de 90 gepaarde vergelijkingen.
• Encoder-afhankelijkheid: Winsten schalen omgekeerd evenredig met de capaciteit van de encoder. Lichtgewicht encoders (bijvoorbeeld MoSE-18) profiteren aanzienlijk van herschrijven, terwijl sterke encoders (bijvoorbeeld Qwen3-Emb) vaak vlakke of negatieve rendementen zien, wat suggereert dat herschrijven het meest waardevol is als remediatie voor zwakkere modellen.
• Query-modaliteit: De abstractiehiërarchie (Parafrase < Pseudo < NL) geldt voor code-naar-code-taken, maar valt uiteen voor tekst-naar-code-taken. Wanneer queries al in natuurlijke taal zijn, verwijdert het herschrijven van het corpus naar NL resterende syntactische signalen zonder nieuwe uitlijning te creëren, wat vaak de prestaties schaadt.
• Voorspellende Kracht van $\Delta H$: Onder het QC-regime is de verandering in token-entropie ($\Delta H$) een significante voorspeller van terugvindingswinst.
  • Voor Codestral: $\rho = +0,593$ ($p < 0,001$).
  • Voor DeepSeek: $\rho = +0,274$.
  • Gepoold (niet-Qwen): $\rho = +0,436$ ($p < 0,001$).
  • Deze correlatie geldt over verschillende families van herschrijvers heen, waardoor $\Delta H$ wordt gevestigd als een goedkope, herschrijvers-onafhankelijke proxy om te beslissen of herschrijven zich zal lonen voordat de terugvinding wordt uitgevoerd.

Betekenis en Beweringen

Het artikel claimt dat herschrijven met LLM's voor code-terugvinding moet worden herformuleerd als een kosten-batenbeslissing in plaats van een standaard voorverwerkingsstap. De auteurs concluderen dat:

• Herschrijven het meest effectief is als een remediatie-laag voor lichtgewicht encoders die omgaan met queries die gedomineerd worden door code.
• Het afnemende meeropbrengsten biedt voor sterke encoders of queries die al rijk zijn aan natuurlijke taal.
• De $\Delta H-metriek een praktische, goedkope mechanisme biedt voor practitioners om te voorspellen of een specifieke query-corpus-paar zal profiteren van herschrijven, waardoor ze onnodige LLM-aanroepen kunnen vermijden wanneer de diagnostiek aangeeft dat de potentiële winst laag is.

De auteurs stellen expliciet dat hun bevindingen bescheiden zijn wat betreft gesloten bronmodellen en talen met beperkte middelen, en noteren deze als beperkingen. Ze benadrukken dat, hoewel herschrijven de terugvinding verbetert, het de biases en risico's op hallucinaties van de herschrijver erft, en adviseren menselijke audit en bronverwijzingen voor implementatie.