Enhancing Software Maintenance: A Learning to Rank Approach for Co-changed Method Identification

Technische Samenvatting: Verbeteren van Softwareonderhoud via een Learning-to-Rank-benadering voor de Identificatie van Co-gewijzigde Methoden

Probleemstelling
Naarmate softwaresystemen in complexiteit toenemen, wordt het steeds moeilijker om nauwkeurig alle noodzakelijke wijzigingen te identificeren die nodig zijn om een specifieke verandering door te voeren. Een cruciale uitdaging is het detecteren van "co-gewijzigde methoden" (co-changed methods)—methoden die in de loop van de tijd vaak samen evolueren, wat vaak duidt op een sterke evolutionaire koppeling, zelfs bij afwezigheid van expliciete code-afhankelijkheden. Bestaande benaderingen kampen met aanzienlijke beperkingen:

1. Granulariteitsproblemen: Analyse op commit-niveau mist vaak co-wijzigingen die zich over meerdere commits binnen één Pull Request (PR) verspreiden of bevat toevallige wijzigingen.
2. Scope-beperkingen: Clone-gebaseerde detectie ziet de relaties tussen niet-gecloneerde code over het hoofd.
3. Prioriteringstekorten: Association rule mining genereert vaak grote, ongeordende resultaatsets met een hoog aantal fout-positieven en mist mechanismen om de meest relevante kandidaten te prioriteren.
4. Heuristische Rigiditeit: Bestaande rankingsmethoden vertrouwen op vaste scoringfuncties die er niet in slagen om heterogene kenmerken (historisch, structureel, semantisch) adaptief te combineren.

Om deze hiaten aan te pakken, stellen de auteurs CoRanker voor, een framework dat de granulariteit van detectie verschuift van het commit-niveau naar het Pull Request (PR)-niveau en een Learning-to-Rank (LtR)-benadering gebruikt om waarschijnlijke co-gewijzigde methoden te voorspellen en te rangschikken.

Methodologie
CoRanker is een supervised learning-framework ontworpen om kandidaat-methoden te rangschikken op basis van hun waarschijnlijkheid om co-gewijzigd te worden met een query-methode. De methodologie bestaat uit vier hoofdfasen:

1. Dataverzameling & Projectselectie:

   • De studie maakt gebruik van 150 open-source Java-projecten van GitHub, met in totaal 41,5 miljoen regels code (LOC) en 634.216 PR's.
   • Projecten werden geselecteerd op basis van activiteit (actief voor >2 jaar, bijgewerkt in de laatste 6 maanden), volume (>200 gemergde PR's) en structurele integriteit (representatief voor werkelijke softwaresystemen).

2. Kenmerkextractie (Feature Extraction):
   Het model maakt gebruik van tien kenmerken afgeleid van broncode en versiebeheergeschiedenis om de relatie tussen een query-methode ($M_q$) en een kandidaat-methode ($M_c$) te representeren:

   • Historische Kenmerken: Aantal co-wijzigingen (frequentie van gezamenlijke modificatie in PR's) en Auteurs-gelijkenis (Jaccard-gelijkenis van de bijdragerssets).
   • Statische/Structurele Kenmerken: Semantische gelijkenis (via CodeBERT-embeddings), Bestandspad-gelijkenis, Code-afhankelijkheid (call-relaties), Hiërarchie-gelijkenis (gedeelde superclass), Code-clone score (via NiCad), Package-gelijkenis, Argument-type gelijkenis en Argument-naam gelijkenis.
   • Redundantieafhandeling: "Package similarity" werd verwijderd vanwege de hoge correlatie met "Path similarity" om de generaliseerbaarheid te waarborgen.

3. Datapreparatie & Labeling:

   • De dataset wordt geconstrueerd met behulp van een tijd-scheidingsbenadering om datalekken (data leakage) te voorkomen. Kenmerken worden geëxtraheerd uit een historische window (bijv. 12 maanden), en labels worden gegenereerd op basis van co-change voorkomens in een daaropvolgende window (bijv. 6 maanden).
   • Labels representeren de frequentie van co-wijzigingen tussen methode-paren in de labelperiode.
   • Rankinglijsten worden opgesteld voor elke query-methode, waarbij lijsten worden uitgesloten waar alle kandidaten een nul co-change geschiedenis hebben.

4. Modeltraining & Evaluatie:

   • Algoritmen: De studie evalueert negen LtR-modellen over de categorieën point-wise (Linear Regression, MART, Random Forest, DNN), pair-wise (RankNet, LambdaMART) en list-wise (Coordinate Ascent, AdaRank, ListNet).
   • Baselines: CoRanker wordt vergeleken met zes baselines: Support ranking (frequentie-gebaseerd), File proximity, Code clone detectie (NiCad), FCP2Vec, en twee StarCoder 2 configuraties (Scalar en Binary, zowel in zero-shot als history-aware settings).
   • Metrieken: Prestaties worden gemeten met behulp van Normalized Discounted Cumulative Gain (NDCG@k) en Precision@k voor $k \in \{1, 3, 5, 10\}$.

Belangrijkste Resultaten

• Modelprestaties: Het Random Forest (RF) model kwam naar voren als het superieure LtR-algoritme, waarbij het andere LtR-modellen versloeg met 2,5%–12,8% in NDCG@5. Het behaalde een gemiddelde NDCG@5 van 0,8394 en een Precision@5 van 0,7418.
• Vergelijking met Baselines: CoRanker (met behulp van RF) presteerde significant beter dan alle zes de baselines, met verbeteringen in NDCG@5 variërend van 4,7% tot 573,5%. Opvallend genoeg presteerde het beter dan de beste baseline (Support ranking) met 4,7% in NDCG@5 en 10,2% in NDCG@1.
• LLM-prestaties: Hoewel StarCoder 2 (15B parameters) werd geëvalueerd, presteerde het consequent minder goed dan het kenmerk-gebaseerde RF-model. Zelfs wanneer historische context in de prompts werd meegegeven, slaagden de LLM's er niet in om de heuristische support-ranking baseline te evenaren, wat suggereert dat huidige pre-trained code modellen moeite hebben om evolutionaire koppelingspatronen te vatten zonder expliciete feature engineering.
• Kenmerkbelang (Feature Importance): De permutatie-belangrijkheidsanalyse toonde aan dat het Aantal co-wijzigingen het dominante kenmerk is (belangrijkheid ~0,38). Pad-gelijkenis en Auteurs-gelijkenis droegen ook positief bij. Daarentegen had Argument-naam gelijkenis een licht negatieve impact, en semantische gelijkenis (CodeBERT) vertoonde minimale bijdrage.
• Temporele Dynamiek: Modellen getraind op langere historische data (90–180 dagen) vertoonden een consistenter prestatieverloop dan modellen getraind op kortere perioden (30 dagen). Echter, de voorspellingsnauwkeurigheid begon af te nemen na 60 dagen aan testdata, wat wijst op een noodzaak voor tweemaandelijkse model-retraining om optimale prestaties te behouden.

Betekenis en Bijdragen
Het artikel claimt de volgende bijdragen:

1. Framework Voorstel: Introductie van CoRanker, een learning-to-rank framework dat heterogene kenmerken integreert om co-gewijzigde methoden op PR-niveau te prioriteren, waarmee de beperkingen van commit-niveau en heuristische benaderingen worden overwonnen.
2. Grootschalige Empirische Evaluatie: Een uitgebreide studie naar 150 real-world Java-projecten, inclusief een robuuste dataset en replicatiepakket.
3. Prestatievalidatie: Demonstratie dat LtR-modellen, specifiek Random Forest, bestaande baselines en LLM-gebaseerde benaderingen significant overtreffen bij het identificeren van co-gewijzigde methoden.
4. Inzichten in Kenmerken: Empirisch bewijs dat hoewel historische co-change frequentie de primaire voorspeller is, de integratie van structurele en semantische kenmerken via leermodellen de kwaliteit van de vroege-rang aanbevelingen substantieel verbetert.
5. Praktische Implementatierichtlijnen: Inzichten in de operationele vereisten van een dergelijk hulpmiddel, inclusief de noodzaak van periodieke hertraining (elke 2–3 maanden) en de haalbaarheid van integratie in IDE's of CI-pipelines met een lage runtime overhead (inferentie <1 seconde per query).

De auteurs concluderen dat CoRanker een praktisch hulpmiddel biedt voor softwareteams om complexe afhankelijkheden te beheren, het risico op het missen van noodzakelijke wijzigingen te verkleinen en de algehele kwaliteit van softwareonderhoud te verbeteren. Zij erkennen beperkingen met betrekking tot de scope (alleen Java/GitHub) en het gebrek aan gebruikersstudies, en stellen toekomstig werk voor om de methode te generaliseren naar andere talen en direct te integreren in ontwikkelomgevingen.