Automated Classification of Source Code Changes Based on Metrics Clustering in the Software Development Process

Probleemstelling

Moderne softwareontwikkeling omvat enorme hoeveelheden broncode, wat de analyse en kwaliteitsborging bemoeilijkt. Code-review is een cruciaal onderdeel van de kwaliteitszorg, maar het handmatig beoordelen van alle wijzigingen (commits) is tijdrovend en vaak onhaalbaar vanwege de schaal en de beperkte tijd van reviewers.
Hoewel versiebeheersystemen de geschiedenis van wijzigingen beschikbaar maken, is het selectief controleren van wijzigingen lastig. Het is wenselijk om wijzigingen te classificeren in categorieën zoals:

• Implementatie van nieuwe functionaliteit
• Bugfixing
• Refactoring
• Verwijdering van ongebruikte code
• Code-formatting

Het huidige proces vereist dat een expert elke wijziging handmatig classificeert, wat subjectief is en veel tijd kost. Er is behoefte aan een methode om dit proces te automatiseren, zodat reviewers zich kunnen richten op de meest kritieke wijzigingen.

Methodologie

De auteur stelt een tweestapsmethode voor voor geautomatiseerde classificatie van broncode-wijzigingen, gebaseerd op clusteranalyse van metrieken.

1. Berekening van Metrieke Vectors
Voor elke wijziging ($\delta$) wordt een vector van numerieke metrieken berekend. De paper gebruikt 11 specifieke broncode-metrieken die zijn afgeleid van de toegevoegde, verwijderde en gewijzigde regels code (edit scripts):

• LOC: Aantal regels code toegevoegd ($LOC_+$), verwijderd ($LOC_-$) en gewijzigd ($LOC_*$).
• Cyclomatic Complexity (CC): Complexiteit van de toegevoegde, verwijderde en gewijzigde code.
• Structuur: Aantal bestanden gewijzigd ($F_*$), interfaces toegevoegd/verwijderd ($I_+, I_-$), en klassen/structuren toegevoegd/verwijderd ($CS_+, CS_-$).

2. Clusteranalyse (Clustering)
De berekende metrieke vectors worden gegroepeerd met behulp van het k-means algoritme.

• Afstandsmaat: In plaats van de gebruikelijke Euclidische afstand, wordt cosinus-similariteit gebruikt. Dit is cruciaal omdat het de schaal van de wijziging (bijv. grootte van de wijziging) negeert en zich richt op de richting van de wijziging in de metrieke ruimte. Hierdoor kunnen wijzigingen met verschillende omvang maar hetzelfde doel (bijv. refactoring) in dezelfde cluster terechtkomen.
• Kwaliteitscontrole: Het algoritme start met het aantal clusters ($k$) gelijk aan het aantal verwachte klassen. De kwaliteit van de clustering wordt gemeten met een functionaliteit $I$ (dichtheid binnen clusters). Als de kwaliteit onvoldoende is, wordt $k$ aangepast.

3. Expert Mapping
Dit is het enige handmatige deel van het proces. Een expert bekijkt een steekproef van wijzigingen uit elke gegenereerde cluster en kiest de dominante klasse (bijv. "Bugfixing"). Vervolgens worden alle wijzigingen in die cluster automatisch toegewezen aan die klasse.

4. Validatie en Statistiek
De kwaliteit van de classificatie wordt gemeten aan de hand van Puurheid (Purity) en Entropie. Omdat het opzetten van grote validatiedatasets duur is, wordt de bootstrap-resampling-methode gebruikt om betrouwbaarheidsintervallen te berekenen.

Belangrijkste Bijdragen

1. Validatie van Partial Automation: Het bewijzen dat het mogelijk is om de classificatie van code-wijzigingen grotendeels te automatiseren door gebruik te maken van metrieke clustering, zonder dat een vooraf getraind dataset nodig is (zoals bij veel machine learning-benaderingen).
2. Specifieke Algoritme-keuze: Het rechtvaardigen van het gebruik van k-means met een cosinus-afstandsmaat. Dit lost het probleem op dat traditionele k-means (met Euclidische afstand) gevoelig is voor de grootte van de wijziging in plaats van het type wijziging.
3. Ontwikkeling van een Praktische Methode: Een volledig werkend raamwerk dat de handmatige inspanning van experts drastisch reduceert, waarbij de expert alleen de mapping tussen clusters en klassen hoeft te bepalen.
4. Software-implementatie: De ontwikkeling van een tool die de metrieken berekent, edit-scripts genereert (gebaseerd op Subversion) en de clustering uitvoert (gebaseerd op de CLUTO-toolkit).

Resultaten

De methode is gevalideerd op vijf software-systemen, waaronder twee open-source projecten: Subversion en NHibernate, evenals industriële systemen van Transas Technologies.

• Prestaties (NHibernate geval):
  • Uit een totaal van 2069 wijzigingen hoefden slechts 73 wijzigingen handmatig te worden beoordeeld door experts om de clusters te mappen naar klassen.
  • De geautomatiseerde classifier behaalde een puurheid (PC) van 0.75 ± 0.05. Dit betekent dat ongeveer 75% van de automatisch toegewezen klassen overeenkwam met de expert-classificatie.
  • De entropie (EC) was 0.37 ± 0.06, wat aangeeft dat er enige onzekerheid blijft, voornamelijk door de moeilijke scheiding van "refactoring"-wijzigingen.
• Significantie: De resultaten zijn statistisch significant op een niveau van 0.05.
• Beperkingen: De methode werkt het beste bij uniforme wijzigingen. Wanneer wijzigingen heterogene code-aanpassingen combineren (bijv. een bugfix gecombineerd met refactoring), neemt de kwaliteit van de classificatie af.

Betekenis en Toepassing

De paper toont aan dat het combineren van software-metrieken met clusteranalyse een effectieve manier is om de code-review-proces te versnellen.

• Efficiëntie: De tijd die experts nodig hebben voor classificatie wordt drastisch verminderd (in het NHibernate-voorbeeld slechts 3,5% van de totale wijzigingen handmatig beoordeeld).
• Praktische Implementatie: De methode is succesvol ingezet bij Transas Technologies voor systemen zoals Navi-Manager, LRIT en e-Tutor 5000.
• Toekomstperspectief: De auteur suggereert dat de kwaliteit verder kan worden verbeterd door meer metrieken toe te voegen en de methode aan te passen aan andere sets van wijzigingsklassen.

Kortom, deze studie biedt een robuust, semi-geautomatiseerd kader dat de subjectiviteit en tijdsinvestering van code-review vermindert, terwijl het een hoge mate van nauwkeurigheid behoudt voor de meeste standaardwijzigingen.