Verifier Warnings Do Not Improve Comprehensibility Prediction

Technische Samenvatting: Verifier Warnings Do Not Improve Comprehensibility Prediction

Het Probleem

Het begrijpen van bestaande broncode is een van de meest tijdrovende taken voor softwareontwikkelaars. Onderzoekers proberen de "begrijpelijkheid" (code comprehensibility) van code te voorspellen met behulp van Machine Learning (ML) modellen. Traditioneel worden hiervoor syntactische kenmerken (zoals regels code, complexiteit) en ontwikkelaarskenmerken (zoals ervaring) gebruikt.

Een recente meta-analyse suggereerde dat de waarschuwingen van formele verificatietools (verifiers) een correlatie vertonen met menselijke begrijpelijkheid: code die moeilijker te verifiëren is (door meer "false positive" waarschuwingen), is vaak ook moeilijker voor mensen om te begrijpen. De onderzoekers stelden de vraag of het toevoegen van deze verifier-waarschuwingen als een extra "semantische feature" de nauwkeurigheid van ML-modellen voor het voorspellen van codebegrijpelijkheid significant zou verbeteren.

Methodologie

De auteurs voerden een control-treatment experiment uit met een rigoureuze opzet:

1. Datasets: Er werd gebruikgemaakt van de twee grootste beschikbare Java-datasets voor codebegrijpelijkheid ($DS1$ en $DS2$), die menselijke beoordelingen bevatten over zaken als leesbaarheid en correct begrip.
2. Experimentele Opzet:
   • Control Setting ($C$): ML-modellen getraind op uitsluitend syntactische en ontwikkelaarskenmerken.
   • Treatment Setting ($T$): Dezelfde modellen, maar aangevuld met een nieuwe semantische feature: de som van waarschuwingen van vier state-of-the-art Java verifiers (Checker Framework, OpenJML, JaTyC en Infer).
3. Modellen & Evaluatie: Er werden zes verschillende ML-modellen getest (o.a. Random Forests, SVM, MLP). Om overfitting te voorkomen, werd nested cross-validation toegepast. De prestaties werden gemeten met de weighted F1-score en de AUC-ROC.
4. Statistische Analyse: Om te bepalen of eventuele verbeteringen toeval waren, gebruikten de auteurs de Mann-Whitney U-test. Daarnaast voerden ze een diepgaande analyse uit met Kendall’s $\tau$ (correlatie), Mutual Information (statistische afhankelijkheid) en SHAP-waarden (model-uitlegbaarheid).

Belangrijkste Bijdragen

• Empirische weerlegging: Het onderzoek toont aan dat het simpelweg optellen van verifier-waarschuwingen geen significante toegevoegde waarde biedt voor de voorspellende kracht van ML-modellen.
• Diepgaande feature-analyse: De auteurs hebben aangetoond dat de semantische signalen van verifiers (in de vorm van waarschuwingen) statistisch gezien vrijwel onafhankelijk zijn van de menselijke begrijpelijkheid-proxies.
• Vergelijking van verifiers: Het onderzoek onderzocht ook of specifieke verifiers (in plaats van de som) beter presteerden, waarbij bleek dat hoewel sommige tools kleine verbeteringen lieten zien, er geen consistent patroon was.

Resultaten

• Geen significante verbetering: De toevoeging van de verifier-waarschuwingen leidde niet tot een significante stijging in de nauwkeurigheid van de modellen. In veel gevallen (56,6% tot 66,7% van de configuraties) was er zelfs sprake van een lichte daling in prestaties.
• Marginale winst: De grootste verbetering was zeer klein ($\Delta wF1 = +0.042$ voor één specifieke combinatie), wat in de praktijk verwaarloosbaar is.
• Modelprestaties: De modellen bleven over het algemeen matig in hun voorspellingen, wat consistent is met eerder onderzoek. Dit suggereert dat de huidige features (syntactisch + ontwikkelaar) al een groot deel van de variantie verklaren, of dat de huidige semantische representaties (waarschuwingen) te beperkt zijn.
• Statistische onafhankelijkheid: De SHAP-analyse bevestigde dat de verifier-waarschuwingen een zeer lage impact hadden op de besluitvorming van de getrainde modellen.

Significantie en Conclusie

De conclusie van dit onderzoek is dat verifier-waarschuwingen op zichzelf geen effectieve proxy zijn voor menselijke codebegrijpelijkheid in ML-modellen.

Dit heeft twee belangrijke implicaties:

1. Voor onderzoekers: Het suggereert dat de "semantische dimensie" van codebegrip veel rijker is dan wat een simpele telling van foutmeldingen kan vangen. Toekomstig onderzoek moet zich richten op complexere representaties, zoals control-flow of data-flow relaties, in plaats van alleen waarschuwingstotalen.
2. Voor de praktijk: Huidige ML-modellen voor het automatisch schatten van codebegrip zijn nog niet betrouwbaar genoeg voor gebruik in echte softwareontwikkelingsomgevingen. Er is een fundamentele kloof tussen hoe machines code verifiëren en hoe mensen code begrijpen.