PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

Technische Samenvatting: PITMuS

Probleemstelling
De opkomst van op LLM's gebaseerde software-engineering heeft een kritieke vraag gecreëerd naar uitvoerbare, contextrijke bugartefacten. Deze artefacten – specifiek gepaarde correcte en defecte code, methoden onder test (MUT's), documentatie en metadata – zijn essentieel voor het trainen en evalueren van geautomatiseerde technieken voor buglokalisatie, reparatie en testgeneratie. Hoewel er verzorgde benchmarks zoals Defects4J bestaan, zijn deze statisch, beperkt in omvang en steeds meer kwetsbaar voor datacontaminatie naarmate code-modellen worden getraind op grote publieke corpora.

Een aanvullende strategie bestaat uit het genereren van nieuwe, op de cutoff-georiënteerde datasets door echte systeemversies te selecteren en gecontroleerde bugs in te brengen via mutatietesten. In het Java-ecosysteem is PIT de state-of-the-practice mutatietesttool. PIT werkt echter op bytecode-niveau voor snelheid en practicaliteit, en rapporteert mutanten via XML-metadata (mutatortype, bronbestand, regelnummer, beschrijving) in plaats van de daadwerkelijke gemuteerde broncode te leveren. Dit ontwerp creëert een aanzienlijke kloof: gebruikers kunnen PIT-mutanten niet eenvoudig inspecteren, herspelen, compileren of hergebruiken als gestructureerde datasetrecords op broncode-niveau. Bovendien is het reconstrueren van de exacte bronbewerking vanuit een regelnummer en mutatiebeschrijving niet triviaal, aangezien een enkele bronregel meerdere kandidaat-operatoren kan bevatten (bijvoorbeeld meerdere optellingen), wat leidt tot ambiguïteit die bytecode-niveau-informatie oplost maar broncode-niveau-tools vaak missen.

Methodologie
PITMuS is een tool ontworpen om deze kloof te overbruggen door broncode-niveau mutanten te reconstrueren uit standaard PIT-rapporten zonder de onderliggende mutatie-engine te vervangen. De workflow integreert drie primaire invoeren:

1. PIT XML-rapport: Identificeert gerapporteerde mutanten.
2. Gecompileerde .class-bestanden: Leveren debuginformatie en details op bytecode-niveau.
3. Originele Java-bronbestanden: Dienen als basis voor reconstructie.

De tool werkt in twee distincte fasen:

• Fase 1: Geautomatiseerde datasetgeneratie
  PITMuS parseert het XML-rapport om mutatiedetails te extraheren. Om ambiguïteiten op te lossen waarbij een regelnummer en beschrijving een bron-token niet uniek identificeren, hanteert de tool een hybride aanpak:

  • Het gebruikt javalang om de originele broncode te parseren en kandidaat-tokens te identificeren.
  • Als er meerdere kandidaten op een regel bestaan, maakt het gebruik van bytecode-informatie uit het gecompileerde classbestand om het exacte doel te pinpointen.
  • Zodra het specifieke token is geïdentificeerd, wordt de mutatie toegepast om de gemuteerde statement te reconstrueren.
  • De tool extrahere vervolgens de omvattende methode, eventuele voorafgaande Javadoc en relevante metadata (mutant-ID, bestandspad, bytecode-index) om een gestructureerd record te vormen: <originele_methode, gemuteerde_methode, documentatie, metadata>.

• Fase 2: Injectie van broncode-niveau mutanten
  Deze fase materialiseert de gereconstrueerde mutanten als daadwerkelijke Java-bronbestanden. PITMuS kopieert het originele bronbestand, vervangt de doelstatement door de gereconstrueerde gemuteerde statement met behoud van inspringing, en valideert het resultaat met javalang-tokenisatie. Injectie kan worden uitgevoerd op vier granulariteiten:

  • Mutatieniveau: Een specifieke mutant per ID.
  • Statementniveau: Alle mutanten geassocieerd met een specifieke statement.
  • Classniveau: Alle mutanten voor een geselecteerde class.
  • Systeemniveau: Alle mutanten over het hele systeem.

Belangrijkste bijdragen
Het paper presenteert de volgende bijdragen:

1. PITMuS Tool: Een systeem dat broncode-niveau mutanten reconstrueert uit standaard PIT-rapporten, waardoor het creëren van gestructureerde datasets mogelijk wordt die paren van defecte/correcte code en documentatiecontext bevatten.
2. Dubbele functionaliteiten: De levering van tools voor zowel injectie van broncode-niveau mutanten (het maken van uitvoerbare bronbestanden) als constructie van datasetrecords op methodeniveau (het genereren van gestructureerde records voor training/evaluatie).
3. Empirische evaluatie: Een uitgebreide evaluatie op acht open-source Java-systemen, die het vermogen van de tool aantoont om een grote hoeveelheid mutaties te verwerken en te reconstrueren.

Resultaten
De evaluatie werd uitgevoerd op acht diverse open-source Java-systemen (waaronder commons-lang3, bcel en jsoup), die domeinen bestrijken van bytecode-engineering tot HTML-parsing.

• Schaal: PITMuS verwerkte 69.229 PIT-mutaties over 1.913 bronbestanden.
• Reconstructiesnelheid: De tool reconstrueerde succesvol 69.198 uitgelijnde paren originele–gemuteerde methoden, met een succespercentage van 99,96%.
• Documentatiecontext: 45.913 (66,35%) van de gereconstrueerde paren bevatten niet-lege Javadoc, waardoor documentatiecontext behouden blijft die cruciaal is voor LLM-training.
• Operatorensprestaties: Zes mutatie-operatoren (VoidMethodCall, NullReturns, TrueReturns, FalseReturns, Increments, InvertNegatives) bereikten 100% reconstructie. De overige operatoren behielden percentages boven de 99,69%. Het hoogste faalpercentage werd waargenomen bij RemoveConditionals (14 fouten van de 35.739).
• Foutanalyse: De 31 niet-reconstrueerbare mutaties (faalpercentage < 0,05%) werden toegeschreven aan mismatches in bronpositie. Deze traden op wanneer meerdere mutaties op bytecode-niveau naar dezelfde bronbewerking mapten (leidend tot het vermijden van duplicaten) of wanneer mutaties voorkwamen in meerregelige expressies waarbij het gerapporteerde regelnummer afweek van de werkelijke regel van de operator.

Betekenis
Het paper stelt dat PITMuS een kritieke behoefte adresseert voor onderzoekers en ontwikkelaars die uitgelijnde paren originele–gemuteerde code en documentatiecontext nodig hebben zonder handmatige verwerking. Door standaard, op rapportniveau gebaseerde mutatieartefacten om te zetten in bruikbare voorbeelden op broncode-niveau, doet PITMuS het volgende:

• Verlaagt de inspanning die nodig is om op mutaties gebaseerde datasets te bouwen.
• Maakt PIT-mutanten toegankelijk voor gebruikers die representaties op broncode-niveau nodig hebben voor empirische studies, modeltraining en tool-evaluatie.
• Biedt een schaalbare, op de cutoff-georiënteerde strategie voor het genereren van nieuwe datasets, waardoor de contaminatierisico's die gepaard gaan met statische benchmarks in het LLM-tijdperk worden mitigeren.

De auteurs benadrukken dat de tool, hoewel geëvalueerd op specifieke systemen, toepasbaar is op elk Java-systeem waarin PIT kan worden geïntegreerd. De code en artefacten zijn als open source uitgebracht onder de Apache 2.0-licentie.