Automated Test Suite Enhancement Using Large Language Models with Few-shot Prompting

Probleemstelling

Unit testing is essentieel voor softwarekwaliteit, maar het handmatig schrijven van tests is tijdrovend en arbeidsintensief. Traditionele geautomatiseerde methoden, zoals zoekgebaseerde softwaretesting (SBST), genereren vaak tests die weliswaar goede code-coverage bieden, maar gebrekkig zijn in leesbaarheid, natuurlijkheid en praktisch gebruiksgemak.

Hoewel Large Language Models (LLMs) veelbelovend zijn voor het genereren van code, blijft hun potentieel voor het genereren van unit tests via few-shot prompting (het leren van voorbeelden in de prompt) onderbelicht. Bestaande studies focussen vaak op zero-shot prompting. Er is een kritiek gat in het begrip van hoe de bron van de voorbeelden (menselijk, SBST of LLM) en de selectiemethode (willekeurig vs. op basis van relevantie) de kwaliteit van de gegenereerde tests beïnvloeden. Daarnaast is het een praktisch probleem dat softwareprojecten vaak een hybride testset hebben (menselijk en automatisch gegenereerd) die geoptimaliseerd moet worden zonder redundantie.

Methodologie

De auteurs hebben een empirisch onderzoek uitgevoerd om de effectiviteit van few-shot prompting te evalueren voor het verbeteren van bestaande test suites.

• Model en Datasets: Het onderzoek gebruikte GPT-4o (geïntegreerd in GitHub Copilot) op de HumanEval en ClassEval datasets. ClassEval is complexer dan HumanEval omdat het cross-file referenties vereist.
• Data-constructie: Voor elk benchmark werden drie bronnen van voorbeeldtests gegenereerd:
  1. Menselijk: Originele tests (geconverteerd naar pytest).
  2. SBST: Tests gegenereerd door Pynguin (een traditioneel SBST-tool).
  3. LLM: Tests gegenereerd door GPT-4o met zero-shot prompting.
• Prompt Design: De prompts bevatten een systeemprompt (rolpatroon) en een gebruikersprompt met de te testen klasse en 5 voorbeeldtests (gebaseerd op voorlopige experimenten).
• Selectietechnieken (RQ2): De auteurs vergeleken verschillende methoden om de voorbeeldtests te selecteren:
  • Willekeurig: Uit de hele testset of alleen uit de klasse onder test (CUT).
  • Op basis van similariteit: Gebruikmakend van TF-IDF en cosine similarity op:
    • Probleembeschrijving (tekst).
    • Broncode.
    • Een combinatie van probleem en broncode.
• Validatie en Reparatie: Een "Assured-LLMSE"-pipeline werd gebruikt. Dit omvatte syntactische validatie, compilatie en uitvoering. Tests die faalden ondergingen een regelgebaseerde reparatie (bijv. ontbrekende imports toevoegen, onvolledige outputs verwijderen, syntaxfouten corrigeren).
• Evaluatiemetrics:
  • Functionele correctheid: Syntactisch correct, compileerbaar, en uitvoerbaar (pass rate).
  • Coverage: Line coverage en branch coverage.
  • Kwaliteit van testcode: Cyclomatische complexiteit, cognitieve complexiteit, testgeuren (code smells) en technische schuld.

Belangrijkste Bijdragen

1. Empirisch Onderzoek naar Bronnen: Het paper is een van de eerste studies die systematisch vergelijkt hoe de herkomst van few-shot voorbeelden (mens vs. SBST vs. LLM) de kwaliteit van de output beïnvloedt.
2. Automatische Selectie: Evaluatie van geautomatiseerde, retrieval-gebaseerde selectiemethoden versus willekeurige selectie voor het kiezen van de beste voorbeelden.
3. Hybride Benadering: In plaats van een volledig nieuwe testset te genereren, richt het onderzoek zich op het verrijken (enhancement) van bestaande test suites, wat praktischer is voor bestaande codebases.
4. Uitgebreide Metingen: Het gaat verder dan alleen correctheid en coverage door ook leesbaarheid, cognitieve complexiteit en technische schuld te meten.

Resultaten

• Effect van Bronnen (RQ1 & RQ3):
  • Correctheid: Na regelgebaseerde reparatie behaalden alle bronnen hoge pass-rates (>75%). SBST-voorbeelden leverden oorspronkelijk de meeste correcte tests op, maar menselijke voorbeelden resulteerden na reparatie in de hoogste correctheid.
  • Coverage: Menselijke voorbeelden leverden consistent de beste coverage op (bijna 100% op HumanEval). Interessant genoeg leverden SBST-voorbeelden de grootste verbetering op voor bestaande test suites die al een lage coverage hadden, omdat ze nieuwe paden ontdekten die menselijke tests misten.
  • Kwaliteit: Tests gegenereerd met menselijke voorbeelden hadden een hogere cognitieve complexiteit (complexere logica), maar waren over het algemeen beter leesbaar.
• Effect van Selectietechnieken (RQ2 & RQ4):
  • De selectiemethode had weinig invloed op de functionele correctheid.
  • Voor coverage was de methode "Probleem + Broncode Similariteit" (combinatie van tekstuele beschrijving en code) de meest effectieve. Deze methode leverde consistent de hoogste branch coverage op.
  • Willekeurige selectie uit de klasse onder test ("Random from Class") presteerde slecht, waarschijnlijk door bias naar bestaande testpatronen.
• Test Suite Optimalisatie:
  • Het toevoegen van LLM-genereren tests aan bestaande suites verbeterde de coverage aanzienlijk, vooral bij de SBST-baselines.
  • De cyclomatische complexiteit nam toe bij optimalisatie, wat aangeeft dat er meer testpaden werden toegevoegd, maar de technische schuld bleef beperkt.

Betekenis en Conclusies

Het paper concludeert dat LLMs zeer effectief zijn voor het genereren van functionele, leesbare unit tests wanneer ze worden begeleid door few-shot prompting.

• Praktische Implicaties: LLM-genereren tests moeten niet als vervanging, maar als aanvulling op menselijke test suites worden gezien. Voor het verbeteren van lage coverage zijn SBST-voorbeelden soms beter, maar voor de uiteindelijke kwaliteit en leesbaarheid zijn menselijke voorbeelden superieur.
• Prompt Engineering: De beste strategie is het gebruik van retrieval-based selection waarbij zowel de probleemomschrijving als de broncode worden gebruikt om de meest relevante voorbeelden te vinden.
• Validatie is Cruciaal: Hoewel LLMs veel tests genereren, vereist een groot deel nog steeds lichte reparatie (imports, syntax). Een pipeline met validatie en regelgebaseerde reparatie is essentieel voor betrouwbare resultaten.
• Toekomst: Het onderzoek benadrukt de noodzaak van diverse benchmarks (zoals ClassEval) om de complexiteit van real-world software beter te evalueren dan alleen eenvoudige code-challenges.

Samenvattend biedt dit onderzoek een blauwdruk voor het bouwen van hybride AI-menselijke workflows voor softwaretesting, waarbij de kracht van LLMs wordt benut om gaten in de testcoverage te dichten zonder de leesbaarheid en onderhoudbaarheid van de codebase te schaden.