Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation

Probleemstelling

De toenemende adoptie van prompt-gebaseerde automatisering in softwaretesten roept belangrijke vragen op over de computationele en milieu-impact van deze praktijken. Bestaande duurzaamheidsstudies in AI-gedreven testen richten zich voornamelijk op Large Language Models (LLMs), waardoor de impact van prompt-engineeringstrategieën grotendeels onontgonnen terrein blijft, met name in de context van Small Language Models (SLMs).

Hoewel promptontwerp direct de inferentie-gedrag, uitvoeringskosten en hulpbronnengebruik beïnvloedt, zelfs bij een vast modelformaat, ontbreekt er een systematische evaluatie die promptstrategieën koppelt aan duurzaamheidsmetrieken. Er is een kritieke kennislacune: hoe beïnvloedt de keuze van een promptstrategie de balans tussen testkwaliteit (gedekt door code coverage) en de ecologische kosten (energie, CO2-uitstoot) bij het genereren van automatische tests met SLM's?

Methodologie

De auteurs hebben een systematisch experimenteel kader opgezet om zeven verschillende promptstrategieën te evalueren over drie open-source SLM's.

1. Experimenteel Kader:

• Dataset: Het gebruikte dataset is MBPP (Mostly Basic Python Problems), bestaande uit Python-taken die geschikt zijn voor automatische testgeneratie.
• Modellen: Drie open-source SLM's met 4-bit kwantisatie (om resource-beperkte inferentie te simuleren):
  • Meta-Llama-3-8B-Instruct
  • DeepSeek-Coder-7B-Instruct-v1.5
  • Mistral-7B-Instruct-v0.3
• Promptstrategieën: Zeven strategieën werden getest:
  • Eenvoudig: Zero-shot, Few-shot.
  • Redenering-gebaseerd: Chain-of-Thought (CoT), Least-to-Most (LtM), Program-of-Thought (PoT), Self-Consistency CoT (SC_CoT), ReAct.
• Omgeving: Experimenten uitgevoerd op Google Colab met een NVIDIA A100 GPU. Alle modellen werden geladen met 4-bit kwantisatie (NF4) en onder identieke generatieparameters (temperatuur 0.2, top-p 0.9, max 1024 tokens).

2. Gebruikte Metrieken:
De evaluatie combineert uitvoeringsmetrieken met duurzaamheidsindicatoren:

• Primair: Uitvoeringstijd ($\tau$), token-aantal ($T$), energieconsumptie (CPU, GPU, RAM in kWh), CO2-uitstoot (via CodeCarbon), en genormaliseerde testcoverage ($Q$ via coverage.py).
• Afgeleid: Efficiëntiemetrieken genormaliseerd per 1.000 tokens (tijd, energie, CO2) en per eenheid coverage (coverage per kWh, coverage per kg CO2).
• Trade-off Score (SQScore): Een samengestelde metriek die coverage en duurzaamheidskosten (energie, CO2, tijd) combineert om de efficiëntie van de strategie te kwantificeren onder verschillende prioriteringen (eco-first, gebalanceerd, kwaliteit-first).

Belangrijkste Bijdragen

1. Eerste Systematische Evaluatie: Dit is, naar weten van de auteurs, het eerste werk dat een systematische duurzaamheids-evaluatie biedt voor prompt-engineeringstrategieën specifiek voor automatische testgeneratie met SLM's.
2. Integreerd Kader: Het introduceert een framework dat tokengebruik, uitvoeringstijd, energie, CO2-uitstoot en testkwaliteit (coverage) in één analyse combineert.
3. Empirische Vergelijking: Het biedt een gecontroleerde vergelijking van zeven veelgebruikte promptstrategieën over drie verschillende modelarchitecturen, waardoor de impact van de prompt zelf van de modelkeuze kan worden geïsoleerd.

Resultaten

De resultaten tonen aan dat de keuze van de promptstrategie een substantiële en onafhankelijke impact heeft op de duurzaamheid, vaak belangrijker dan de keuze van het model zelf.

• Uitvoeringstijd en Kosten: Redenerings-intensieve strategieën zoals Self-Consistency (SC_CoT) en Chain-of-Thought (CoT) leiden tot aanzienlijk langere uitvoeringstijden en hogere energie- en CO2-kosten. SC_CoT kan bijvoorbeeld tot 23-27 uur uitvoeringstijd kosten, vergeleken met 6-10 uur voor lichtere strategieën.
• Testkwaliteit (Coverage): Hoewel complexe strategieën soms een iets hogere coverage opleveren, zijn de winsten niet evenredig met de toegenomen kosten. Few-shot en Zero-shot bieden vaak concurrerende coverage (bijv. 0.92–0.98) tegen een veel lagere prijs.
• Efficiëntie per Token: Strategieën zoals Few-shot en Least-to-Most (LtM) tonen de beste token-efficiëntie (hoge doorvoer, lage tijd/energie per 1.000 tokens). Redenerings-strategieën verminderen de effectieve token-generatiesnelheid.
• Trade-off Score (SQScore):
  • Few-shot en LtM behalen over het algemeen de hoogste SQScores, wat betekent dat ze de beste balans bieden tussen testkwaliteit en duurzaamheid.
  • SC_CoT behaalt consequent de laagste scores. De extra computationele en milieu-kosten worden niet gecompenseerd door een evenredige toename in testkwaliteit.
  • Zero-shot en ReAct bieden een goede middenweg, met name Zero-shot voor zeer lage kosten.

Betekenis en Conclusie

De studie concludeert dat promptontwerp een cruciale, actiebare factor is voor het duurzaam maken van softwaretesten.

• Onafhankelijkheid van Model: De duurzaamheidsuitkomsten worden sterk bepaald door de promptstrategie, ongeacht het gebruikte SLM.
• Diminishing Returns: Het verhogen van de redeneringscomplexiteit (bijv. via SC_CoT) leidt tot afnemende meeropbrengsten in testkwaliteit, terwijl de ecologische voetafdruk exponentieel toeneemt.
• Praktische Implicatie: Voor organisaties die gericht zijn op "Green AI" en kostenefficiëntie, blijken eenvoudige of licht gestructureerde prompts (zoals Few-shot of LtM) superieur te zijn aan complexe redeneringsketens voor de taak van automatische testgeneratie.

De auteurs pleiten voor een verschuiving in de evaluatie van AI-gedreven testen: van puur focussen op effectiviteit (coverage) naar een holistische benadering die de milieu-impact van de gekozen promptstrategie meeweegt. Toekomstig werk zal zich richten op het uitbreiden van de benchmarks en het ontwikkelen van adaptieve prompt-selectie mechanismen.