Human-AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing

Dit paper presenteert een agentic-AI-systeem dat in samenwerking met Hacon (Siemens) automatisch testscripts genereert op basis van specificaties, waardoor de regressietestcapaciteit in agile omgevingen aanzienlijk wordt verhoogd terwijl menselijke toezicht en kwaliteit behouden blijven.

De kern

Stel je voor dat je een gigantisch, levend gebouw bouwt: een softwareprogramma voor treinen en buslijnen. Elke week komen er nieuwe kamers, nieuwe deuren en nieuwe regels bij. Om te zorgen dat het hele gebouw veilig blijft, moeten de bouwmeesters (de ontwikkelaars) constant controleren of de oude deuren nog goed sluiten en of de nieuwe deuren niet de oude muren beschadigen. Dit noemen ze regressietesten.

In het verleden deden mensen dit handmatig. Ze liepen door het gebouw, openden deuren en schreven op wat er gebeurde. Maar het gebouw groeide zo snel, dat de mensen niet meer bij konden. Ze schreven meer testregels dan dat ze er tijd voor hadden om ze uit te voeren. Het resultaat? Een enorme berg werk en vertraging.

Hier komt dit onderzoek van Hacon (een Siemens-bedrijf) en de TU Clausthal in beeld. Ze hebben een AI-assistent bedacht die fungeert als een "stille teamgenoot". Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Schrijvers" vs. De "Bouwers"

Stel je voor dat je een team hebt van architecten (die de testregels schrijven) en bouwers (die de tests in de computer zetten).

• De architecten zijn razendsnel. Ze tekenen elke dag nieuwe plannen.
• De bouwers zijn traag. Het kost hen veel tijd om die plannen om te zetten in echte, werkende muren en deuren (de scripts).
• Het resultaat: Er ligt een enorme berg ongebruikte plannen op de grond. De bouw vertraagt.

2. De Oplossing: De "AI-Bouwknecht"

De onderzoekers hebben een AI-teamgenoot gebouwd. Denk hierbij niet aan een robot die de hele bouw overneemt, maar meer als een super-snelle, maar nog wat onervaren leerling-bouwknecht.

• Hoe werkt het? De architecten geven hun plannen (testregels) aan de AI. De AI pakt deze plannen, kijkt naar oude, werkende bouwplannen in de archieven (dit noemen ze Retrieval-Augmented Generation of RAG), en probeert zelf een eerste versie van de bouwplannen te maken.
• De "Stille" Teamgenoot: De AI werkt 's nachts of in de achtergrond. Ze maakt geen lawaai in het kantoor. Als de menselijke bouwers 's ochtends komen, ligt er al een stapel met eerste concepten klaar.

3. De Samenwerking: De Mens als Hoofdbouwer

Dit is het belangrijkste deel: De AI bouwt niet alleen.

• De AI maakt een "eerste opzet". Het is alsof de AI een ruwe schets maakt van een kamer. De muren staan er, de ramen zijn er, maar de verf is misschien verkeerd en de deuren hangen scheef.
• De menselijke bouwer (de testengineer) kijkt naar deze schets. Ze zeggen: "Goed gedaan, AI! Maar deze deur moet hier staan, en we gebruiken een andere verf."
• Het resultaat: De mens hoeft niet meer bij nul te beginnen. Ze hoeven alleen maar te verbeteren en controleren. Dit bespaart enorm veel tijd.

4. Wat leerden ze? (De Lessen)

Uit het onderzoek kwamen een paar belangrijke lessen naar voren, die we kunnen vergelijken met het werken met een nieuwe stagiair:

• De instructies moeten perfect zijn: Als de architect (de mens) een vaag plan schrijft ("Zet ergens een raam"), maakt de AI een raam op een rare plek. De AI begrijpt geen "onzichtbare regels" die mensen wel begrijpen. Mensen moeten heel duidelijk zijn.
• De AI is letterlijk: De AI doet precies wat er staat, maar mist de "geest" van de zaak. Soms maakt de AI iets dat technisch klopt, maar niet slim is. De mens moet de "slimme knoppen" er nog op drukken.
• De mens is de chef: De AI mag nooit zelf beslissen of een gebouw veilig is. De mens moet altijd de laatste handtekening zetten. De AI is een hulpmiddel, geen vervanging.
• Samen leren: De mensen leerden van de AI (ze werden sneller in het controleren) en de AI leerde van de mensen (door hun feedback te gebruiken). Dit noemen ze "co-adaptatie": ze groeien samen.

Conclusie

Kortom: Dit onderzoek laat zien dat je een AI-assistent kunt gebruiken om de enorme berg werk van het omzetten van testregels naar werkende software te verkleinen.

Het is alsof je een snelle, maar wat stijve stagiair hebt die de zware, saaie klusjes doet (het schrijven van de eerste versie), zodat jij als ervaren meester-bouwer je tijd kunt besteden aan het controleren van de kwaliteit en het maken van slimme keuzes. Het maakt het bouwen van software sneller, maar het vereist wel dat je als mens duidelijk blijft in wat je wilt en dat je nooit je verantwoordelijkheid uit handen geeft.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Human–AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing" in het Nederlands.

Probleemstelling

In grote, agile softwareorganisaties zoals Hacon (een Siemens-bedrijf) is er een groeiende kloof tussen de snelheid waarmee nieuwe testspecificaties worden gegenereerd en het vermogen om deze om te zetten in uitvoerbare, geautomatiseerde testscripts.

• De Bottleneck: Hoewel de automatische testdekking met 1-2% per release groeit, nemen de manuele tests met 10-20% per release toe. Manuele tests vormen nog steeds 82-87% van de totale testset.
• Gevolg: Dit leidt tot een toename van manuele testinspanning, vertraagde feedbackcycli en een uitdaging voor de agile principes van snelle levering en duurzame kwaliteit.
• Huidige beperkingen: Bestaande AI-oplossingen (zoals LLM's) missen vaak de nuance van onderhoudbaarheid, specifieke asserties en projectconventies, en adresseren niet voldoende de menselijke factoren van governance en samenwerking in echte teams.

Methodologie en Architectuur

De auteurs hebben een agentic AI-architectuur ontwikkeld en geïntegreerd in de agile workflow van Hacon, genaamd de "Hacon Test Automation Copilot".

1. Architectuur (Multi-Agent Systeem):
Het systeem werkt als een "stil teamlid" dat asynchroon werkt en bestaat uit een gebonden multi-agent workflow:

• Orchestrator: Coördineert de workflow en bepaalt of de cyclus (generatie-execute-evaluatie) moet worden voortgezet, gebaseerd op iteratielimieten en CI-beschikbaarheid.
• Generator Agent: Gebruikt Retrieval-Augmented Generation (RAG) over historische paren van specificaties en scripts om kandidaat-scripts te genereren.
• Evaluator Agent: Analyseert uitvoeringslogboeken (Jenkins) en controleert op syntactische juistheid, uitvoerbaarheid, semantische correctheid en verbeterpotentieel.
• Reporter Agent: Genereert gestructureerde Markdown-rapporten voor zowel de testmanager als de testengineer, inclusief uitvoeringstraces (MLflow).

2. Integratie in de Agile Workflow:

• Input: Validated testspecificaties (uit Jira in JSON-formaat) worden in een input-map geplaatst.
• Verwerking: De Copilot genereert proactief een eerste versie van scripts voor de komende sprint, inclusief Jenkins-logs en samenvattingen.
• Menselijke Rol: Testengineers fungeren als reviewers. Ze beoordelen de gegenereerde scripts, beslissen over acceptatie, refactoring of herschrijven, en integreren deze pas na goedkeuring in de regressiesuite.
• Governance: De AI heeft gebonden autonomie; geen enkel artifact wordt zonder menselijke goedkeuring in de suite opgenomen.

Belangrijkste Bijdragen

1. Industriële Karakterisering: Een gedetailleerde analyse van de kloof tussen manuele en geautomatiseerde testen in een grote industriële setting.
2. Agentic AI Architectuur: Een concrete, industriële implementatie van een multi-agent systeem voor het genereren van testscripts met RAG.
3. Evaluatie: Een vroege industriële evaluatie die productiviteitswinst, outputkwaliteit en collaboratiepraktijken onderscheidt.
4. Praktische Implicaties: Inzicht in hoe mens-AI samenwerking (Human-AI Collaboration) kan worden geschaald in agile testengineering.

Resultaten en Evaluatie

De evaluatie vond plaats met 61 testspecificaties (Xray-formaat) en omvatte een survey onder 5 testengineers en semantische reviews van 46 gegenereerde scripts.

Kernbevindingen:

• Productiviteitswinst: 30-50% van de gegenereerde code per script bleef ongewijzigd door de engineers. De AI fungeerde effectief als een "junior tester" die het eerste draft levert, wat de initiële schrijftijd aanzienlijk verkort.
• Kwaliteitsuitdagingen:
  • De AI interpreteerde specificaties vaak te letterlijk en miste impliciete domeinkennis en informele conventies.
  • De gegenereerde scripts voldeden vaak niet aan interne code-standaards (bijv. scheiding van testdata, gebruik van try-catch blokken) en bevatten soms "hallucinaties" (niet-bestaande methoden/API's).
  • Menselijke engineers moesten vaak de logica aanpassen of bestaande code-snippets vervangen, ondanks dat de functionele logica van de AI correct was.
• Samenwerking en Co-adaptatie:
  • Er is een dynamisch leerproces gaande. Engineers passen hun reviewpraktijken aan (bijv. kritischer kijken naar de Markdown-rapporten) en leren waar de AI betrouwbaar is.
  • De kwaliteit van de input (specificaties) is cruciaal; zelfs goed beoordeelde specificaties (A-B) bleken soms te vaag voor de AI zonder expliciete domeincontext.

Betekenis en Conclusie

Het artikel concludeert dat agentic AI een waardevolle partner is voor het schalen van regressietesten, maar geen vervanging voor menselijke expertise.

• Mens leidt, AI volgt: De AI is uitstekend in het genereren van eerste concepten en het uitvoeren van repetitief werk, maar menselijke review is onmisbaar voor semantische correctheid, naleving van code-standaards en het interpreteren van impliciete kennis.
• Co-adaptatie is essentieel: Succesvolle integratie vereist dat zowel het AI-systeem (via feedbackloops) als het menselijke team (via verbeterde specificatiepraktijken) zich aanpassen aan elkaar.
• Toekomstperspectief: Verdere verbetering vereist gespecialiseerde agents voor diepere semantische evaluatie en het standaardiseren van teststap-beschrijvingen om de kloof tussen specificatie en script verder te dichten.

Kortom, de oplossing biedt een haalbare route om de automatiseringskloof te dichten, mits er een sterke governance-structuur en een cultuur van gezamenlijke aanpassing (co-adaptation) binnen het agile team aanwezig is.