Human-AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing

Die Studie stellt einen agentic-KI-Ansatz vor, der in Zusammenarbeit mit Hacon (Siemens) systemweite Regressionstests direkt aus validierten Spezifikationen generiert und damit den manuellen Aufwand reduziert, während sie die Notwendigkeit menschlicher Aufsicht für Qualität und Wartbarkeit betont.

Das Wesentliche

Hier ist eine einfache Erklärung der Studie, als würde man sie einem Freund beim Kaffee erzählen – ohne Fachchinesisch, aber mit ein paar anschaulichen Bildern.

🚂 Der große Verkehrsplaner und sein neuer Roboter-Kollege

Stell dir vor, Hacon (ein Unternehmen, das Teil von Siemens ist) ist wie ein riesiger, hochmoderner Verkehrsplaner. Sie bauen Software, die Züge, Busse und ganze Städte steuert. Das muss perfekt funktionieren, denn wenn die Software hakt, stehen die Züge still.

Um sicherzustellen, dass alles klappt, testen die Ingenieure ihre Arbeit ständig. Das nennt man Regressionstests. Es ist wie eine riesige Checkliste: „Funktioniert der Bremshebel noch? Geht das Licht an? Kommt der Zug pünktlich an?"

Das Problem: Der Berg an Aufgaben wächst schneller als die Helfer

Früher haben die Ingenieure diese Tests manuell geschrieben. Dann haben sie angefangen, Computerprogramme zu schreiben, die diese Tests automatisch ablaufen lassen. Das ist super, weil es schneller geht.

Aber es gibt ein riesiges Problem: Die Anforderungen ändern sich schneller, als die Tests automatisiert werden können.
Stell dir vor, du hast einen Berg von Briefen (neue Anforderungen), die du in Briefkästen (automatisierte Tests) werfen musst. Deine Hand (der Mensch) ist schnell, aber der Stapel Briefe wächst jeden Tag so schnell, dass du gar nicht mehr hinterherkommst. Du musst am Ende des Tages immer noch hunderte Briefe mit der Hand sortieren. Das kostet Zeit, macht müde und verzögert die Lieferung.

Die Lösung: Ein neuer, unsichtbarer Kollege (der „Agentic AI")

Die Forscher haben sich mit Hacon zusammengetan, um einen KI-Kollegen zu entwickeln. Nennen wir ihn „Robo-Assistent".

Wie funktioniert er?
Stell dir vor, du bist ein Chefkoch. Du hast ein Rezept (die Test-Spezifikation). Normalerweise würdest du selbst den ganzen Teig kneten, die Zutaten schneiden und den Ofen vorheizen.
Der Robo-Assistent ist wie ein junger, fleißiger Lehrling, der dir hilft:

1. Du gibst ihm das Rezept.
2. Er schaut sich in seiner riesigen Bibliothek an, wie andere Rezepte früher gekocht wurden.
3. Er backt den Kuchen (schreibt den Test-Code) und stellt ihn auf den Tisch.
4. Aber: Er backt nicht perfekt. Manchmal hat er zu viel Salz genommen oder den Ofen zu heiß eingestellt.

Der Clou: Der Lehrling arbeitet, während du schläfst oder andere Dinge tust. Wenn du aufstehst, liegt der Kuchen schon da. Du musst ihn nicht von Grund auf neu backen, sondern nur noch korrigieren (den Teig glätten, die Temperatur prüfen).

Was hat die Studie ergeben?

Die Forscher haben diesen Lehrling in der echten Küche getestet und folgende Dinge festgestellt:

1. Der Lehrling ist gut, aber noch nicht fertig
Der Robo-Assistent hat etwa 30 % bis 50 % der Arbeit erledigt. Das ist enorm! Die Ingenieure mussten nicht mehr bei Null anfangen. Der Code war oft schon funktionsfähig, wie ein guter Entwurf eines Junior-Entwicklers.

• Metapher: Der Robo hat das Fundament und die Wände gebaut. Der Mensch muss nur noch die Tapete aufhängen und die Fenster putzen.

2. Der Robo versteht nicht, was „gesagt" wird, sondern nur, was „geschrieben" steht
Das war das größte Problem. Wenn ein Mensch ein Rezept schreibt, denkt er: „Natürlich muss man die Eier zuerst aufschlagen, bevor man sie rührt." Das ist logisch.
Der Robo-Assistent liest aber nur das Wort „Eier rühren". Wenn nicht explizit steht „Eier aufschlagen", rührt er vielleicht ganze Eier.

• Das Ergebnis: Der Robo war oft zu wörtlich. Er verstand nicht die „unausgesprochenen Regeln" oder den Kontext, den ein erfahrener Ingenieur sofort begreift. Die Menschen mussten also immer noch die Feinarbeit machen.

3. Die Zusammenarbeit muss sich anpassen (Co-Adaption)
Am Anfang waren die Ingenieure skeptisch. Aber sie haben gelernt, wie sie mit dem Robo arbeiten müssen:

• Sie müssen ihre Rezepte (Anforderungen) viel klarer und detaillierter schreiben.
• Sie müssen dem Robo nicht blind vertrauen, sondern ihn als Werkzeug nutzen, das Zeit spart, aber nicht entscheidet.
• Der Robo lernt auch dazu, indem er sieht, wie die Menschen seine Fehler korrigieren.

Die wichtigsten Lehren für die Zukunft

Die Studie sagt uns drei Dinge:

1. Klare Anweisungen sind alles: Wenn du einem Roboter etwas befehlen willst, musst du es so genau wie möglich sagen. Keine Andeutungen.
2. Der Mensch bleibt der Chef: Der Robo ist ein toller Assistent, der die langweilige, schwere Arbeit macht. Aber der Mensch muss am Ende prüfen, ob der Kuchen schmeckt. Ohne menschliche Kontrolle ist der Kuchen ungenießbar.
3. Wir müssen uns gegenseitig anpassen: Es funktioniert nicht, wenn wir erwarten, dass der Robo perfekt ist. Es funktioniert nur, wenn wir lernen, besser mit ihm zu kommunizieren und er lernt, unsere Art zu arbeiten zu verstehen.

Fazit

Dieser „Agentic-AI-Teamkollege" ist kein Zauberstab, der alle Probleme löst. Aber er ist wie ein Turbo für die Produktivität. Er nimmt den Ingenieuren den Berg an Arbeit ab, damit sie sich auf das konzentrieren können, was sie am besten können: Denken, Entscheiden und die Qualität sichern.

In einer Welt, in der Software immer komplexer wird, ist so ein digitaler Lehrling nicht mehr nur nett, sondern notwendig – solange wir ihn nicht aus der Hand geben, sondern ihn klug führen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Human–AI Collaboration for Scaling Agile: Regression Testing – An Agentic-AI Teammate" auf Deutsch:

Titel und Kontext

Das Paper beschreibt eine Zusammenarbeit zwischen dem Institut für Software- und Systemtechnik der Technischen Universität Clausthal und Hacon (einem Siemens-Unternehmen). Es untersucht den Einsatz eines agenticen KI-Systems („AI Teammate"), um die Lücke zwischen manueller Testspezifikation und automatisierten Regressionstests in agilen Umgebungen zu schließen.

1. Problemstellung

In großen, agilen Softwareorganisationen wie Hacon führt die hohe Geschwindigkeit der Anforderungsentwicklung zu einem chronischen Engpass:

• Das Automatisierungsdilemma: Manuelle Testspezifikationen werden schneller erstellt, als sie in ausführbare Skripte umgewandelt werden können.
• Folgen: Trotz stetiger Investitionen in Automatisierung machen manuelle Tests weiterhin 82–87 % des Gesamttestvolumens aus. Der Anteil automatisierter Tests steigt pro Release nur um 1–2 %, während die absolute Anzahl manueller Tests um 10–20 % wächst.
• Herausforderung: Dies führt zu erhöhtem manuellem Aufwand, verzögerten Feedback-Zyklen und gefährdet die Prinzipien des agilen „Continuous Delivery".
• Forschungslücke: Bisherige KI-Ansätze (LLMs) ignorieren oft die spezifischen Anforderungen von Regressionstests (Wartbarkeit, Assertion-Spezifität, Projekt-Konventionen) und die menschlichen Faktoren der Zusammenarbeit.

2. Methodik und Systemarchitektur

Die Autoren entwickelten den „Hacon Test Automation Copilot", ein agentices KI-System, das als autonomer, asynchroner Mitarbeiter fungiert.

• Architektur: Das System basiert auf einer retrieval-augmented generation (RAG)-Strategie innerhalb eines bounded multi-agent workflows (begrenzter Multi-Agenten-Workflow).
• Prozessablauf:
  1. Input: Validierte Testspezifikationen (aus Jira als JSON) werden in einen Eingabeordner gelegt.
  2. Orchestrierung: Eine Orchestrierungsschicht steuert einen Zyklus aus Generierung, Ausführung und Evaluation.
  3. Agenten-Rollen:
     • Generator-Agent: Erzeugt erste Entwürfe von Testszenarien basierend auf historischen Spezifikations-Skript-Paaren (via RAG).
     • Evaluator-Agent: Analysiert die Ausführung in einer dedizierten Jenkins-Umgebung auf syntaktische Korrektheit, Ausführbarkeit, Abdeckung und semantische Richtigkeit.
     • Reporter-Agent: Fasst Ergebnisse in strukturierten Markdown-Berichten zusammen (einer für Manager, einer für Testingenieure).
  4. Human-in-the-Loop: Die KI arbeitet asynchron vor dem Sprint. Testingenieure erhalten die Entwürfe zur Prüfung, Refaktorisierung oder Übernahme. Die KI hat keine autonome Schreibberechtigung im Regressionstest-Suite; die finale Freigabe liegt beim Menschen.

3. Wichtige Beiträge (Contributions)

1. Industrielle Charakterisierung: Eine fundierte Analyse der Lücke zwischen manueller Spezifikation und Automatisierung in der industriellen Praxis.
2. Konkrete Architektur: Ein nachweisbares Design eines agenticen KI-Systems für die Testskript-Generierung, integriert in CI/CD-Pipelines.
3. Industrielle Evaluation: Eine gemischte Methodik (Mixed-Method), die Produktivitätsgewinne, Output-Qualität und Kollaborationspraktiken bewertet.
4. Praktische Implikationen: Leitlinien für nachhaltige Mensch-KI-Kollaboration im agilen Testengineering.

4. Ergebnisse und Evaluation

Die Evaluation basierte auf 61 Testspezifikationen (Xray-Format) und einem Survey mit 5 Testingenieuren, die 46 generierte Skripte überprüften.

• Produktivitätsgewinn:
  • 30–50 % des von der KI generierten Codes wurden von den Ingenieuren unverändert übernommen.
  • Die KI reduzierte die Zeit für die initiale Autorenschaft erheblich und fungierte effektiv wie ein „Junior-Tester", der den ersten Entwurf liefert.
• Qualität und Grenzen:
  • Literalismus: Die KI interpretierte Spezifikationen oft zu wörtlich und verstand implizites Domänenwissen oder informelle Konventionen nicht.
  • Standards: Generierter Code entsprach oft nicht den internen Coding-Standards (z. B. fehlende Trennung von Testdaten, keine try-catch-Blöcke, halluzinierte API-Namen).
  • Korrekturbedarf: Ingenieure mussten semantische Lücken schließen und Code-Strukturen an die Team-Kultur anpassen.
• Kollaborationskultur:
  • Es entstand ein Prozess der Co-Adaptation: Ingenieure passten ihre Review-Praktiken an (z. B. kritischere Prüfung der Markdown-Berichte), während das System lernte, wo menschliches Eingreifen nötig ist.
  • Die Spezifikationen, die für Menschen klar waren, reichten für die KI oft nicht aus, da ihnen der Kontext fehlte.

5. Signifikanz und Lessons Learned

Das Paper zeigt, dass KI in der Regressionstest-Automatisierung nicht als Ersatz, sondern als kollaborativer Assistent fungieren muss.

• Klarheit ist fundamental: Die Effektivität der KI hängt direkt von der Präzision und Vollständigkeit der menschlichen Spezifikationen ab.
• Mensch führt, KI folgt: Die KI liefert Entwürfe, aber der Mensch trifft die Entscheidungen und sorgt für die Einhaltung von Standards und Domänenlogik.
• Review ist unverzichtbar: Menschliche Aufsicht ist essenziell, um semantische Fehler und Stilprobleme zu korrigieren.
• Co-Adaptation: Nachhaltige Produktivitätsgewinne erfordern, dass sich sowohl das Team (in seinen Prozessen) als auch die KI (durch Feedback-Schleifen) gegenseitig anpassen.

Fazit: Das agenticen KI-System hat das Potenzial, den Automatisierungsengpass signifikant zu verringern, indem es den ersten Schritt der Skripterstellung übernimmt. Der Erfolg hängt jedoch von einer gut gestalteten Mensch-KI-Interaktion ab, bei der die KI als „silent teammate" agiert, der menschliche Experten jedoch die Kontrolle über Qualität und Governance behalten.