Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, eine riesige, chaotische Bibliothek zu organisieren, in der jedes Buch ein Software-Test ist, der in einer speziellen Sprache namens Gherkin geschrieben wurde. Diese Tests erzählen eine Geschichte: „Angenommen dies, Wenn das, Dann dies."

Im Laufe der Zeit haben die Bibliothekare (Entwickler) Tausende dieser Geschichten verfasst. Doch sie haben einen riesigen Fehler gemacht: Sie kopieren und fügen dieselben Absätze immer wieder ein. Manchmal ändern sie hier oder dort ein Wort („Klicken Sie auf die Schaltfläche" vs. „Drücken Sie die Schaltfläche"), aber die Bedeutung ist exakt dieselbe. Dies macht die Bibliothek aufgebläht, schwer lesbar und zu einem Albtraum bei Updates. Wenn Sie ändern müssen, wie eine Schaltfläche funktioniert, müssen Sie sie an hunderten verschiedenen Stellen finden und korrigieren.

Diese Arbeit handelt davon, einen intelligenten Roboter-Bibliothekar zu bauen, der diese repetitiven Absätze finden, herausfinden kann, welche einer Bereinigung wert sind, und Ihnen genau sagt, wie man sie korrigiert.

Hier ist der Aufbau der Arbeit, unter Verwendung einfacher Analogien:

1. Das Problem: Das „Kopieren-Einfügen"-Chaos

In der Vergangenheit konnten Forscher nur feststellen, ob eine ganze Geschichte (ein vollständiges Testszenario) eine Kopie war. Doch das eigentliche Chaos findet in der Mitte der Geschichten statt.

• Die Analogie: Stellen Sie sich zwei Romane vor, bei denen die ersten drei Kapitel identisch sind, der Rest jedoch unterschiedlich. Ein einfacher Scanner könnte dies übersehen, weil das gesamte Buch keine Kopie ist.
• Die Lösung der Arbeit: Sie untersuchten kleine Textabschnitte, sogenannte „Slices" (Gruppen von 2 bis 18 aufeinanderfolgenden Schritten). Sie fanden über 5 Millionen dieser Slices in 339 verschiedenen Softwareprojekten.

2. Die „Paraphrasierungs"-Herausforderung

Der Roboter-Bibliothekar kann nicht nur nach exakten Textübereinstimmungen suchen. Entwickler formulieren Dinge oft um.

• Die Analogie: Wenn eine Person schreibt „Der Benutzer meldet sich an" und eine andere schreibt „Der Kunde loggt sich ein", sieht eine einfache Suchmaschine zwei verschiedene Dinge. Ein Mensch weiß jedoch, dass sie dasselbe bedeuten.
• Die Lösung der Arbeit: Sie verwendeten eine spezielle KI (genannt SBERT), die die Bedeutung hinter den Wörtern versteht, nicht nur die Rechtschreibung. Sie gruppiert Slices zusammen, die dasselbe bedeuten, auch wenn die Wörter unterschiedlich sind. Dies ist vergleichbar damit, alle Synonyme zusammenzufassen, damit der Bibliothekar das Muster klar erkennt.

3. Die drei Wege, das Chaos zu beheben

Sobald der Roboter einen repetitiven Slice findet, muss er entscheiden, wie er ihn beheben soll. Die Arbeit identifiziert drei spezifische „Werkzeuge" für diese Aufgabe, abhängig davon, wo die Wiederholung auftritt:

• Werkzeug A: Der „Hintergrund" (Innerhalb einer einzelnen Datei)

  • Analogie: Wenn jede Geschichte in einem bestimmten Buch mit denselben drei Sätzen beginnt, schreiben Sie sie nicht in jedem Kapitel neu. Sie schreiben sie einmal ganz oben im Buch als „Hintergrund"-Hinweis.
  • Wann zu verwenden: Wenn dieselben Schritte innerhalb einer einzigen Datei wiederholt werden.

• Werkzeug B: Das „Wiederverwendbare Kapitel" (Innerhalb eines Projekts)

  • Analogie: Wenn eine bestimmte Abfolge von Ereignissen in 50 verschiedenen Büchern derselben Bibliothek vorkommt, schreiben Sie diese Abfolge einmal in ein Buch mit „Wiederverwendbaren Kapiteln". Dann schreiben Sie in den anderen 50 Büchern einfach „Siehe Wiederverwendbares Kapitel 4".
  • Wann zu verwenden: Wenn dieselben Schritte über verschiedene Dateien desselben Softwareprojekts hinweg wiederholt werden.

• Werkzeug C: Der „Universale Befehl" (Über verschiedene Unternehmen hinweg)

  • Analogie: Wenn Sie feststellen, dass fast jede Bibliothek der Welt denselben genauen Ausdruck für „Anmelden" verwendet, erstellen Sie einen universalen Wörterbucheintrag dafür. Jede Bibliothek kann einfach sagen „Universales Anmelden verwenden".
  • Wann zu verwenden: Wenn dieselben Schritte über völlig verschiedene Softwareprojekte hinweg wiederholt werden, die verschiedenen Personen oder Unternehmen gehören.

4. Das „intelligente Gehirn" (Maschinelles Lernen vs. LLMs)

Die Autoren mussten dem Roboter beibringen, welche repetitiven Slices tatsächlich einer Korrektur wert sind. Nicht jede Wiederholung ist nützlich; einige sind nur langweilige, triviale Dinge (wie „Status 200", was einfach „es hat funktioniert" bedeutet).

• Das Training: Sie engagierten drei menschliche Experten, um 200 zufällige Slices zu prüfen und zu entscheiden: „Ist dies einer Korrektur wert?" und „Welches Werkzeug (A, B oder C) sollten wir verwenden?"
• Der Wettbewerb: Sie trainierten ein intelligentes Computermodell (genannt XGBoost), um von diesen Menschen zu lernen. Anschließend stellten sie es gegen zwei andere „KI-Richter" (Large Language Models, oder LLMs) auf die Probe.
• Das Ergebnis: Das XGBoost-Modell war der klare Gewinner.
  • Der menschliche Experte (XGBoost): Lag 89 % der Zeit richtig.
  • Die KI-Richter (LLMs): Lag nur 73 % bzw. 59 % der Zeit richtig.
  • Warum? Die LLMs waren zu vorsichtig. Sie sagten oft „Nein, korrigieren Sie dies nicht", selbst wenn es eine gute Idee war, während das spezialisierte Modell genau gelernt hatte, wonach die Menschen suchten.

5. Die großen Erkenntnisse

Nachdem sie diesen Roboter auf die riesige Bibliothek mit 1,1 Millionen Testschritten laufen ließen, fanden sie Folgendes:

• Wiederholung ist allgegenwärtig: Etwa 75 % der Testdateien enthalten repetitive Abschnitte, die mit Werkzeug A (Hintergrund) bereinigt werden könnten.
• Wiederholung über Dateien hinweg ist üblich: Etwa 60 % der Projekte enthalten Abschnitte, die mit Werkzeug B (Wiederverwendbares Kapitel) bereinigt werden könnten.
• Wiederholung über Unternehmen hinweg ist selten, aber real: Nur etwa 12 % der Projekte enthalten Abschnitte, die so universell sind, dass sie über verschiedene Unternehmen hinweg geteilt werden könnten (Werkzeug C).
• Die „gleicher Eigentümer"-Falle: Sie stellten fest, dass viele „über-Unternehmens"-Wiederholungen tatsächlich nur ein Unternehmen (wie DataDog) waren, das viele verschiedene Versionen ihrer Software in verschiedenen Sprachen veröffentlichte. Der Roboter lernte, diese zu ignorieren, da sie nicht wirklich „über verschiedene Organisationen hinweg geteilt" werden.

6. Das Fazit

Diese Arbeit liefert einen Bauplan und ein Werkzeug, um automatisch das „Kopieren-Einfügen"-Chaos in Software-Tests zu finden.

• Sie sagt nicht nur: „Hey, da ist eine Kopie."
• Sie sagt: „Hier ist die Kopie, hier ist der Grund, warum sie einer Korrektur wert ist, und hier ist die genaue Codeänderung, die Sie vornehmen müssen, um sie zu beheben."

Die Autoren veröffentlichten ihren gesamten Code, ihre Daten und das „Regelwerk", das sie für die Menschen verwendeten, damit jeder andere diesen Roboter nutzen kann, um seine eigenen Software-Bibliotheken zu bereinigen. Sie bewiesen, dass ein spezialisiertes, trainiertes Modell für diese spezifische Aufgabe besser geeignet ist als die allgemeinen KI-Chatbots, von denen wir heute oft hören.