💻 computer science

MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing

Die Arbeit stellt MR-Adopt vor, ein Verfahren, das mithilfe von Large Language Models und Datenflussanalysen automatisch allgemeine Eingabetransformationen aus hartkodierte Metamorphosen-Testfällen ableitet, um deren Wiederverwendbarkeit zu erhöhen und die Testabdeckung signifikant zu verbessern.

Ursprüngliche Autoren: Congying Xu, Songqiang Chen, Jiarong Wu, Shing-Chi Cheung, Valerio Terragni, Hengcheng Zhu, Jialun Cao

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Congying Xu, Songqiang Chen, Jiarong Wu, Shing-Chi Cheung, Valerio Terragni, Hengcheng Zhu, Jialun Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Qualitätsprüfer in einer riesigen Fabrik, die Software herstellt. Ihre Aufgabe ist es, sicherzustellen, dass die Produkte (die Programme) fehlerfrei funktionieren.

Normalerweise testen Sie ein Produkt, indem Sie es mit einem bestimmten Input (z. B. einer Zahl oder einem Datum) füttern und prüfen, ob das Ergebnis stimmt. Aber oft wissen Sie gar nicht, was das richtige Ergebnis sein sollte. Das ist wie ein Rätsel ohne Lösungsschlüssel.

Hier kommt eine spezielle Technik namens Metamorphoses-Testen ins Spiel. Statt zu fragen: „Ist das Ergebnis X richtig?", fragen Sie: „Wenn ich das Eingabe-Objekt auf eine bestimmte Weise verändere (z. B. das Datum um einen Tag vorrücke), ändert sich das Ergebnis dann auch auf eine vorhersehbare Weise?"

Das Problem:
In der Vergangenheit haben Entwickler diese Tests oft so geschrieben, dass sie nur für ein einziges, festes Beispiel funktionieren.

Beispiel: Ein Entwickler schreibt einen Test: „Wenn ich das Datum 01.01.2024 nehme, soll das Ergebnis 02.01.2024 sein."
Das Problem: Der Computer weiß nicht, wie man von Datum A auf Datum B kommt. Er sieht nur die beiden Zahlen. Wenn Sie dem Computer jetzt ein neues Datum geben (z. B. 15.05.2024), weiß er nicht, was er damit machen soll. Er kann den Test nicht wiederholen. Es ist, als hätten Sie eine Anleitung, die nur für eine einzige Tür funktioniert, aber keine Regel, wie man jede Tür öffnet.

Die Lösung: MR-Adopt
Die Forscher haben eine neue Methode namens MR-Adopt entwickelt. Man kann sich das wie einen sehr klugen, lernbegierigen Assistenten vorstellen, der mit Hilfe von künstlicher Intelligenz (KI) arbeitet.

Hier ist, wie MR-Adopt funktioniert, einfach erklärt:

1. Der Detektiv (Verstehen der Absicht)

Stellen Sie sich vor, Sie finden einen alten Zettel mit einer Notiz: „Ich habe den 1. Januar genommen und den 2. Januar daraus gemacht."
Ein normaler Computer denkt: „Okay, 1 wird zu 2."
MR-Adopts KI-Detektiv denkt aber tiefer: „Aha! Der Entwickler wollte wahrscheinlich den nächsten Tag berechnen."
Die KI analysiert den Code und die Absicht hinter dem Test.

2. Der Erfinder (Mehr Beispiele finden)

Das Problem ist: Wenn die KI nur ein Beispiel sieht (1. Januar -> 2. Januar), könnte sie fälschlicherweise denken: „Ah, man addiert einfach 1 zu der Jahreszahl!" (was falsch wäre).
Um das zu verhindern, sagt MR-Adopt zur KI: „Hey, denk mal nach! Wenn das Datum der 31. Dezember wäre, was wäre dann der nächste Tag? Und wenn es der 15. Mai wäre?"
Die KI generiert automatisch viele neue Beispiele (z. B. 31.12. -> 01.01., 15.05. -> 16.05.). Das hilft ihr, das wahre Muster zu erkennen und nicht nur das eine Beispiel auswendig zu lernen.

3. Der Handwerker (Die Regel bauen)

Jetzt, wo die KI das Muster verstanden hat, schreibt sie eine kleine Rezept-Datei (eine Transformationsfunktion).

Vorher: Der Test hatte nur die harten Zahlen.
Nachher: Der Test hat jetzt eine Regel: „Nimm jedes Datum und addiere einen Tag."
Diese Regel funktioniert für jedes Datum, das Sie ihr geben, nicht nur für das ursprüngliche.

4. Der Qualitätskontrolleur (Aufräumen und Prüfen)

KIs machen manchmal Fehler. Sie könnten versehentlich Code schreiben, der nicht funktioniert oder Dinge enthält, die nichts mit der Aufgabe zu tun haben.
MR-Adopt hat einen strengen Prüfer an Bord:

Aufräumen: Er schneidet alles Unnötige aus dem KI-Code heraus (wie ein Gärtner, der das Unkraut entfernt).
Testen: Er probiert die neue Regel an vielen verschiedenen Beispielen aus. Funktioniert sie immer? Wenn ja, wird sie gespeichert. Wenn nein, wird sie verworfen.

Warum ist das so toll?

Durch MR-Adopt können wir alte, wertvolle Tests, die bisher nur für ein einziges Beispiel taugten, wiederverwenden.

Mehr Sicherheit: Wir können Tausende von neuen Eingaben testen, ohne dass ein Mensch jeden einzelnen Test schreiben muss.
Bessere Qualität: Die Studie zeigt, dass durch diese Methode mehr Fehler gefunden werden und der Code besser abgedeckt ist (wie ein Sicherheitsnetz, das viel größer geworden ist).

Zusammenfassend:
MR-Adopt nimmt einen starren, statischen Test und verwandelt ihn in einen lebendigen, flexiblen Roboter, der versteht, wie Dinge zusammenhängen. Es ist der Unterschied zwischen einem Menschen, der nur weiß, wie man eine bestimmte Tür öffnet, und einem Schlosser, der einen Master-Schlüssel baut, der jede Tür öffnet.

1. Problemstellung

Metamorphes Testen (Metamorphic Testing, MT) ist eine bewährte Technik, um das „Orakel-Problem" zu lösen, indem nicht einzelne Ausgaben, sondern die Beziehung zwischen Eingaben und Ausgaben (Metamorphe Relationen, MRs) validiert werden.

Das Kernproblem: Eine kürzliche Studie zeigte, dass Entwickler zwar oft MRs in Testfällen kodieren (MR-Encoded Test Cases, MTCs), diese jedoch zu über 70 % nur harte Eingabewerte (Hard-Coding) enthalten. Es fehlt eine explizite Eingabe-Transformationsfunktion, die eine Quell-Eingabe ( $x_s$ ) systematisch in eine Folgeeingabe ( $x_f$ ) umwandelt.
Die Konsequenz: Ohne diese Transformationsfunktion können diese wertvollen MRs nicht auf neu generierte Quell-Eingaben angewendet werden. Dies verhindert die Automatisierung und Wiederverwendung von MRs, um die Testabdeckung (Test Adequacy) zu erhöhen.
Die Herausforderung: Die Aufgabe lässt sich als „Programming by Example" (PBE) betrachten. Da jedoch oft nur ein Paar aus Quell- und Folgeeingabe als Beispiel vorliegt, besteht die Gefahr, dass generierte Transformationen überangepasst (overfitted) sind und nicht die wahre semantische Absicht der MR erfassen.

2. Methodik: MR-Adopt

Die Autoren stellen MR-Adopt vor, einen Ansatz, der Large Language Models (LLMs) nutzt, um aus hardcodierten Testfällen automatisch Eingabe-Transformationsfunktionen abzuleiten. Der Prozess läuft in zwei Phasen ab und integriert Generierung, Verfeinerung und Validierung.

Phase 1: Vorbereitung von Eingabepaaren (Input Pair Preparation)

Um das Overfitting-Problem bei nur einem Beispiel zu lösen, generiert MR-Adopt zusätzliche Beispiele:

Generierung: Ein LLM wird angewiesen, basierend auf dem Kontext (MUT, MTC) neue Quell-Eingaben zu generieren und dann die entsprechenden Folgeeingaben zu erstellen. Dies geschieht schrittweise (Chain-of-Thought), um die Qualität zu erhöhen.
Verfeinerung (Refinement): LLMs neigen dazu, irrelevante oder fehlerhafte Code-Schnipsel (z. B. falsche Assertions) zu generieren. MR-Adopt führt eine Datenflussanalyse (Data-Flow Analysis) durch, um nur die Code-Teile zu extrahieren, die für die Konstruktion der Eingabepaare notwendig sind.
Validierung: Die generierten Paare werden gegen die im Testfall definierte Ausgabe-Relation (Assertions) geprüft. Nur Paare, die die erwartete Ausgabe-Relation erfüllen, werden als valide Beispiele für Phase 2 behalten.

Phase 2: Generierung der Transformationsfunktion

Generierung: Das LLM erhält nun nicht nur das ursprüngliche Hardcoded-Paar, sondern auch die zusätzlichen, validierten Paare aus Phase 1. Es wird angewiesen, eine Transformationsfunktion zu schreiben, die diese Beispiele verallgemeinert.
Verfeinerung: Ähnlich wie in Phase 1 wird der generierte Code bereinigt (Entfernung irrelevanter Teile, Hinzufügen fehlender Imports via Datenflussanalyse).
Bewertung (Assessment): Die Kandidaten-Transformationen werden auf eine Reihe neuer, zuvor generierter Quell-Eingaben angewendet. Die Transformation, die die höchste Anzahl an Eingaben erfolgreich verarbeitet und dabei die Ausgabe-Relationen erfüllt, wird als Ergebnis ausgewählt.

3. Schlüsselbeiträge

Pionierarbeit: MR-Adopt ist der erste Ansatz, der automatisch Eingabe-Transformationsfunktionen für in Testfällen kodierte MRs generiert.
Verallgemeinerung durch Few-Shot-Learning: Durch die Generierung zusätzlicher Eingabepaare (Phase 1) wird das Overfitting reduziert, was zu generalisierbaren Transformationen führt.
Hybride Strategie: Kombination von LLM-Generierung mit traditionellen statischen Analyse-Techniken (Datenflussanalyse) zur Bereinigung von Code und Validierung durch Orakel-Assertions.
Datensatz: Erstellung und Veröffentlichung eines Datensatzes mit 100 MR-kodierten Testfällen (post-April 2023), um Datenlecks bei LLMs zu vermeiden.

4. Ergebnisse

Die Evaluation umfasste 100 Testfälle und verglich MR-Adopt mit direktem Prompting von LLMs (GPT-3.5, Llama3, Deepseek).

Generierungsqualität: MR-Adopt generierte für 95 von 100 MRs kompilierbare Transformationen.
Verallgemeinerbarkeit: 72 % der generierten Transformationen waren auf alle vorbereiteten Quell-Eingaben anwendbar. Dies ist eine Steigerung von 33,33 % im Vergleich zum direkten Prompting von GPT-3.5.
Folgeeingaben: MR-Adopt konnte für 91,21 % der Quell-Eingaben gültige Folgeeingaben generieren (eine Verbesserung von über 122 % gegenüber GPT-3.5).
Testabdeckung: Die Integration der generierten Transformationen in bestehende Testfälle führte zu einer Steigerung der Line Coverage um 10,62 % und des Mutation Score um 18,91 %.
Ablationsstudie: Alle drei Komponenten (zusätzliche Eingabepaare, Verfeinerung durch Datenflussanalyse, Bewertung/Assessment) trugen signifikant zur Leistung bei, wobei die Bewertung und die zusätzlichen Paare den größten Einfluss hatten.

5. Bedeutung und Fazit

MR-Adopt adressiert eine kritische Lücke in der automatisierten Softwaretests: Die Wiederverwendbarkeit von manuell kodierten Metamorphosen-Relationen.

Praktischer Nutzen: Entwickler können ihre bestehenden Testfälle nutzen, um durch MR-Adopt automatisch neue, hochwertige Testfälle zu generieren, ohne neue Orakel schreiben zu müssen.
Effizienz: Im Gegensatz zu reinen LLM-Ansätzen, die für jede neue Eingabe neu abgefragt werden müssten, generiert MR-Adopt einmalig eine Transformationsfunktion, die dann effizient auf Tausende von Eingaben angewendet werden kann.
Fehlererkennung: Der Ansatz hat sich als besonders effektiv beim Aufdecken von Fehlern in „nicht testbaren" Programmen erwiesen, wo die erwartete Ausgabe schwer zu spezifizieren ist, aber die Beziehung zwischen Eingaben bekannt ist (z. B. Verschlüsselung/Entschlüsselung oder Zeitstempel-Logik).

Zusammenfassend demonstriert MR-Adopt, wie LLMs durch strukturierte Pipelines und statische Analyse so gesteuert werden können, dass sie nicht nur Code generieren, sondern komplexe semantische Transformationen für das Testen zuverlässig ableiten.