Testing Framework Migration with Large Language Models
Diese Arbeit evaluiert die Effektivität von Large Language Models (GPT-4o und Claude Sonnet 4) bei der Automatisierung der Migration von Python-Testsuiten von \texttt{unittest} zu \texttt{Pytest} unter Verwendung eines kuratierten Datensatzes aus realen Beispielen und stellt fest, dass LLMs zwar den Prozess beschleunigen können, jedoch fast die Hälfte der generierten Migrationen fehlschlägt und je nach Modell und Prompting-Strategie deutliche Verhaltensunterschiede aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige, alte Bibliothek mit Büchern, die in einer sehr strengen, formellen Sprache namens unittest geschrieben sind. Sie funktioniert perfekt, ist aber klobig, nimmt zu viel Platz ein und ist schwer zu lesen. Die Bibliothekseigentümer möchten alles in eine neue, moderne Sprache namens Pytest übertragen, die eleganter, leichter zu lesen und besser ausgestattet ist.
Doch tausende von Büchern von Hand umzuziehen, ist ein Albtraum. Es dauert Jahre, und die Menschen werden müde. Deshalb stellten die Autoren dieser Arbeit eine sehr kluge Frage: „Können wir einen superintelligenten KI-Roboter (ein Large Language Model) engagieren, um das Umziehen für uns zu erledigen?“
Hier ist, was sie getan und herausgefunden haben, einfach erklärt:
Das Experiment: Die KI-Umzugshelfer
Die Forscher wählten 40 spezifische „Bücher“ (Testfälle) aus berühmten Open-Source-Projekten (wie den Werkzeugen hinter Webservern und Datenanalysen). Sie baten zwei der klügsten verfügbaren KI-Roboter – GPT-4o und Claude Sonnet 4 – diese Bücher aus der alten Sprache in die neue zu übersetzen.
Sie probierten verschiedene Wege aus, wie man die Roboter fragt:
- Zero-shot: Einfach nur sagen: „Übersetze dies.“
- One-shot: Sagen: „Übersetze dies, und hier ist ein Beispiel, wie ich es gerne hätte.“
- Chain-of-Thought: Sagen: „Denke Schritt für Schritt, bevor du übersetzt.“
Sie probierten auch aus, den „Kreativitätsregler“ der Roboter hoch oder runter zu drehen, um zu sehen, ob mehr Zufälligkeit half.
Die Ergebnisse: Ein gemischtes Paket
Die Ergebnisse waren wie das Einstellen eines Teams von Umzugshelfern, die unglaublich schnell sind, aber manchmal die Kartons fallen lassen.
- Die Erfolgsquote: Von jeweils 100 Übersetzungsversuchen erledigte die KI etwa 4er Mal die Aufgabe richtig. In den anderen 52 Fällen war die Übersetzung fehlerhaft und funktionierte nicht.
- Die „perfekten“ Umzüge: Wenn die KI es richtig gemacht hatte, funktionierten die Bücher exakt so, wie sie sollten. Die „Geschichte“ (die Logik des Codes) änderte sich nicht, und der „Fußabdruck“ (wie viel vom Code abgedeckt wurde) blieb gleich.
- Die „kaputten“ Umzüge: Die Fehler passierten meistens, weil die KI ein subtiles Detail übersah. Sie vergaß vielleicht, ein bestimmtes Werkzeug (einen „Fixture“) mitzubringen, das für den Test benötigt wurde, oder sie änderte eine Zahl leicht ab, sodass die Mathematik nicht mehr stimmte.
Die Persönlichkeiten der Roboter
Die beiden KI-Roboter hatten sehr unterschiedliche Stile, wie zwei verschiedene Architekten:
- Claude Sonnet 4 (Der konservative Renovierer): Dieser Roboter war sehr vorsichtig. Er mochte es, die Struktur des alten Gebäudes beizubehalten. Wenn der ursprüngliche Test eine „Klasse“ (einen großen Behälter) war, behielt Claude sie als Klasse bei. Er wollte nicht zu viel ändern, was manchmal bedeutete, dass er einige der alten, klobigen Teile beibehielt.
- GPT-4o (Der Modernist): Dieser Roboter war bestrebt, zu modernisieren. Er liebte es, die großen „Klassen“-Container abzureißen und sie als einfache, eigenständige Funktionen wieder aufzubauen. Er ging aggressiver bei der Nutzung der neuen Sprachfunktionen vor, was jedoch manchmal zu Fehlern führte, wenn er zu viel zu schnell änderte.
Die Überraschungen
- Kreativität half nicht: Die Forscher dachten, wenn sie der KI sagten, sie solle „kreativer“ sein (indem sie den Temperaturregler hochdrehten), würde sie bessere Lösungen finden. Das war nicht der Fall. Mehr Zufälligkeit führte nur zu denselben Fehlern oder leicht veränderten Versionen derselben Fehler.
- Beispiele können tückisch sein: Wenn sie der KI ein Beispiel gaben, wie es gemacht werden sollte (One-shot), konzentrierte sich die KI manchmal zu sehr auf dieses eine Beispiel. Sie kopierte den Stil des Beispiels, selbst wenn dieser nicht zum neuen Buch passte, was zu Fehlern führte.
- Einfach vs. Komplex: Die KI war gut in einfachen Übersetzungen (wie dem Ändern eines Wortes). Aber wenn die Übersetzung ein Verständnis komplexer Beziehungen zwischen verschiedenen Teilen des Codes erforderte (wie etwa wie ein Test mit einer Datenbank zusammenhängt), verlor sich die KI oft.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI ein mächtiger Assistent für diese Aufgabe ist, aber noch nicht bereit ist, der alleinige Chef zu sein.
Wenn man eine KI seine Tests migrieren lässt, kann sie etwa die Hälfte der Arbeit korrekt und sehr schnell erledigen. Ein Mensch muss jedoch immer noch die andere Hälfte überprüfen. Die KI ist wie ein sehr schneller Übersetzer, der die Sprache fließend spricht, aber manchmal den kulturellen Kontext oder die spezifischen Werkzeuge übersieht, die nötig sind, damit die Geschichte im neuen Setting funktioniert.
Kurz gesagt: Die KI kann den Umzug vom alten Testing-Framework zum neuen beschleunigen, aber man kann nicht einfach seine Koffer packen und gehen; man muss die Kartons, wenn sie ankommen, immer noch kontrollieren, um sicherzustellen, dass nichts kaputtgegangen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.