Test-Oriented Programming: rethinking coding for the GenAI era
Dieses Paper schlägt das Paradigma „Test-Oriented Programming" vor, bei dem Entwickler im Zeitalter von GenAI lediglich auf Basis natürlichsprachlicher Spezifikationen generierte Testcodes prüfen, während die eigentliche Implementierung an Large Language Models delegiert wird, und validiert diesen Ansatz durch einen Proof-of-Concept mit vielversprechenden Ergebnissen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du möchtest ein Haus bauen. In der traditionellen Programmierung würdest du selbst jeden einzelnen Ziegelstein setzen, den Mörtel mischen und die Mauern verputzen. Du bist der Maurer, der Architekt und der Bauleiter in einer Person.
Jetzt kommt eine neue Technologie, die GenAI (Generative Künstliche Intelligenz), ins Spiel. Bisher haben diese KI-Tools wie ein sehr schneller, aber manchmal etwas verwirrter Lehrling funktioniert: Sie haben dir geholfen, einzelne Ziegel schneller zu setzen oder dir vorgeschlagen, wie du eine Wand bauen könntest. Aber du musstest immer noch genau hinschauen und den fertigen Ziegelstein (den Code) prüfen.
Der Autor dieses Papiers, Jorge Melegati, schlägt nun eine völlig neue Art vor, wie wir mit dieser KI arbeiten können. Er nennt es „Test-Oriented Programming" (TOP) – auf Deutsch etwa: „Programmieren, das sich auf die Prüfung konzentriert".
Hier ist die Idee, einfach erklärt mit ein paar Bildern:
1. Der neue Job: Du bist der Bauleiter, nicht der Maurer
Stell dir vor, du gibst der KI nicht mehr die Anweisung: „Bau eine Wand aus roten Ziegeln." Stattdessen sagst du ihr: „Hier ist eine Liste von Regeln, wie das Haus aussehen muss, damit es sicher ist."
- Die alten Regeln (Produktionscode): Du sagst: „Setze diesen Stein hierhin, dann diesen da." (Das ist das, was wir heute tun).
- Die neuen Regeln (Test-Oriented Programming): Du sagst: „Wenn ich gegen die Wand drücke, darf sie nicht wackeln. Wenn ich das Licht einschalte, muss es hell werden. Wenn ich die Tür öffne, muss sie sich drehen."
Du schreibst also nicht mehr die Bauanleitung für die Ziegel, sondern du schreibst die Prüfungsliste (die Tests). Du sagst der KI: „Baue etwas, das diese Prüfungen besteht."
2. Wie funktioniert das in der Praxis?
Der Autor hat ein kleines Werkzeug namens „Onion" (Zwiebel) gebaut, um das auszuprobieren. Das funktioniert so:
- Der Plan: Du schreibst in eine einfache Datei (in einer Sprache, die wie normales Deutsch aussieht), was das Programm tun soll. Zum Beispiel: „Ich will ein Programm, das BibTeX-Einträge speichert und durchsucht."
- Die Prüfung: Du schreibst dazu, wie man testet, ob es funktioniert. „Wenn ich einen Eintrag hinzufüge, muss er später wieder da sein."
- Die KI-Arbeit: Die KI liest deine Prüfungsliste und baut automatisch den kompletten Code (die Ziegelsteine), der diese Prüfungen besteht.
- Deine Aufgabe: Du musst nicht den Code lesen. Du musst nur die Prüfungsliste lesen und prüfen: „Ja, das ist genau das, was ich wollte." Wenn die KI einen Fehler macht und die Prüfung nicht besteht, korrigierst du die Prüfungsliste, nicht den Code. Die KI versucht es dann nochmal.
3. Was haben sie herausgefunden?
Der Autor hat das mit zwei verschiedenen KI-Modellen getestet (einem von OpenAI und einem von Google).
- Es hat funktioniert! Die KI konnte das Programm fast komplett allein bauen, solange die Prüfungsregeln klar waren. Niemand musste den fertigen Code direkt anfassen.
- Aber es gibt Haken:
- Die Prüfungsliste wird riesig: Manchmal schreibt die KI so viele Prüfungsregeln, dass es für den Menschen schwer ist, sie alle zu lesen und zu verstehen. Das ist wie ein Bauleiter, der 1000 Seiten Sicherheitsvorschriften lesen muss, nur um ein kleines Gartenhaus zu bauen.
- Die KI ist nicht immer gleich: Wenn du die KI zweimal fragst, bekommt du zweimal ein leicht anderes Ergebnis. Einmal ist der Code kurz und knapp, das andere Mal ist er lang und voller Erklärungen (wie ein sehr redseliger Architekt).
- Verwirrung bei den Tests: Manchmal versteht die KI die Prüfungsregeln falsch und baut etwas, das die Prüfung nicht besteht. Dann musst du die Prüfungsregeln so umschreiben, dass die KI sie endlich versteht.
Fazit: Warum ist das wichtig?
Dieser Ansatz ist wie der Sprung vom Handschreiben zum Tippen auf einer Tastatur. Früher musste man jeden Buchstaben selbst formen (Code schreiben). Jetzt können wir der Maschine sagen, was wir wollen, und sie schreibt den Text für uns.
Das Ziel von „Test-Oriented Programming" ist es, die Programmierung auf eine höhere Ebene zu heben. Wir hören auf, uns mit den Details des „Wie" (wie setze ich diesen Stein?) zu beschäftigen, und konzentrieren uns nur noch auf das „Was" (was soll das Haus können?).
Es ist noch ein Experiment und nicht perfekt für riesige, komplexe Projekte, aber es zeigt einen Weg: In Zukunft könnten wir Programmierer sein, die nur noch die Regeln des Spiels aufschreiben, und die KI spielt das Spiel für uns.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.