Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

Stellen Sie sich vor, Sie beobachten eine Zaubershow, bei der ein Roboter-Assistent versucht, ein kaputtes Spielzeug zu reparieren. Sie sehen, wie der Roboter einen Schraubendreher aufhebt, eine Schraube dreht und das Spielzeug plötzlich wieder funktioniert. Es sieht so aus, als wäre der Roboter ein Genie. Aber was wäre, wenn der Roboter in Wirklichkeit nur geraten hätte und das Spielzeug nur deshalb funktionierte, weil im Inneren eine versteckte Feder zufällig an ihren Platz gesprungen ist? Oder was wäre, wenn der Roboter ein Foto des Spielzeugs vom letzten Jahr betrachtete und nicht das kaputte Modell vor sich? In der Welt der Informatik, speziell im Bereich der Künstlichen Intelligenz (KI) und des Software-Engineerings, bauen wir diese „Roboter-Assistenten“ (genannt Coding Agents), die Computercode schreiben und reparieren. Lange Zeit dachten die Leute, dass das „Gehirn“ des Roboters – das KI-Modell – das Einzige sei, was zählt. Wenn das Gehirn klug war, würde der Roboter zuverlässig arbeiten. Aber dieser Text argumentiert, dass das Gehirn nur ein Teil einer viel größeren Maschine ist. Die wahre Magie (oder das wahre Desaster) geschieht in dem System, das das Gehirn umgibt: den Werkzeugen, die es benutzt, dem Gedächtnis, das es pflegt, den Sicherheitsprüfungen, die es besteht, und den Menschen, die darüber wachen. Wenn das System chaotisch ist, wird selbst das klügste Gehirn scheitern, und wenn das System solide ist, kann ein einfacheres Gehirn Erstaunliches vollbringen.

Dieser Text, geschrieben von Stephanie Jarmak, ist wie ein massives Reparaturhandbuch und ein Leitfaden für Detektive zum Bau dieser KI-Codierungssysteme. Die Autorin führte im Juli und August 2026 eine strukturierte Überprüfung durch, bei der sie hunderte von Studien, reale Engineering-Protokolle und ihre eigenen Experimente analysierte, um herauszufinden, warum KI-Coding-Agents manchmal scheitern, selbst wenn sie auf dem Papier großartig aussehen. Die wichtigste Erkenntnis ist ein wenig wie ein Weckruf: Man kann einen KI-Coding-Agenten nicht nur nach seinem Endergebnis oder seinem „Gehirn“ beurteilen. Stattdessen muss man das gesamte „Geschirr“ betrachten, das ihn umgft. Der Text führt ein Konzept ein, das die „Zuverlässigkeits-Abhängigkeitskette“ genannt wird. Stellen Sie es sich wie eine Reihe von Dominosteinen vor. Wenn der erste Dominostein (die Art und Weise, wie Erfolg gemessen wird) wackelig ist, wird der zweite Dominostein (das Bewertungssystem) umfallen, was den dritten (den Wiederherstellungsplan) umwirft und so weiter. Wenn irgendein Glied in dieser Kette schwach ist, wird das gesamte System unzuverlässig, egal wie klug die KI auch ist.

Der Text argumentiert gegen die Vorstellung, dass wir einfach nur die KI-Modelle größer und klüger machen können, um alle Probleme zu lösen. Er legt nahe, dass viele „Fehler“ gar nicht die Schuld der KI sind, sondern durch das System um sie herum verursacht werden. Wenn zum Beispiel einer KI eine Aufgabe gegeben wird, das System ihr aber nicht die richtigen Dateien zum Lesen zur Verfügung stellt, wird die KI scheitern. Ist das die Schuld der KI? Nein, es ist die Schuld des Systems. Der Text warnt auch vor dem „Gaming“ des Systems. Wenn man eine KI an einem Satz von Rätseln testet, die sie bereits gesehen hat, kann sie eine perfekte Punktzahl erreichen, aber das bedeutet nicht, dass sie auch neue Rätsel lösen kann. Die Autorin zeigt auf, dass viele öffentliche Ergebnisse infliert sind, weil die KI die Antworten „auswendig gelernt“ hat oder weil die Tests nicht streng genug waren.

Um dies zu beheben, schlägt der Text eine neue Art des Bauens und Testens dieser Agents vor. Es geht nicht darum, das „perfekte“ KI-Modell zu finden; es geht darum, eine robuste Fabrik zu bauen. Stellen Sie sich eine Fabrik vor, in der ein Roboter ein Auto baut. Wenn der Roboter ein Teil fallen lässt, sollte die Fabrik nicht einfach so tun, als wäre es nicht passiert. Sie braucht ein System, um den Sturz zu erfassen, zu protokollieren und erneut zu versuchen, ohne das Auto zu beschädigen. Der Text bietet eine Checkliste von 206 „Zuverlässigkeits-Aufzeichnungen“ – im Grunde Regeln und Werkzeuge, um sicherzustellen, dass das System sicher ist. Dazu gehören unter anderem:

• Tests mehrfach durchführen: Genau wie ein einmaliges Münzwurf nicht aussagt, ob eine Münze fair ist, sagt ein einmaliges Ausführen einer KI nicht aus, ob sie zuverlässig ist. Man muss sie oft ausführen, um zu sehen, ob sie konsistent ist.
• Die Werkzeuge überprüfen: Sicherstellen, dass die KI keine Werkzeuge verwendet, die sie nicht haben sollte, oder dass die Werkzeuge, die sie verwendet, tatsächlich funktionieren.
• Menschliche Aufsicht: Einen Menschen die Arbeit prüfen lassen, aber nur zu den richtigen Zeitpunkten, damit der Mensch nicht überfordert wird.
• Sichere Wiederherstellung: Wenn die KI abstürzt oder einen Fehler macht, sollte das System in der Lage sein, neu zu starten, ohne Fortschritt zu verlieren oder weiteren Schaden anzurichten.

Die Autorin ist sehr vorsichtig damit, nicht zu behaupten, dass sie alles „gelöst“ habe. Sie gibt zu, dass einige ihrer Ideen auf starken Beweisen aus Experimenten basieren, während andere auf logischer Schlussfolgerung darüber beruhen, wie Systeme funktionieren sollten, um Katastrophen zu vermeiden. Sie behauptet nicht, dass ihre Regeln für jede einzelne KI in der Welt funktionieren werden, aber sie bietet einen soliden Rahmen für Ingenieure, um ihre eigenen Systeme zu testen. Sie betont, dass man, wenn man möchte, dass man einer KI beim Schreiben von Code für eine Bank oder ein Krankenhaus vertraut, nicht nur auf deren Testergebnisse schauen darf. Man muss die ganze Maschine betrachten, die Dominosteine prüfen und sicherstellen, dass das System gebaut ist, um Fehler sicher zu handhaben.

Kurz gesagt: Dieser Text sagt uns, dass das Bauen eines zuverlässigen KI-Codierers weniger mit dem Finden eines Super-Genie-Roboters zu tun hat, sondern mit dem Bau einer super-zuverlässigen Fabrik um ihn herum. Es ist ein Leitfaden für Ingenieure, um aufzuhören zu raten und anzfangen zu messen, um sicherzustellen, dass, wenn eine KI sagt „Ich habe es repariert“, sie damit tatsächlich meint: „Ich habe es repariert, und ich kann es beweisen.“ Der Text kommt zu dem Schluss, dass die Zukunft des KI-Codierens nicht nur aus klügeren Gehirnen besteht, sondern aus klügeren, sichereren und ehrlicheren Systemen, die sie umgeben.