AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents
Dieser Artikel schlägt „AI Harness Engineering" vor, ein Laufzeit-Substrat-Framework, das den Fokus des autonomen Software-Engineerings von der reinen Modellfähigkeit auf das integrierte System aus Modell, Harness und Umgebung verlagert, elf Komponentenverantwortlichkeiten und eine vierstufige Leiter definiert, um überprüfbare, auditierbare und wartbare Softwareänderungen zu erzeugen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brillanten, superschnellen Lehrlingsprogrammierer. Dieser Lehrling (das „Foundation Model") kann Code schreiben, Fehler beheben und erklären, wie Software funktioniert, besser als fast jeder andere. Doch wenn Sie diesen Lehrling ohne Unterstützung in ein echtes Softwareprojekt entlassen, scheitert er oft. Er könnte die falsche Datei reparieren, etwas anderes zerstören, vergessen, woran er arbeitete, oder den Sieg verkünden, obwohl die Arbeit noch nicht wirklich erledigt ist.
Lange Zeit dachten die Leute, das Problem liege daran, dass der Lehrling nicht intelligent genug sei. Sie glaubten, wir müssten den Lehrling einfach nur intelligenter trainieren.
Diese Arbeit argumentiert, dass dies der falsche Blickwinkel ist. Das Problem ist nicht das Gehirn des Lehrlings; es ist die Werkstatt, in der er arbeitet.
Die Kernidee: Der „Harnisch"
Die Autoren schlagen vor, dass wir eine spezielle Laufzeitumgebung (runtime substrate) aufbauen müssen, die sie AI Harness nennen.
Stellen Sie sich den AI Harness wie einen hochtechnologischen Klettergurt oder eine Sicherheitsausrüstung für einen Kletterer vor.
- Der Lehrling (Modell): Besitzt die Kraft und das Geschick zum Klettern.
- Der Berg (Softwareumgebung): Ist komplex, voller loser Steine und hat verborgene Spalten.
- Der Harnisch (Das neue System): Dies ist die Ausrüstung, die den Kletterer mit dem Berg verbindet. Sie hält seine Werkzeuge, weist darauf hin, welchen Griff er fassen soll, prüft, ob sein Seil sicher ist, und protokolliert genau, was er getan hat.
Ohne den Harnisch könnte der Kletterer zwar über große Muskeln verfügen, aber trotzdem stürzen, weil er nicht wusste, wo er treten sollte, oder weil er keine Möglichkeit hatte, seine Sicherheit zu überprüfen. Die Arbeit behauptet, dass Software-Engineering-Fähigkeit nicht nur von der Intelligenz des Modells abhängt; sie hängt vom System (Modell + Harnisch + Umgebung) ab, das zusammenarbeitet.
Die 11 Aufgaben des Harnischs
Die Arbeit zerlegt diesen „Harnisch" in 11 spezifische Aufgaben, die er erfüllen muss, ähnlich wie ein Projektmanager und ein Sicherheitsinspektor in einer Person:
- Aufgabenspezifikation: Dem Lehrling klar zu sagen, was zu bauen ist.
- Kontextauswahl: Ihm die richtigen Baupläne (Dateien) zu übergeben, damit er nicht die falschen betrachtet.
- Tool-Zugriff: Ihm die richtigen Schraubenschlüssel und Schraubendreher zu geben.
- Projektgedächtnis: Ihn an die Geschichte des Gebäudes und den Standort der Dinge zu erinnern.
- Aufgabenstatus: Eine Checkliste darüber zu führen, was er getan hat und was als Nächstes kommt.
- Beobachtbarkeit: Ihm zu ermöglichen, die Protokolle und Fehlermeldungen klar zu sehen.
- Fehlerzuordnung: Wenn etwas kaputtgeht, ihm zu helfen, warum es passiert ist, herauszufinden, bevor er versucht, es zu reparieren.
- Verifizierung: Ihn zu zwingen, nachzuweisen, dass die Reparatur tatsächlich funktioniert.
- Berechtigungen: Ihn daran zu hindern, gefährliche Dinge zu tun (wie das gesamte Gebäude zu löschen).
- Entropie-Auditing: Zu prüfen, ob er ein Chaos hinterlassen hat (wie alten Code oder unordentliche Dokumentation).
- Interventionsprotokollierung: Zu notieren, ob ein Mensch eingreifen musste, um zu helfen, und warum.
Das „Leiter"-Experiment (H0 bis H3)
Um ihren Standpunkt zu beweisen, bauten die Autoren eine „Leiter" aus vier Stufen auf, um zu testen, wie viel Hilfe der Lehrling benötigt. Sie behielten die Aufgabe und das Modell gleich, veränderten aber das Harness-Level:
- Stufe 0 (Der nackte Lehrling): Der Lehrling erhält die Aufgabe und die Dateien. Keine Werkzeuge, kein Gedächtnis, keine Sicherheitschecks. Er muss alles raten.
- Stufe 1 (Der Werkzeuggürtel): Der Lehrling erhält eine Liste von Werkzeugen, die er verwenden kann, und ein Protokoll für deren Nutzung. Er kann sich immer noch verirren, aber er hat die richtige Ausrüstung.
- Stufe 2 (Die Karte und das Notizbuch): Der Lehrling erhält die Werkzeuge plus eine Karte des Gebäudes (Architektur), ein Notizbuch vergangener Fehler und eine Checkliste, um seinen Fortschritt zu verfolgen.
- Stufe 3 (Der vollständige Sicherheitsgurt): Der Lehrling erhält alles oben Genannte plus ein strenges Protokoll, um den Fehler zu reproduzieren, zu diagnostizieren, zu beheben und einen formellen Bericht zu verfassen, der beweist, dass die Reparatur funktioniert, bevor er fertiggestellt werden darf.
Was sie fanden
Als sie dieselbe Aufgabe (Behebung eines Login-Fehlers) auf jeder Stufe durchführten, waren die Ergebnisse klar:
- Auf Stufe 0 könnte der Lehrling den Fehler schließlich beheben, aber er hinterließ keinen Beweis dafür, wie er es getan hat, und er könnte andere Dinge beschädigt haben.
- Auf Stufe 3 produzierte der Lehrling nicht nur eine Reparatur; er produzierte ein komplettes Paket an Beweisen. Er zeigte den Fehler, erklärte, warum er auftrat, zeigte die Reparatur und führte Tests durch, um zu beweisen, dass sie funktionierte.
Die Arbeit kommt zu dem Schluss, dass die Frage nicht lauten sollte „Ist die KI intelligent genug, um Code zu schreiben?", sondern vielmehr: „Erzeugt das Modell-Harnisch-Umgebung-System eine Änderung, die verifizierbar, zugeordnet und wartbar ist?"
Das Fazit
Die Arbeit schlägt vor, dass wir, um KI für das Software-Engineering wirklich nützlich zu machen, uns nicht nur darauf konzentrieren sollten, die KI intelligenter zu machen. Wir müssen bessere Werkstätten (den Harnisch) bauen, die den Kontext, die Werkzeuge, das Gedächtnis und die Sicherheitschecks verwalten.
Genauso wie ein menschlicher Entwickler auf seine IDE, seine Dokumentation und seine Test-Suite angewiesen ist, um gute Arbeit zu leisten, benötigt ein KI-Agent einen strukturierten Harnisch, um seine rohe Codierfähigkeit in zuverlässiges Software-Engineering zu verwandeln. Die Arbeit liefert einen Bauplan für den Aufbau dieses „Harnischs" und eine Methode, um zu messen, wie gut er funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.