BUILD-AND-FIND: An Effort-Aware Protocol for Evaluating Agent-Managed Codebases
Dieser Beitrag stellt BUILD-AND-FIND vor, ein aufwandsbewusstes Evaluierungsprotokoll, das die Qualität von von Agenten generierten Codebasen bewertet, indem es nicht nur deren verhaltensbezogene Korrektheit, sondern auch die Genauigkeit und den Inspektionsaufwand misst, die für nachgelagerte Agenten erforderlich sind, um die ursprüngliche Designabsicht und Spezifikationen wiederherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Es geht nicht nur um die Antwort, sondern um die Notiz
Stellen Sie sich vor, Sie stellen einen Koch (einen KI-Agenten) ein, um ein komplexes Gericht nach einem geheimen Rezept zu kochen, das Sie ihm gegeben haben.
- Der alte Weg: Sie probieren das Essen. Wenn es gut schmeckt, bekommt der Koch eine Bestätigung.
- Das neue Problem: Was, wenn der Koch ein köstliches Gericht zubereitet, aber die geheimen Zutaten in einer verschlossenen Box versteckt, das Rezept mit unsichtbarer Tinte schreibt oder die Küche in einem Chaos zurücklässt? Später muss ein anderer Koch (eine andere KI) hereinkommen, das Essen probieren und herausfinden, wie es zubereitet wurde, damit er einen verbrannten Rand reparieren oder mehr Salz hinzufügen kann. Wenn der erste Koch keine klaren Hinweise hinterlassen hat, könnte der zweite Koch scheitern, obwohl das Essen hervorragend geschmeckt hat.
Dieses Papier stellt eine neue Art vor, KI-Programmierer zu testen, die BUILD-AND-FIND heißt. Anstatt nur zu prüfen, ob der Code „funktioniert" (gut schmeckt), wird geprüft, ob der Code für die nächste Person (oder KI), die damit arbeiten muss, leicht zu lesen und zu verstehen ist.
Die zwei Rollen: Der Erbauer und der Finder
Die Forscher haben ein Spiel mit zwei unterschiedlichen Rollen eingerichtet:
Der Erbauer (Der Koch):
- Er erhält eine versteckte „Spezifikation" (das geheime Rezept).
- Seine Aufgabe ist es, ein vollständiges Softwareprojekt (die Küche und das Gericht) basierend auf diesen Anweisungen zu erstellen.
- Er weiß nicht, dass jemand anderes sofort nach seinem Werk suchen wird; er muss lediglich dafür sorgen, dass es funktioniert.
Der Finder (Der Inspektor):
- Er erhält nur den fertigen Code (die Küche und das Gericht). Ihm ist es nicht erlaubt, das ursprüngliche geheime Rezept zu sehen.
- Er erhält eine Liste mit Multiple-Choice-Fragen zu den Designentscheidungen (z. B. „Warum hat der Koch diesen speziellen Ofentyp gewählt?" oder „Wo wird das Salz aufbewahrt?").
- Seine Aufgabe ist es, durch den Code zu schauen, die Beweise zu finden und die Fragen korrekt zu beantworten.
Die Punktzahl: Genauigkeit versus Aufwand
Das Papier misst zwei Hauptaspekte:
Haben sie es richtig hinbekommen? (Genauigkeit)
- Kann der Finder die richtige Antwort allein durch das Betrachten des Codes herausfinden?
- Analogie: Hat der Inspektor das versteckte Gewürzglas erfolgreich gefunden?
Wie schwer mussten sie suchen? (Inspektionsaufwand)
- Dies ist die große Innovation des Papiers. Wenn zwei Erbauer beide Code erstellen, der es dem Finder ermöglicht, die richtige Antwort zu erhalten, welcher war einfacher herauszufinden?
- Die Forscher messen den „Aufwand", indem sie zählen, wie viele Bytes Code der Finder lesen oder durchsuchen musste.
- Analogie: Wenn Koch A das Salzglas auf der Theke stehen ließ und Koch B es in einen verschlossenen Safe versteckte, der einen komplexen Code zum Öffnen erforderte, haben beide Köche essbares Essen zubereitet. Aber Koch A hat es für die nächste Person leichter gemacht, damit zu arbeiten. Das Papier belohnt den Koch, der das „Salz" auf der Theke lässt.
Warum das wichtig ist
Das Papier argumentiert, dass KI-Agenten in der Zukunft in Teams arbeiten werden. Eine KI schreibt ein Programm, und eine andere KI muss es später reparieren oder aktualisieren.
- Wenn die erste KI Code schreibt, der zwar „korrekt" ist, aber unordentlich oder verwirrend, wird die zweite KI Schwierigkeiten haben.
- BUILD-AND-FIND beweist, dass wir messen können, wie „lesbar" oder „kommunikativ" der Code einer KI ist, unabhängig davon, ob der Code tatsächlich ausgeführt wird.
Die Ergebnisse (Was sie fanden)
Die Forscher testeten dies mit mehreren leistungsstarken KI-Modellen (wie GPT-5, Claude Opus und anderen) bei zwei Arten von Aufgaben: dem Erstellen einer Mini-Datenbank und dem Erstellen eines winzigen Webservers.
- Das „Hohe Prior"-Problem: Die Fragen, die sie stellten, waren Dinge, die erfahrene Ingenieure normalerweise auswendig wissen (wie „Datenbanken speichern Protokolle normalerweise vor dem Schreiben"). Da die KIs intelligent sind, konnten sie die Antworten korrekt erraten, nur indem sie ihr allgemeines Wissen nutzten, selbst ohne den Code zu lesen.
- Die Lösung: Da alle die Antworten richtig hatten, konnten die Forscher nicht einfach „richtige Antworten" zählen. Stattdessen schauten sie darauf, wie viel Lesen die KIs durchführen mussten.
- Einige KI-Modelle schrieben Code, bei dem die Antworten offensichtlich und leicht zu finden waren (geringer Aufwand).
- Andere schrieben Code, bei dem die Antworten tief in den Dateien begraben waren, was den Finder zwang, viel mehr zu lesen, um sie zu finden (hoher Aufwand).
- Der Gewinner: Die Modelle, die Code produzierten, der die geringste Menge an Lesen erforderte, um die Antworten zu finden, galten als die besten darin, ihre Designentscheidungen zu „kommunizieren".
Das Sicherheitsnetz (Kontrollen)
Um sicherzustellen, dass die KIs nicht einfach schummelten oder raten, fügten die Forscher Sicherheitsprüfungen hinzu:
- Nur-Fragen-Test: Sie stellten dem Finder die Fragen, ohne ihm Code zu zeigen. Wenn die KI hier richtig lag, ratete sie nur basierend auf allgemeinem Wissen.
- Nur-Spezifikation-Test: Sie zeigten dem Finder das geheime Rezept, aber keinen Code. Dies bewies, dass das Rezept klar war.
- Das „Tor": Die Forscher zählten den „Aufwand"-Score nur, wenn der Finder die Antwort tatsächlich richtig hatte. Wenn der Finder die Antwort überhaupt nicht finden konnte, galt der Code als Versagen, unabhängig davon, wie wenig er lesen musste.
Zusammenfassung
BUILD-AND-FIND ist ein neuer Test für KI-Programmierer. Er fragt: „Wenn Sie diesen Code schreiben, wird eine andere KI dann leicht verstehen können, warum Sie die Entscheidungen getroffen haben, die Sie getroffen haben?"
Es geht über die Frage „Funktioniert der Code?" hinaus und fragt stattdessen: „Ist der Code ein gutes Kommunikationswerkzeug für die Zukunft?" Die beste KI ist nicht nur diejenige, die das Richtige baut; es ist diejenige, die die Sache so baut, dass es für die nächste Person leicht ist, sie aufzugreifen und die Arbeit fortzusetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.