Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
Dieses Paper stellt Harness-IF vor, einen neuartigen Benchmark, der die tatsächlichen Befolgungskompetenzen von Coding-Agenten über verschiedene Oberflächen hinweg evaluiert, indem er echte Konformität von Zufall durch eine neue Metrik namens Against-Prior Accuracy (AP-Acc) unterscheidet, was offenbart, dass bestehende Benchmarks die Leistung überbewerten und dass die Regelpräzedenz nicht strikt der Prompt-Tiefe folgt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter-Koch bei, ein komplexes Gericht zuzubereiten. Sie geben nicht einfach nur einen Befehl wie „Mach Pasta!“ ganz am Ende. Stattdessen haben Sie einen ganzen Stapel von Anweisungen: ein Regelbuch an der Wand (der System Prompt), eine Notiz auf der Rezeptkarte (die Projektdatei), eine Beschreibung, wie das Messer funktioniert (die Werkzeugbeschreibung) und schließlich Ihre spezifische Aufforderung an den Koch (die Benutzeranweisung). Lange Zeit kümmerten sich Wissenschaftler, die diese KI-Köche testeten, nur um eine Sache: Hat der Koch die Pasta serviert? Wenn der Teller gut aussah, gaben sie ihm einen goldenen Stern. Aber sie prüften nie, welchen Anweisungen der Koch tatsächlich gefolgt ist. Vielleicht hat der Koch das Regelbuch über „kein Knoblauch“ ignoriert, weil er einfach gerne Pasta ohne Knoblauch mag. Dies ist die knifflige Ecke der künstlichen Intelligenz, die wir hier untersuchen: Instruction Following (Anweisungsbefolgung). Es geht nicht nur darum, die richtige Antwort zu erhalten; es geht darum, zu beweisen, dass der Roboter den spezifischen Regeln gefolgt ist, die man ihm gegeben hat, selbst wenn diese Regeln gegen das verstießen, was der Roboter von Natur aus getan hätte.
Dieses Paper mit dem Titel „Harness-IF“ ist wie eine Detektivagentur für KI-Köche. Die Forscher erkannten, dass bestehende Tests zu einfach waren, weil sie nur auf das fertige Gericht schauten. Sie wollten wissen, ob der Roboter tatsächlich den Regeln gehorchte oder ob er nur Glück hatte. Also entwickelten sie einen neuen, super detaillierten Test namens Harness-IF. Anstatt nur zu fragen: „Hast du die Pasta gemacht?“, bauten sie 60 realistische Kodierungsszenarien auf, in denen die KI 256 verschiedene winzige Regeln befolgen musste. Diese Regeln waren an verschiedenen Stellen im „Gehirn“ des Roboters versteckt – einige im System Prompt, einige in Projektdateien, einige in Werkzeugbeschreibungen und einige in der direkten Chat-Anweisung des Benutzers.
Hier ist die große Überraschung, die die Detektive fanden: KI-Modelle sind viel besser darin, Regeln zu befolgen, die mit dem übereinstimmen, was sie ohnehin getan hätten, als Regeln, die gegen ihre natürlichen Gewohnheiten verstoßen. Die Forscher nennen dies den „Against-Prior“-Test. Sie fanden heraus, dass die Erfolgsrate der Modelle signifikant sank, wenn eine Regel die KI dazu zwang, etwas anderes zu tun als ihr Standardverhalten. Im Durchschnitt waren die Modelle etwa 5,8 Prozentpunkte schlechter darin, Regeln zu befolgen, die gegen ihren natürlichen Bewegungsdrang verstießen. Es ist wie ein Schüler, der eine Eins in einem Mathetest bekommt, weil er Mathe liebt, aber eine Drei bekommt, wenn der Lehrer ihn bittet, eine Aufgabe mit einer Methode zu lösen, die er hasst. Das Paper legt nahe, dass wir uns selbst täuschen, wenn wir nur auf die Endnote (den Aufgabenerfolg) schauen, und glauben, der Schüler sei ein Mathegenie, während er vielleicht nur auf seinem natürlichen Talent herumkaut.
Die Studie untersuchte auch, wo die Regeln platziert waren. Man könnte meinen, dass die Regel, die zuletzt ausgesprochen wurde (die Benutzeranweisung), die wichtigste wäre, so wie die letzte Person, die in einer Sitzung spricht, meistens gewinnt. Aber die Daten zeigten etwas anderes. Regeln, die im System Prompt, in Projektdateien und in den Benutzeranweisungen zu finden waren, teilten sich den ersten Platz in der Wichtigkeit, während Regeln, die in Werkzeugbeschreibungen oder Skill-Beschreibungen vergraben waren, oft ignoriert wurden. Es stellt sich heraus, dass die KI den „großen Überblick“ der Regeln mehr beachtet als die kleinteiligen Details, wie ein spezifisches Werkzeug funktioniert.
Kurz gesagt: Dieses Paper behauptet nicht, das Problem der Erschaffung perfekter KIs gelöst zu zu haben. Stattdessen gibt es uns ein besseres Lineal, um zu messen, wie gut eine KI tatsächlich zuhört. Es zeigt uns, dass aktuelle KI-Modelle großartig darin sind, das zu tun, was sie wollen, aber sie kämpfen immer noch damit, wenn wir sie bitten, etwas zu tun, das sie nicht natürlich wählen würden. Indem sie „glückliche Konformität“ von „echtem Gehorsam“ trennen, hoffen die Forscher, bessere Tests zu entwickeln, um unsere KI-Helfer zuverlässiger zu machen, nicht nur erfolgreicher erscheinender.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.