HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
Dieses Paper führt HarnessOpt-Bench ein, einen neuartigen Benchmark, der darauf ausgelegt ist, die Fähigkeit von Frontier-LLMs zu bewerten, agentische Harnesses (einschließlich Prompts, Tools und Orchestrierungscode) unter Ressourcenbeschränkungen iterativ zu optimieren, wobei aufgezeigt wird, dass diese Optimierungsfähigkeit eine distinkte und messbare Fertigkeit mit erheblichem Verbesserungspotenzial ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein brillantes, superintelligentes Robotergehirn. Es kann Code schreiben, mathematische Probleme lösen und Fragen beantworten. Aber dieses Gehirn arbeitet nicht im Vakuum; es benötigt ein „Geschirr“ (Harness). Betrachten Sie das Geschirr als die Rüstung des Roboters, seine Bedienungsanleitung und sein Kontrollpanel in einem. Es ist der Code, der dem Gehirn sagt, wie es seine Werkzeuge nutzt, was es sich merkt und wie es mit der Außenwelt kommuniziert. Genau wie ein Rennwagen einen großartigen Fahrer und einen gut abgestimmten Motor braucht, um zu gewinnen, benötigt eine intelligente KI ein intelligentes Gehirn und ein großartiges Geschirr, um leistungsfähig zu sein. Manchmal kann dasselbe Gehirn in einem Anzug ein Genie und in einem anderen ein tollpatschiger Anfänger sein.
Hier kommt die große Frage: Können wir eine KI lehren, ihr eigenes Geschirr zu reparieren? Kann eine KI auf ihr eigenes Geschirr schauen, erkennen, dass es klobig ist, und den Code umschreiben, um sich selbst intelligenter zu machen? Dies wird „Harness-Optimierung“ genannt. Es ist ein wenig so, als würde man einen Koch nicht nur bitten, eine Mahlzeit zu kochen, sondern auch die Küche umzugestalten, die Messer zu schärfen und das Rezeptbuch neu zu schreiben, während er gerade kocht – und das, ohne genau zu wissen, wie die Preisrichter die fertige Speise am Ende schmecken werden. Das ist eine gewaltige Herausforderung, denn das Reparieren des Geschirrs ist teuer und knifflig; man muss raten, was funktioniert, ohne das Endergebnis zu sehen, und man muss es tun, bevor man seine „Energie“ (oder in diesem Fall die Rechenzeit und das Geld) aufgebraucht hat.
Genau das wollten die Forscher bei Scale AI mit einem neuen Experiment namens HarnessOpt-Bench testen. Sie bauten einen speziellen, sicheren Spielplatz, auf dem verschiedene erstklassige KI-Modelle als „Optimierer“ fungieren. Ihre Aufgabe? Ein einfaches, etwas unbeholfenes KI-Agenten-Modell (den „Seed“) zu nehmen, dessen Code zu lesen und zu versuchen, es zu verbessern. Der Haken dabei ist, dass der Optimierer über ein striktes Budget verfügt: Er darf nur eine begrenzte Anzahl von Tests durchführen, um zu sehen, ob seine Änderungen funktionieren. Er erhält Hinweise aus einigen Testläufen (Entwicklungs- und Validierungsphasen), aber die echte, endgültige Punktzahl bleibt verborgen, bis er seine sehr beste Version einreicht.
Die Forscher wollten sehen, ob diese KI-Modelle tatsächlich besser in dieser Aufgabe werden können. Sie führten 111 verschiedene Experimente mit fünf der klügsten heute verfügbaren KI-Modelle durch und testeten sie auf zwei Arten: einmal unter Verwendung eines standardisierten, gemeinsamen „Werkzeugsatzes“ (eines gemeinsamen Coding-Harness) und einmal unter Verwendung ihrer eigenen, nativen, eingebauten Werkzeugsätze. Sie maßen den Erfolg daran, wie sehr die KI die Leistung des ursprünglichen, unbeholfenen Modells im Vergleich zur Ausgangsversion verbessert hat.
Dies ist das, was sie herausfanden, und es ist ein wenig überraschend. Erstens spielen die KI-Modelle selbst eine sehr große Rolle, nämlich viel mehr als der Werkzeugsatz, den sie verwenden. Der Unterschied in der Leistung zwischen der klügsten KI und der am wenigsten klugen KI war riesig – fast doppelt so groß wie der Unterschied, der durch den Wechsel des Werkzeugsatzes verursacht wurde. Dies deutet darauf sich hin, dass das „Gehirn“ der eigentliche Star ist, nicht nur der „Anzug“, den es trägt.
Zweitens garantierte ein schicker, nativer Werkzeugsatz keinen Sieg. Man könnte denken, eine KI würde mit ihren eigenen, maßgeschneiderten Werkzeugen am besten abschneiden, aber die Ergebnisse waren gemischt. Manchmal half der native Werkzeugsatz, manchmal nicht, und manchmal war der Standard-Werkzeugsatz sogar besser. Es gab keinen konsistenten „Heimvorteil“.
Drittens war die Art und Weise, wie die KIs nach Lösungen suchten, entscheidend. Diejenigen, die versuchten, an mehr Teilen des Codes herumzutüfteln (wie den Prompts, dem Gedächtnis, den Retry-Regeln und den Werkzeugen), tendierten dazu, bessere Ergebnisse zu erzielen. Die KIs verbrachten jedoch nicht viel Zeit damit, die detaillierten „Fehlerberichte“ (Traces) darüber zu lesen, was schiefgelaufen war. Sie sahen sich hauptsächlich die Endpunktzahlen an. Dies deutet darauf hin, dass es für diese Aufgaben nützlicher war, das große Ganze zu betrachten, als sich um jeden winzigen Fehler zu obsessiv zu sorgen.
Schließlich waren die KIs oft zu optimistisch. Die Punktzahlen, die sie während der Suche sahen (bei den „Übungstests“), waren meist höher als die Punktzahlen, die sie beim echten, verborgenen Test erhielten. Das bedeutet, dass die KIs manchmal dachten, sie hätten eine perfekte Lösung gefunden, aber als die echten Preisrichter sie sahen, war es nicht ganz so gut.
Kurz gesagt zeigt diese Arbeit, dass die Harness-Optimierung eine reale, messbare Fähigkeit ist, die moderne KI-Modelle besitzen, aber sie sind noch dabei, sie konsistent zu erlernen. Die besten Modelle können die Leistung eines Agenten erheblich verbessern, aber sie sind noch nicht perfekt. Sie müssen lernen, weniger überheblich zu sein und vielleicht die Fehlerberichte etwas genauer zu lesen. Die Quintessenz? Wir bewegen uns auf eine Zukunft zu, in der KI nicht nur Aufgaben erledigt, sondern auch lernt, bessere Versionen ihrer selbst zu bauen, aber wir haben noch einen weiten Weg vor uns, um dies zuverlässig ohne menschliche Hilfe zu schaffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.