Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents
Co-Harness ist ein Framework, das den Runtime-Harness eines LLM-Agenten und dessen Modellparameter durch einen alternierenden Prozess aus Harness-Verfeinerung und Modell-Feinabstimmung gemeinsam optimiert und dadurch autonome Selbstheilung, Effizienzgewinne sowie die Entdeckung von Strategien jenseits der Einschränkungen eines feststehenden Post-Training-Harness ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Lehrling beizubringen, komplexe Rätsel zu lösen. In der Welt der künstlichen Intelligenz ist dieser Lehrling ein „Large Language Model“ (LLM) – ein Computerprogramm, das lesen, schreiben und denken kann. Aber ein LLM arbeitet nicht im Vakuum; es braucht eine Werkstatt. Diese Werkstatt wird als „Harness“ bezeichnet. Betrachten Sie den Harness als die Werkzeuge, das Handbuch, die Sicherheitsgeländer und den Speicherbank, die der Lehrling nutzt, um seine Arbeit zu erledigen. Dazu gehört unter anderem, wie der Computer mit einem Taschenrechner kommuniziert, wie er sich an vorherige Schritte erinnert und wie er weiß, wann er um Hilfe bitten muss.
Lange Zeit behandelten Wissenschaftler den Lehrling und die Werkstatt als zwei separate Dinge. Sie verbrachten Jahre damit, den Lehrling intelligenter zu machen, aber sie ließen die Werkstatt genau so, wie sie war, und verwendeten dieselben alten Werkzeuge und Anweisungen, die sie von Hand entworfen hatten. Das Problem ist: Wenn die Werkstatt einen wackeligen Tisch oder eine verwirrende Karte hat, wird selbst der klügste Lehrling stolpern. Er könnte scheitern, nicht weil er nicht klug genug ist, sondern weil die Umgebung, in der er arbeitet, fehlerhaft ist. Diese Arbeit stellt eine einfache, aber kraftvolle Frage: Was wäre, wenn wir nicht nur den Lehrling trainieren würden, sondern auch die Werkstatt gleichzeitig reparierten? Was wäre, wenn der Lehrling uns helfen könnte herauszufinden, was mit den Werkzeugen nicht stimmte, und wir ihn dann mit den neuen, besseren Werkzeugen lehren könnten?
Genau das haben die Forscher hinter Co-Harness entdeckt. Sie schufen ein System, in dem das KI-Modell und seine „Werkstatt“ (der Harness) gemeinsam evolvieren, wie Tanzpartner, die lernen, sich synchron zu bewegen. Anstatt nur die KI zu verbessern und auf das Beste zu hoffen, betrachtet ihr System jedes Mal, wenn die KI eine Aufgabe nicht löst. Es fragt: „Lag das daran, dass die KI verwirrt war, oder weil das Werkzeug, das sie in der Hand hielt, kaputt war?“ Wenn das Werkzeug das Problem war – sagen wir, eine verwirrende Anweisung oder ein fehlender Sicherheitshaken –, repariert das System dieses Werkzeug automatisch. Dann nutzt es den Erfolg der KI mit dem neuen Werkzeug, um der KI beizubringen, wie sie noch besser werden kann.
Die Ergebnisse sind wie das Beobachten eines Schneeballs, der zu einem Felsbrocken heranwächst. Die Forscher testeten dies an schwierigen Mathe- und Logikrätseln. Sie fanden heraus, dass das System signifikant intelligenter wurde, indem es der KI und ihren Werkzeugen erlaubte, gemeinsam zu wachsen. Nach nur zwei Runden dieser „Ko-Evolution“ sprang die Genauigkeit der KI bei schwierigen Mathematiktests im Durchschnitt um über 20 Prozentpunkte. In einem speziellen Fall lief das System über 200 Stunden lang ohne menschliche Hilfe, reparierte seine eigenen Abstürze, beschleunigte seine Arbeit und erfand sogar eine neue Strategie, bei der mehrere Versuche kombiniert wurden, um die richtige Antwort zu erhalten. Die Arbeit legt nahe, dass dieser „Dual-Loop“-Ansatz – das gleichzeitige Reparieren der Umgebung und das Trainieren des Gehirns – ein viel mächtigerer Weg ist, intelligente Agenten zu bauen, als die alte Methode, die Umgebung statisch zu halten. Es stellt sich heraus: Um ein Genie zu erschaffen, muss man manchmal zuerst einen besseren Spielplatz bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.