HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry
HarnessX führt eine komponierbare und adaptive Foundry ein, die durch eine Substitutionsalgebra und trace-gesteuerte Multi-Agenten-Evolution die Laufzeitschnittstellen von KI-Agenten systematisch weiterentwickelt und dabei signifikante Leistungssteigerungen über diverse Benchmarks hinweg erzielt, ohne sich ausschließlich auf die Skalierung von Modellen zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brillanten, aber unerfahrenen Praktikanten (das KI-Modell). Sie möchten ihm eine komplexe Aufgabe geben, wie etwa die Planung einer Reise, das Reparieren einer defekten Website oder das Navigieren in einem Videospiel.
Momentan versuchen die meisten Menschen, den Praktikanten intelligenter zu machen, indem sie einen „Super-Praktikanten“ einstellen (ein größeres, teureres KI-Modell). Aber dieses Paper, HarnessX, argumentt, dass das wahre Geheimnis nicht nur darin besteht, einen besseren Praktikanten einzustellen, sondern ein besseres Büro, ein besseres Werkzeugset und ein besseres Regelwerk für ihn zu bauen.
Die Autoren nennen dieses „Büro-Setup“ ein Harness (Joch/Gestell).
Das Problem: Das „handgefertigte“ Büro
Derzeit muss ein menschlicher Ingenieur ein maßgeschneidertes Büro für den Praktikanten manuell bauen, wenn man möchte, dass die KI einen neuen Job erledigt. Er schreibt spezifische Anweisungen (Prompts), verbindet spezifische Werkzeuge und richtet Speichersysteme ein.
- Das Problem: Diese Büros sind statisch. Wenn sich der Praktikant ändert oder sich der Job ändert, muss das gesamte Büro von Grund auf neu gebaut werden.
- Die Verschwendung: Wenn der Praktikant scheitert, schauen wir uns den Fehler an, korrigieren das Büro manuell und versuchen es erneut. Wir nutzen diese Fehler jedoch selten, um das Büro automatisch zu verbessern oder gar den Praktikanten zu trainieren, damit er beim nächsten Versuch besser ist.
Die Lösung: Die „Harness-Gießerei“
HarnessX ist eine Fabrik (eine „Foundry“), die diese Büros automatisch baut. Es behandelt das Büro-Setup als ein lebendiges Gebilde, das selbstständig zusammengestellt, angepasst und weiterentwickelt werden kann.
So funktioniert es, unterteilt in drei einfache Teile:
1. Komposition: Das LEGO-Büro
Anstatt eines chaotischen, verhedderten Büros baut HarnessX das Büro aus typisierten, austauschbaren LEGO-Steinen namens „Processors“.
- Die Analogie: Stellen Sie sich vor, das Büro hat spezifische Steckplätze: einen für „Werkzeuge“, einen für „Speicher“, einen für „Regeln“ und einen für „Kontext“.
- Wie es funktioniert: Sie können einen „Websuche“-Block in den Werkzeug-Steckplatz einsetzen oder einen „Langzeitgedächtnis“-Block in den Speicher-Steckplatz. Da es sich um standardisierte Blöcke handelt, können Sie diese austauschen, ohne das gesamte Gebäude zu beschädigen. Dies macht das Büro modular und sicher veränderbar.
2. Adaptation: Der selbstverbessernde Manager (AEGIS)
Dies ist das Gehirn des Systems. HarnessX nutzt einen speziellen Manager namens AEGIS, der den Praktikanten bei der Arbeit beobachtet und das Büro automatisch repariert.
- Der Spiegel: AEGIS betrachtet das Büro wie einen Charakter in einem Videospiel. Es betrachtet die „Traces“ (die schrittweise Protokollierung dessen, was der Praktikant getan hat) und fragt: „Warum ist er gescheitert? War es das Werkzeug? Die Regel? Der Prompt?“
- Der 4-Schritte-Zyklus:
- Digest (Verarbeiten): Es liest die unstrukturierten Protokolle und fasst die Fehler zusammen.
- Plan (Planen): Es entscheidet, welche Art von Änderung nötig ist (z. B. „Wir brauchen ein neues Werkzeug“ vs. „Wir müssen die Anweisungen umschreiben“).
- Evolve (Entwickeln): Es baut tatsächlich die neue Büro-Konfiguration.
- Critic (Kritiker): Es fungt als strenger Sicherheitsinspektor. Es testet das neue Büro, um sicherzustellen, dass nichts beschädigt wird, was zuvor bereits funktionierte.
- Das Ergebnis: Das Büro wird von selbst immer besser, ohne dass ein Mensch jedes Mal den Code neu schreiben muss.
3. Co-Evolution: Eine Einbahnstraße in beide Richtungen
Normalerweise reparieren wir entweder das Büro oder wir trainieren den Praktikanten. HarnessX macht beides gleichzeitig.
- Die Analogie: Stellen Sie sich vor, das Büro wird besser, was dem Praktikanten hilft, neue Tricks zu lernen. Dann wird der Praktikant klüger, was es dem Büro ermöglicht, noch komplexere Aufgaben zu versuchen. Sie heben sich gegenseitig auf.
- Der Zyklus: Das System nutzt die Fehler des Praktikanten, um das Büro aufzuwerten, und nutzt das neue Büro wiederum, um bessere Trainingsdaten zu generieren, um das Gehirn des Praktikanten aufzuwerten. Sie heben sich gegenseitig an.
Was geschah in den Experimenten?
Das Team testete dies auf fünf verschiedenen „Spielen“ (Benchmarks), die von Online-Shopping bis hin zu Software-Engineering reichten. Sie verwendeten drei verschiedene Arten von KI-Modellen (von klein bis groß).
- Der große Sieg: Im Durchschnitt verbesserte das System die Leistung um 14,5 %.
- Der Super-Sieg: Für die schwächeren KI-Modelle war die Verbesserung massiv – bis zu 44 %.
- Warum? Das Paper stellt fest, dass schwächere Modelle mehr „Verhaltenslücken“ (Behavioral Gaps) aufweisen (sie wissen nicht, wie man bestimmte Dinge tut). Ein besseres Büro (Harness) kann diese Lücken sofort schließen. Stärkere Modelle sind bereits ziemlich gut, daher hilft ihnen das Büro weniger.
- Das „Stuck“-Problem: Bei einem sehr komplex gemischten Test (GAIA) konnte ein einzelnes Büro nicht alles lösen, da einige Aufgaben gegensätzliche Regeln erforderten. Das System löste dies, indem es mehrere Versionen des Büros (Varianten) erstellte und jede Aufgabe an die Version weiterleitete, die am besten geeignet war. Dies verhinderte, dass das System „vergaß“, wie man frühere Aufgaben erledigt.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir nicht darauf warten müssen, bis KI-Modelle unendlich intelligent werden, um bessere Ergebnisse zu erzielen. Indem wir eine zusammensetzbare, selbstentwickelnde Laufzeitumgebung (das Harness) bauen, können wir massive Leistungssteigerungen erzielen, insbesondere bei kleineren oder weniger fähigen Modellen.
Kurz gesagt: Kaufen Sie nicht nur einen klügeren Praktikanten; bauen Sie ein klügeres, selbstreparierendes Büro für ihn und lassen Sie ihn aus seinen eigenen Fehlern lernen, um das Büro noch besser zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.