StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

In der Welt des modernen Computings entsteht eine wachsende Klasse intelligenter Programme, die als Agenten bekannt sind. Dies sind nicht nur einfache Werkzeuge, die einem einzelnen Befehl folgen; es sind Systeme, die darauf ausgelegt sind, zu schlussfolgern, Informationen zu betrachten und Maßnahmen zu ergreifen, um komplexe Probleme zu lösen, ganz ähnlich wie ein menschlicher Mitarbeiter. Um zu funktionieren, verlassen sich diese Agenten auf zwei unterschiedliche Teile. Der erste ist das Gehirn, ein großes Sprachmodell, das die Schlussfolgerung und das Wissen bereitstellt. Der zweite ist das Geschirr (Harness), das als Hände, Augen und Ohren des Agenten fungiert. Das Geschirr definiert, wie der Agent die Welt sieht, welche Werkzeuge er benutzen darf und wie er seine eigene Arbeit überprüft. Jahrelang haben sich Wissenschaftler fast ausschließlich darauf konzentriert, das Gehirn größer und klüger zu machen. Doch in der chaotischen, regelbasierten Realität von Geschäftsumgebungen kann ein brillantes Gehirn dennoch scheitern, wenn seine Hände tollpatschig sind oder wenn es die spezifischen Regeln des Büros, in dem es arbeitet, nicht versteht. Dies wirft eine praktische Frage auf: Wenn wir das Gehirn nicht ändern können, können wir dann die Hände und die Regeln verbessern, um den Agenten besser arbeiten zu lassen?

Ein Forscherteam bei ServiceNow, zusammen mit Kooperationspartnern aus akademischen Institutionen, ging dieser Frage mit einem neuen Framework namens StarHarness nach. Sie konzentrierten sich auf eine spezifische Herausforderung, die in Unternehmensumgebungen vorkommt, in denen Software Aufgaben wie die Verwaltung von IT-Systemen, Finanzworkflows und Kundenservicedaten übernehmen muss. In diesen Umgebungen muss die Software mit Datenbanken und Werkzeugen interagieren, die strikte, oft verborgene Regeln besitzen. Die Forscher wollten sehen, ob sie das Geschirr des Agenten automatisch verbessern können, ohne jemals das zugrunde liegende Gehirn anzupassen. Sie behandelten das Geschirr als einen Stück Code, der durch einen Prozess von Versuch und Irrtum entwickelt oder verbessert werden konnte. Das Ziel war es, einen besseren Weg zu finden, wie der Agent seine Aufgaben rahmt, seine Werkzeuge nutzt und seine Ergebnisse verifiziert, während die internen Gewichte des Modells vollständig eingefroren bleiben.

Um ihre Idee zu testen, entwickelten die Forscher ein System, das nach Verbesserungen auf kontrollierte Weise suchen konnte. Sie begannen damit, den Agenten auf einem großen Satz von Aufgaben laufen zu lassen, um zu sehen, wo er typischerweise scheiterte. Dann unterteilten sie diese Aufgaben in drei Gruppen. Eine Gruppe wurde verwendet, um Änderungen vorzuschlagen, eine andere wurde verborgen gehalten, um zu testen, ob die Änderungen tatsächlich funktionierten, und eine dritte Gruppe wurde für eine abschließende, unvoreingenommene Prüfung aufbewahrt. Das System schlug eine kleine Änderung am Geschirr vor, wie etwa die Korrektur des Aufrufs eines Werkzeugs oder das Hinzufügen einer Regel, um einen häufigen Fehler zu verhindern. Es testete diese Änderung dann an der verborgenen Gruppe. Wenn die Änderung die Leistung des Agenten verbesserte, behielt das System sie bei; wenn nicht, verworf es sie. Dieser Prozess wiederholte sich selbst, wodurch das Geschirr langsam zu einer fähigeren Version seiner selbst evolvierte. Die Forscher nutzten diese Methode bei drei verschiedenen Arten von geschäftlichen Herausforderungen: der Analyse von Computernetzwerkfehlern, der Verwaltung von IT-Serviceanfragen und der Handhabung von Finanzworkflows.

Die Ergebnisse waren beeindruckend. Nachdem das System nur eine Handvoll akzeptierter Änderungen vorgenommen hatte – typischerweise zwischen vier und zwölf Anpassungen pro Umgebung – sprang die Leistung des Agenten signifikant an. Über die Benchmarks hinweg verbesserte sich die Gesamtleistung im Vergleich zum Standard-Geschirr um 20–35 Prozentpunkte. Speziell verbesserte sich die Erfolgsrate bei den Netzwerkanalysetasks um 35 Prozentpunkte, stieg um 20 Prozentpunkte in den IT-Service-Management-Tests und kletterte um 26 Prozentpunkte in den Finanzworkflows. Entscheidend war, dass diese Verbesserungen nicht nur das Ergebnis des Auswendiglernens der spezifischen Probleme waren, die das System während des Trainings gesehen hatte. Als die Forscher das evolvierte Geschirr an neuen, ungesehenen Aufgaben testeten, schnitt der Agent immer noch wesentlich besser ab als zuvor. Noch überraschender war, dass die Verbesserungen auf andere Arten von KI-Modellen übertrugen. Ein Geschirr, das unter Verwendung einer spezifischen Modellfamilie entwickelt wurde, funktionierte genauso gut, wenn es einer völlig anderen Modellfamilie gegeben wurde, ohne dass weiteres Training oder Anpassung erforderlich war.

Die Forscher analysierten die Änderungen, um zu verstehen, was das System tatsächlich gelernt hatte. Sie fanden heraus, dass die Verbesserungen in drei klare Kategorien fielen. Erstens reparierte das System die Schnittstellen zwischen dem Agenten und seinen Werkzeugen und behob Fehler, die dazu führten, dass der Agent Werkzeuge fehlerhaft aufrief. Zweitens lernte es die verborgenen Konventionen der Umgebung kennen, wie etwa die spezifische Reihenfolge, in der bestimmte Schritte durchgeführt werden müssen, oder wie man mit Daten und Prioritäten korrekt umgeht. Drittens komprimierte es den Suchprozess durch das Hinzufügen von operativen Kenntnissen, was es dem Agenten ermöglichte, unnötige Schritte zu überspringen und sich auf die wahrscheinlichsten Ursachen eines Problems zu konzentrieren. Beispielsweise lernte das evolvierte Geschirr bei den Finanzaufgaben, Sicherheitsverletzungen zu prüfen, bevor es irgendwelche Änderungen vornimmt, was die Anzahl der Fehler drastisch reduzierte. Bei den Netzwerkanalysetasks lernte der Agent, die Suche abzubrechen, sobald er eine wahrscheinliche Ursache fand, anstatt Zeit mit der Suche nach weiteren Beweisen zu verschwenden, die nicht benötigt wurden.

Diese Erkenntnisse legen nahe, dass für viele reale Geschäftsanwendungen die größte Barriere für den Erfolg nicht die Intelligenz des Modells ist, sondern das Design des Systems, das es leitet. Durch die Evolution des Geschirrs konnten die Forscher die Anzahl der Fehldiagnosen reduzieren, die Zeit bis zum Abschluss der Aufgaben verkürzen und die Kosten für den Betrieb des Agenten senken. Die Studie zeigt, dass ein festes, unveränderliches Gehirn bemerkenswert effektiver werden kann, wenn die es umgebenden Werkzeuge und Regeln sorgfältig auf die spezifische Umgebung abgestimmt sind, in der es operiert. Dies bietet einen praktischen Weg nach vorn für Organisationen, die heute zuverlässige KI-Agenten benötigen, ohne auf die nächste Generation größerer Modelle warten zu müssen. Die Arbeit zeigt, dass manchmal das leistungsstärkste Upgrade nicht ein neuer Verstand ist, sondern eine bessere Art des Arbeitens.