EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement
EvolveNet führt ein kollaboratives Framework für die Selbstverbesserung von Agenten ein, das ein gemeinsames Harness an lokale Agenten zur unabhängigen Evolution überträgt und anschließend deren Programmanpassungen aggregiert, wodurch ein Wissenstransfer über isolierte Workloads hinweg ermöglicht wird, ohne Rohdaten zu zentralisieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn (ein Large Language Model), das Code schreiben, mathematische Probleme lösen oder Reisen planen kann. Aber dieses Gehirn ist eingefroren; Sie können es nicht neu trainieren oder seine interne Verdrahtung ändern. Um es dazu zu bringen, tatsächlich Dinge zu tun, müssen Sie es in ein „Geschirr“ einwickeln – eine Reihe von Anweisungen, einem Skript oder einem Programm, das dem Gehirn sagt, wann es sprechen soll, welche Werkzeuge es benutzen soll, wie es seine eigene Arbeit überprüfen kann und was zu tun ist, wenn es einen Fehler macht. Betrachten Sie das Geschirr als den Körper und das Nervensystem des Roboters. Ein besserer Körper kann dasselbe eingefrorene Gehirn Wunder vollbringen lassen, die es zuvor nicht geschafft hätte.
Lange Zeit versuchten Wissenschaftler, diese Körper zu verbessern, indem sie alle Fehler und Erfolge des Roboters in einem riesigen Haufen von Daten an einem zentralen Hauptquartier sammelten. Dort versuchte ein einziger „Optimierer“, einen perfekten Körper für alle zu entwickeln. Aber in der realen Welt sind Roboter (oder Agenten) überall verstreut: in verschiedenen Unternehmen, mit verschiedenen Datenbanken und in unterschiedlichen Umgebungen. Sie können ihre privaten Daten nicht immer teilen, sei es aufgrund von Datenschutzregeln oder technischer Grenzen. Dies schafft ein Rätsel: Wie erschafft man einen gemeinsamen, superintelligenten Körper für alle, wenn man nicht die gesamte Erfahrung an einen einzigen Ort bringen kann?
Hier kommt das Papier EvolveNet mit einer cleveren neuen Idee ins Spiel. Anstatt all die unordentlichen Daten an einen Ort zu sammeln, dreht EvolveNet das Skript um. Es schickt einen „gemeinsamen Körper“ (das Geschirr) zu allen verschiedenen Robotern hinaus. Jeder Roboter versucht, diesen Körper mithilfe seiner eigenen lokalen Daten und seiner eigenen spezifischen Probleme zu verbessern. Sobald sie fertig sind, senden sie nicht ihre Daten zurück; sie senden nur die Änderungen zurück, die sie am Körper vorgenommen haben. Ein zentraler Server fungiert dann wie ein Meisterschneider, der die besten Teile all dieser verschiedenen Modifikationen zu einem neuen, verbesserten gemeinsamen Körper zusammennäht, der dann wieder an alle zurückgesendet wird.
Das Papier stellt fest, dass diese „kollaborative Evolution“ unglaublich gut funktioniert. In Tests über fünf verschiedene Bereiche hinweg – wie etwa das Umwandeln von Text in Datenbankabfragen, das Schreiben von Data-Science-Code und das Lösen von Wettbewerbs-Programmieraufgaben – wurde der gemeinsame Körper bei jeder Aufgabe signifikant besser. Beispielsweise sprang die Genauigkeit bei einer Programmieraufgabe namens DS-1000 von 55,5 % auf 68,5 %. Entscheidend ist, dass das Papier zeigt, dass diese Verbesserung nicht dadurch entsteht, dass man einfach den einen besten Roboter auswählt und den Rest ignoriert. Stattdessen kommt sie durch das Kombinieren der einzigartigen Korrekturen, die von verschiedenen Robotern entdeckt wurden. Ein Roboter könnte ein Problem mit einer bestimmten Art von Mathematikbibliothek beheben, während ein anderer einen Logikfehler in einem anderen Bereich korrigiert. Die Aufgabe des Servers ist es, herauszufinden, wie man beide Korrekturen beibehält, ohne dass sie sich gegenseitig bekämpfen. Die Forscher fanden heraus, dass sie durch die Verwendung von „scope-typisierten“ Regeln – was im Wesentlichen bedeutet, dem Körper zu sagen: „Verwende diese Korrektur nur, wenn du dich mit Mathematik beschäftigst, aber verwende jene Korrektur nur, wenn du dich mit Karten beschäftigst“ – diese verschiedenen Fähigkeiten in einen einzigen, hochkompetenten Agenten zusammenführen konnten.
Die Studie widerlegt auch die Vorstellung, dass man alle Daten zentralisieren muss, um gute Ergebnisse zu erzielen. Sie beweist, dass man Daten lokal und privat halten kann und dennoch gemeinsam ein intelligenteres System aufbauen kann. Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles sofort löst. Der Prozess erfordert mehrere Runden von Versuch und Irrtum, und das System ist darauf angewiesen, dass gelabelte Daten vorhanden sind, um zu prüfen, ob die Änderungen tatsächlich funktionieren. Obwohl die Ergebnisse stark sind und über mehrere reale Szenarien hinweg gemessen wurden, deutet das Papier darauf an, dass es, wenn diese Systeme größer werden und über mehr Runden laufen, neue Herausforderungen geben könnte, wie etwa dass der Code zu groß oder zu unübersichtlich wird, die gemanagt werden müssen. Aber für den Moment zeigt EvolveNet, dass wir, indem wir viele Agenten ihre eigenen spezialisierten Fähigkeiten entwickeln lassen und diese dann sorgfältig zusammennähen, eine kollektive Intelligenz erschaffen können, die weit klüger ist als jeder einzelne Agent für sich allein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.