Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents
Dieses Paper stellt ein selbstentwickelndes Empfehlungssystem vor, das Google-Gemini-LLM-Agenten nutzt, um durch einen Dual-Loop-Workflow autonom optimierte Modellarchitekturen und Belohnungsfunktionen zu generieren, zu validieren und bereitzustellen, wobei es in Produktionsumgebungen bei YouTube im Vergleich zu herkömmlicher manueller Entwicklung eine überlegene Entwicklungsgeschwindigkeit und Performance erfolgreich demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihre Lieblings-Video-App nicht nur errät, was Sie als Nächstes sehen wollen, sondern tatsächlich lernt, wie sie das Raten jeden Tag von selbst verbessert. Dies ist das Reich des Reinforcement Learning (Bestärkendes Lernen), eines Zweigs der künstlichen Intelligenz, bei dem ein Computerprogramm wie ein neugierger Entdecker agiert. Es probiert verschiedene Aktionen aus (wie das Zeigen eines Katzenvideos oder eines Kochtutorials), sieht, was passiert (haben Sie es angeschaut? Hat es Ihnen gefallen?), und erhält eine „Belohnung“ für gute Entscheidungen. Das Ziel ist es, diese Belohnung im Laufe der Zeit zu maximieren. Aber hier liegt der knifflige Teil: herauszufinden, wie man diese Belohnung vergibt, ist unglaublich schwer. Es ist, als würde man versuchen, einem Hund das Apportieren beizubringen, aber man kann nicht „Hund sprechen“, und der Hund zeigt erst Wochen später, ob er glücklich ist. Traditionell müssen Menschen Jahre damit verbringen, die Regeln anzupassen, zu erraten, was der Hund (oder der Nutzer) wirklich will, und den Code manuell umzuschreiben. Diese Arbeit stellt eine kühne Frage: Was wäre, wenn wir ein System bauen könnten, das dieses Anpassen, Experimentieren und Umschreiben ganz von selbst erledigt, ohne dass ein Mensch ihm bei jedem Schritt die Hand halten muss?
Die Forscher bei Google schlagen eine Lösung vor, die sie ein Self-Evolving Recommendation System (selbstentwickelndes Empfehlungssystem) nennen. Denken Sie an eine digitale Fabrik, in der die Maschinen nicht nur Produkte bauen, sondern den Fabrikboden neu gestalten, neue Werkzeuge erfinden und die Bedienungsanleitungen umschreiben, während die Fabrik noch läuft. Das Herzstück dieses Systems sind LLM Agents – spezialisierte Computerprogramme, die von Large Language Models angetrieben werden (derselbe Typ KI, der auch Geschichten schreiben oder mit Ihnen chatten kann). Diese Agenten fungieren wie ein Team aus superintelligenten, unermüdlichen Machine-Learning-Ingenieuren, die niemals schlafen. Sie passen nicht nur ein paar Zahlen an; sie lesen den Code, entwickeln wilde neue Ideen dafür, wie das System funktionieren sollte, schreiben den Code, um diese Ideen zu testen, und überprüfen dann die Ergebnisse.
Das System arbeitet wie ein Zwei-Personen-Staffellauf mit sehr unterschiedlichen Tempi. Der erste Läufer ist der Offline Agent, die „schnelle Schleife“. Dieser Agent ist eine hyperaktive Ideenmaschine. Er wacht alle fünf Minuten auf, blict auf Berge von Daten und generiert hunderte neuer Hypothesen. Es ist, als würde ein Koch eine Suppe probieren und sofort denken: „Was wäre, wenn ich eine Prise Zimt hinzufüge?“ oder „Was wäre, wenn ich das Messer gegen einen Mixer austausche?“. Er testet diese Ideen schnell mithilfe von „Proxy-Metriken“ – schnellen, leicht messbaren Signalen, die andeuten, ob eine Idee gut ist. Wenn die Suppe in der Testschale seltsam schmeckt, zieht der Agent weiter.
Der zweite Läufer ist der Online Agent, die „langsame Schleife“. Dies ist der vorsichtige Stratege. Er nimmt die besten Ideen aus der schnellen Schleife und testet sie in der realen Welt, an echten Nutzern. Dies ist der „Nordstern-Test“. Hat das neue Rezept die Menschen tatsächlich glücklicher gemacht und sie dazu gebracht, länger zuzuschauen? Dies braucht Zeit – Tage oder sogar Wochen – da sich das reale menschliche Verhalten nur langsam ändert. Der Online Agent entscheidet, welche Ideen es wert sind, behalten zu werden, und welche aussortiert werden sollten, um sicherzustellen, dass nur die vielversprechendsten Änderungen es auf die endgültige Speisekarte schaffen.
Die Arbeit stellt fest, dass dieses autonome Team überraschend effektiv ist. Als sie diese KI-Agenten auf YouTubes Empfehlungssystem losließen, passten die Agenten nicht nur Einstellungen an; sie entdeckten völlig neue Wege, die Software zu strukturieren. Zum Beispiel fanden die Agenten heraus, dass der Wechsel des „Motors“ des Modells von einer Art mathematischer Berechnung zu einer anderen (von Adagrad zu RMSprop) das Lernen beschleunigte. Sie erfanden sogar eine neue „Gated Path“-Architektur, eine clevere Art, Informationen durch das System fließen zu lassen, die Menschen zuvor nicht ausprobiert hatten. Am beeindruckendsten war, dass sie das „Belohnungssystem“ selbst neu gestalteten. Anstatt nur Klicks zu zählen, fanden die Agenten heraus, wie man komplexe Signale kombiniert – etwa ob ein Nutzer ein Video geteilt oder es lange angesehen hat –, um eine intelligentere Definition von „Glück“ zu kreieren.
Die Ergebnisse waren messbar und signifikant. In Tests verbesserten die KI-gesteuerten Änderungen die Schlüsselmetriken für YouTube-Nutzer und übertrafen viele Änderungen, die von menschlichen Ingenieuren im gleichen Zeitraum vorgenommen wurden. Das System schaffte es, Experimente in einer Geschwindigkeit durchzuführen, die Menschen nicht erreichen konnten, indem es hunderte Ideen pro Woche testete, statt nur einer Handvoll. Während die Arbeit anmerkt, dass die KI immer noch Menschen braucht, um die großen Regeln festzulegen und die Endergebnisse zu prüfen, deutet sie darauf an, dass die Zukunft beim Bau dieser Systeme weniger wie ein Team von Ingenieuren aussehen wird, die nachts spät am Code arbeiten, sondern eher wie ein Gärtner, der einen selbstbeschneidenden, selbstpflanzenden Garten pflegt, der jeden Tag besser wächst. Die Autoren bestätigen, dass dieser Ansatz in der realen Welt funktioniert, und beweisen, dass KI-Agenten tatsächlich als Experten-Ingenieure agieren können, die Verbesserungen entdecken, die sowohl struktureller als auch semantischer Natur sind und nicht bloß numerische Anpassungen darstellen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.