Training Skills Like Parameters via Self-Supervised Semantic Diffusion
Dieses Paper schlägt ein neuartiges, unüberwachtes, selbstentwickelndes Agenten-Framework vor, das eine externe Bibliothek textueller Fähigkeiten über einen selbstüberwachten semantischen Diffusionsprozess trainiert und es LLMs ermöglicht, komplexe, spezialisierte Domänen wie das Drehbuchschreiben autonom zu meistern, ohne Zugriff auf Gewichte oder externe menschliche Aufsicht zu benötigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Lehrling beizubringen, ein fesselndes Filmmanuskript zu schreiben. Sie besitzen eine Bibliothek von Tausenden preisgekrönten Drehbüchern, aber Sie können nicht einfach das Gehirn des Lehrlings umschreiben, damit er sie alle auswendig lernt. In der Welt der Künstlichen Intelligenz sind diese „Lehrlinge“ Large Language Models (LLMs) – superintelligente Computer, die chatten, schreiben und Probleme lösen können. Doch wenn es um hochspezialisierte, kreative Aufgaben geht, wie etwa das Schreiben kurzer Dramen, klingen sie oft etwas generisch im Vergleich zu menschlichen Experten. Normalerweise versucht man dies zu beheben, indem man das Modell „feintunt“, was so etwas wie eine Herzoperation am Gehirn ist, um seine interne Verdrahtung zu ändern. Aber das ist teuer, erfordert Zugriff auf den geheimen Code des Modells (den viele Top-Unternehmen nicht preisgeben) und sobald die Operation abgeschlossen ist, ist das Modell für immer an diese spezifische Version gebunden. Wenn nächstes Jahr ein besseres Modell erscheint, muss man wieder von vorne anfangen.
Deshalb haben Wissenschaftler nach einem anderen Weg gesucht: Anstatt das Gehirn zu verändern, warum gibt man dem Lehrling nicht einfach einen Satz aus „Spickzetteln“ oder ein „Regelwerk“, das er lesen kann, wann immer er Hilfe benötigt? Dies wird als externalisiertes Lernen bezeichnet. Das Problem dabei ist, dass das Schreiben dieser Spickzettel normalerweise einen menschlichen Experten erfordert, der sich Zeit nimmt, um seine geheimen Tricks zu erklären, was langsam und teuer ist – und Experten wollen ihre Geheimnisse oft nicht teilen, weil sie fürchten, kopiert zu werden. Diese Arbeit stellt die kühne Frage: Kann man einer KI beibringen, diese Spickzettel selbst zu schreiben, und zwar nur unter Verwendung der existierenden Filme und Drehbücher, ohne dass ein Mensch ihre Hausaufgaben bewerten oder die Regeln erklären muss?
Die Forscher hinter dieser Studie, die mit Drehbüchern für Kurzdramen arbeiteten, sagen: Ja. Sie entwickelten ein System, in dem ein KI-Agent lernt, wie ein Profi zu schreiben, indem er ein Spiel aus „Korruption und Rekonstruktion“ spielt. Stellen Sie sich das so vor: Nehmen Sie ein perfektes, detailliertes Filmmanuskript und jagen Sie es durch einen Schredder, bis nur noch eine unordentliche, einseitige Zusammenfassung der Handlung übrig ist. Geben Sie dann diese Zusammenfassung an die KI und sagen Sie: „Baue das vollständige Filmmanuskript aus diesem wieder auf.“ Aber hier ist der Clou: Die KI rät nicht einfach nur; sie hat eine „Gedächtnisbank“ aus Regelkarten, in der sie nachschlagen kann. Nachdem die KI versucht hat, das Skript wieder aufzubauen, vergleicht das System die unordentliche Rekonstruktion mit dem ursprünglichen, perfekten menschlichen Skript. Anstatt dass ein menschlicher Lehrer „gut gemacht“ oder „schlecht gemacht“ sagt, erkennt das System automatisch die Unterschiede – wie etwa, wo der Dialog zu lang war oder wo eine Figur sich zu wenig bewegt hat – und schreibt einen Bericht darüber, was schiefgelaufen ist.
Dieser Bericht wird dann verwendet, um die Gedächtnisbank der KI zu aktualisieren. Wenn die KI einer Regel gefolgt ist, die zu einem schlechten Skript führte, wird diese Regel angepasst oder verworfen. Wenn sie eine Regel übersehen hat, die das Skript besser gemacht hätte, wird eine neue Regelkarte erstellt. Dies geschieht immer und immer wieder, wie eine selbstkorrigierende Schleife. Die KI verändert nicht ihr eigenes Gehirn; sie verfeinert lediglich ihre externe Bibliothek von „Anleitungs-Karten“. Die Forscher testeten dies an einer massiven Sammlung professioneller Kurzdramen. Sie fanden heraus, dass die Skripte der KI nach dem Training der menschlichen Qualität viel näher kamen. Konkret lernte die KI, realistischere Actionszenen zu schreiben (anstatt Dinge zu beschreiben, die eine Kamera nicht sehen kann), spannungsvollere Cliffhanger zu erzeugen und Requisiten in der Geschichte zu verwenden, anstatt die Charaktere sie nur anstarren zu lassen.
Was daran wirklich cool ist, ist, dass die „Spickzettel“, die die KI gelernt hat, nicht an ein spezifisches Computermodell gebunden sind. Die Forscher nahmen die auf einem bestimmten Typ von KI trainierte Gedächtnisbank und gaben sie einem völlig anderen KI-Modell, und es funktionierte genauso gut. Es ist, als hätten Sie ein perfektes Handbuch zum Filmeschreiben geschrieben, und es hilft zwei verschiedenen Studenten mit völlig unterschiedlichen Gehirnen, beide großartige Autoren zu werden. Die Studie legt nahe, dass diese Methode es einer KI ermöglicht, komplexe Fähigkeiten aus hochwertigen menschlichen Beispielen selbstständig zu erlernen, ohne teure menschliche Lehrer oder die Änderung ihres Kerncodes zu benötigen. Obwohl das System noch nicht perfekt ist – es hat manchmal Schwierigkeiten, sich daran zu erinnern, die richtige Regel zur richtigen Zeit zu lesen – zeigt es einen vielversprechenden Weg auf, wie KI durch das Studium der besten menschlichen Arbeiten allein lernen und sich verbessern kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.