Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
Dieses Paper schlägt Multi-Objective In-context Knowledge Editing (MO-IKE) vor, einen Multi-Objective Reinforcement Learning Algorithmus, der die Prompt-Konstruktion als einen Constrained Markov Decision Process formuliert, um gleichzeitig Zuverlässigkeit, Generalisierbarkeit und Spezifität zu optimieren und dadurch im Vergleich zu bisherigen Methoden eine überlegene Leistung bei der Aktualisierung von LLM-Wissen zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind die Motoren hinter einer neuen Generation künstlicher Intelligenz, die in der Lage sind, Geschichten zu schreiben, Probleme zu lösen und Fragen mit einer Flüssigkeit zu beantworten, die oft menschliches Denken nachahmt. Diese Systeme haben jedoch eine grundlegende Einschränkung: Ihr Wissen ist in der Zeit eingefroren. Sobald ein Modell sein initiales Training abgeschlossen hat, werden die Fakten, die es besitzt, statisch. Wenn ein Modell vor den Olympischen Winterspielen 2026 trainiert wurde, wird es die endgültige Medaillenverteilung nicht kennen, egal wie oft man fragt. Die Aktualisierung dieses Wissens erfordert normalerweise einen massiven, teuren Retraining-Prozess, der für die meisten Nutzer unpraktikabel ist. Um dies zu lösen, haben Forscher eine Technik namens „In-Context Knowledge Editing“ entwickelt. Anstatt den internen Code des Modells zu ändern, stellt diese Methode dem Modell im Gesprächsprompt eine Reihe von Beispielen zur Verfügung, wodurch es effektiv für die Dauer dieser spezifischen Interaktion einen neuen Fakt lehrt. Die Herausforderung besteht darin, den perfekten Satz an Beispielen zu konstruieren: Er muss stark genug sein, um das Modell dazu zu zwingen, den neuen Fakt zu akzeptieren, flexibel genug, um auch dann zu funktionieren, wenn die Frage anders formuliert ist, und präzise genug, um sicherzustellen, dass das Modell nicht versehentlich unbezogene Fakten, die es bereits kennt, vergisst oder verändert.
Ein Team von Forschern hat nun ein neues System namens MO-IKE vorgestellt, das die Art und Weise, wie diese Prompts erstellt werden, signifikant verbessert. Frühere Versuche, diesen Prozess zu automatisieren, stützten sich auf Reinforcement Learning, eine Methode, bei der ein Computerprogramm durch Versuch und Irrtum lernt. Während diese früheren Systeme das Modell erfolgreich lehren konnten, einen neuen Fakt zu kennen, taten sie dies oft zu einem hohen Preis. In ihrem Bestreben, sicherzustellen, dass der neue Fakt akzeptiert wird, entfernten die Systeme die Beispiele, die benötigt wurden, um das bestehende Wissen des Modells zu schützen. Dies schuf ein fragiles Gleichgewicht, bei dem das Beheben eines Fehlers dazu führte, dass andere auftauchten. Der neue Ansatz betrachtet die Konstruktion des Prompts nicht als eine einfache Liste von Elementen, sondern als einen sequenziellen Entscheidungsprozess. Das System lernt, nacheinander zu entscheiden, ob es ein Beispiel hinzufügt, das den neuen Fakt nennt, ein Beispiel, das die Frage umformuliert, oder ein Beispiel, das einen Fakt verstärkt, der unverändert bleiben soll. Es hört erst auf, Beispiele hinzuzufügen, wenn es feststellt, dass der Prompt vollständig ist.
Die Forscher haben dieses System unter Verwendung einer Multi-Objective-Reward-Struktur trainiert, was bedeutet, dass der Computer gleichzeitig für den Erfolg in drei Bereichen belohnt wurde: die korrekte Wiedergabe des neuen Fakts, die Handhabung verschiedener Arten der Fragestellung und die Bewahrung unbezogener Fakten. Durch das Ausbalancieren dieser konkurrierenden Ziele verhindert die neue Methode, dass das System zu aggressiv bei seinen Aktualisierungen wird. In Tests an einem Standard-Faktensatz steigerte das neue System die Erfolgsrate der Bearbeitung von 87,1 Prozent auf 91,1 Prozent. Wichtiger noch: Es verbesserte die Erhaltungsrate unbezogener Informationen dramatisch von 41,0 Prozent auf 63,4 Prozent. Das bedeutet, dass das Modell nun viel weniger wahrscheinlich Fakten „vergisst“, die es während des Lernens der neuen Informationen nicht ändern musste. Das System erwies sich zudem als hochgradig anpassungsfähig; eine Version, die auf ein spezifisches Sprachmodell trainiert wurde, funktionierte ebenso gut, wenn sie auf ein völlig anderes Modell ohne zusätzliches Training angewendet wurde.
Die Studie zeigt, dass die Art und Weise, wie Beispiele organisiert werden, genauso wichtig ist wie die Beispiele selbst. Frühere Methoden verwendeten oft eine feste Vorlage oder konzentrierten sich nur auf eine einzige Art von Beispiel, was zu unausgewogenen Prompts führte. Das neue System mischt dynamisch verschiedene Arten von Beispielen und schafft so einen Kontext, der robust und spezifisch ist. In Tests über fünf verschiedene gefrorene Sprachmodelle und vier verschiedene Datensätze hinweg, einschließlich eines massiven Benchmarks mit über 300.000 Beispielen, übertraf die Methode konsequent bisherige Techniken. Die Forscher fanden heraus, dass sie durch das sorgfältige Management des Kompromisses zwischen dem Lehren neuer Informationen und dem Schutz alter Informationen ein Maß an Zuverlässigkeit und Spezifität erreichen konnten, das zuvor unerreichbar war. Diese Arbeit legt nahe, dass die Zukunft der Aktualisierung künstlicher Intelligenz nicht in massivem Retraining liegen könnte, sondern in klügeren, ausgewogeneren Wegen, das Modell durch Konversation zu führen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.