Navigating User Behavior toward Personalized Multimodal Generation
Das Papier schlägt NaviGen vor, ein Framework, das die Interaktionshistorie der Nutzer durch den Einsatz dualer Identifikatoren und einer zweistufigen SFT+RL-Pipeline in ausführbare Instruktionen für personalisierte multimodale Generierung transformiert, um Herausforderungen bei der Verhaltenskodierung und der Instruktionsformulierung zu bewältigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr talentierten, hochtechnologischen Künstler (eine KI), der wunderschöne Bilder malen oder erstaunliche Videos erstellen kann, basierend auf Ihren Anweisungen. Das Problem ist, dass dieser Künstler unglaublich wörtlich nimmt. Wenn Sie sagen: „Zeichne eine Fantasieszene“, zeichnet er vielleicht etwas Generisches, das nicht ganz Ihrem spezifischen Geschmack entspricht. Die meisten Menschen sind keine professionellen Künstler und können daher nicht die perfekten, detaillierten Anweisungen schreiben, die nötig sind, um genau das zu bekommen, was sie wollen.
Das große Problem:
Wir haben eine riesige Lücke zwischen dem, was Nutzer tatsächlich mögen (basierend auf dem, was sie anklicken, anschauen oder kaufen), und den spezifischen Anweisungen, die nötig sind, um der KI zu sagen, was sie tun soll. Nutzer sagen selten: „Ich möchte eine filmische Weitwinkelaufnahme des Kolosseums von Rom in der Dämmerung mit volumetrischem Nebel.“ Sie klicken einfach nur auf ein paar coole Videos oder kaufen ein paar Spiele. Die KI muss herausfinden, wie sie diese Klicks in eine perfekte Anweisung übersetzt.
Die Lösung: NaviGen
Die Forscher haben ein System namens NaviGen (Navigation + Generation) entwickelt, das als „Übersetzer“ zwischen Ihrem vergangenen Verhalten und dem KI-Künstler fungiert. So funktioniert es, unter Verwendung einiger einfacher Analogien:
1. Das Dual-ID-System (Das „Namensschild“ und der „Lebenslauf“)
Um Sie zu verstehen, weist NaviGen jedem Artikel, mit dem Sie interagiert haben (wie einem Spiel oder einem Video), zwei spezielle „ID-Karten“ zu:
- Der kollaborative Identifikator (CID): Betrachten Sie dies als einen verhaltensbasierten Fingerabdruck. Es ist ein Code, der sagt: „Personen, die dies mochten, mochten auch jenes.“ Er erfasst das Muster Ihres Geschmacks, ohne den Text lesen zu müssen. Es ist wie ein Geheimcode, der der KI sagt: „Dieses Objekt gehört zur ‚Abenteuer‘-Familie.“
- Der textuelle Identifikator (TID): Betrachten Sie dies als einen komprimierten Lebenslauf. Es ist eine kurze, organisierte Liste von Schlüsselwörtern (wie „Fantasy“, „Romanze“, „Action“), die beschreibt, worum es bei dem Artikel eigentlich geht.
Durch die Kombination dieser beiden Elemente gibt NaviGen der KI ein kompaktes „Verhaltenssubstrat“ (den Code) und eine „semantische Brücke“ (die Schlüsselwörter) in einem einzigen Paket. Dies hilft der KI zu verstehen, warum Sie etwas mochten, und nicht nur, was es war.
2. Der Trainingsprozess (Lernen zu schreiben)
Die KI muss zwei Dinge lernen: wie man Ihren Geschmack versteht und wie man eine gute Anweisung schreibt. NaviGen lehrt dies in zwei Phasen:
Phase 1: Überwachtes Fine-Tuning (Die „Lernstunde“):
Das System nutzt einen cleveren Trick namens Evolutionäre Suche. Stellen Sie sich eine Gruppe von Autoren vor, die versuchen, die perfekte Anweisung für einen Nutzer zu erraten. Sie beginnen mit drei verschiedenen Stilen (konservativ, ausgewogen, explorativ). Sie mischen und kombinieren ihre Ideen (wie das Kreuzen von Pflanzen), und ein „Editor“ (eine andere KI) wählt die besten aus, um die nächste Generation von Anweisungen zu erstellen.
Das Modell lernt aus diesen „evolvierten“ Anweisungen. Es lernt auch, „laut zu denken“ (Chain-of-Thought) und zu erklären, wie sich der Geschmack eines Nutzers von einem Klick auf ein lustiges Elfen-Video hin zu einer romantischen Anime-Szene entwickelt hat.Phase 2: Bestärkendes Lernen (Die „Spielshow“):
Sob sobald das Modell Anweisungen schreiben kann, spielt es ein Spiel, um besser zu werden. Es erhält Punkte (Belohnungen) für:- Genauigkeit: Hat es den richtigen „Verhaltenskodex“ (CID) für das nächste Element vorhergesagt, das der Nutzer wahrscheinlich mögen wird?
- Qualität: Ist die Anweisung spezifisch, kreativ und tatsächlich für den Bild-/Videogenerator machbar?
- Konsistenz: Passt die Anweisung zum vorhergesagten Artikel, und passt der vorhergesagte Artikel zur Historie des Nutzers?
3. Die Ergebnisse
Die Forscher haben dies in drei verschiedenen Welten getestet: Shopping (Produkte), Gaming und Kurzvideos.
- Bessere Kunst: Als NaviGen die Anweisungen schrieb, waren die resultierenden Bilder und Videos relevanter für den spezifischen Geschmack des Nutzers, sahen ästhetischer aus und waren kreativer als Anweisungen anderer Methoden.
- Besseres Vorhersagen: Es war auch besser darin, vorherzusagen, welches Element ein Nutzer als Nächstes anklicken würde, was beweist, dass es den „verhaltensbasierten Fingerabdruck“ des Nutzers wirklich verstanden hat.
- Der „Aha!“-Moment: In einer Fallstudie ging die Historie eines Nutzers von „lustigen Elfen-Videos“ zu „romantischem Anime“. Andere Systeme sahen einfach nur „Anime“. NaviGen sah den Übergang und schrieb eine Anweisung für eine „romantische Anime-Szene mit einem Schülerpaar“, was viel näher an dem war, was der Nutzer tatsächlich wollte.
Zusammenfassung
NaviGen ist wie ein persönlicher Assistent, der beobachtet, was Ihnen gefällt, Ihre verborgenen Geschmacksmuster entschlüsselt und dann die perfekte, detaillierte Aufforderung (Prompt) für einen KI-Künstler schreibt, um Inhalte zu erstellen, die Sie wirklich lieben werden. Es schließt die Lücke zwischen Ihren stillen Klicks und den lautstarken, detaillierten Anweisungen, die eine KI benötigt, um Magie zu erschaffen.
Hinweis: Die Arbeit konzentriert sich ausschließlich auf die Generierung von Bildern und Videos basierend auf Nutzerverhalten. Sie behauptet nicht, für medizinische Diagnosen, klinische Therapie oder andere nicht-kreative Anwendungen verwendet zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.