Navigating User Behavior toward Personalized Multimodal Generation
Het artikel stelt NaviGen voor, een framework dat de interactiegeschiedenis van de gebruiker transformeert naar uitvoerbare instructies voor gepersonaliseerde multimodale generatie door gebruik te maken van duale identificatoren en een tweestaps SFT+RL-pijplijn om uitdagingen in gedragscodering en instructieschrijven te overwinnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer getalenteerde, hoogtechnologische kunstenaar hebt (een AI) die prachtige plaatjes kan schilderen of geweldige video's kan maken op basis van jouw instructies. Het probleem is dat deze kunstenaar ongelooflijk letterlijk is. Als je zegt: "Teken een fantasyscène," kan hij iets generieks tekenen dat niet precies overeenkomt met jouw specifieke smaak. De meeste mensen zijn geen professionele kunstenaars en kunnen dus niet de perfecte, gedetailleerde instructies schrijven die nodig zijn om precies te krijgen wat ze willen.
Het Grote Probleem:
Er gaapt een enorme kloof tussen wat gebruikers daadwerkelijk leuk vinden (gebaseerd op wat ze klikken, bekijken of kopen) en de specifieke instructies die nodig zijn om de AI te vertellen wat hij moet maken. Gebruikers zeggen zelden: "Ik wil een cinematografische wijde opname van een Romeins Colosseum bij schemering met volumetrische mist." Ze klikken gewoon op een paar coole video's of kopen een paar games. De AI moet uitzoeken hoe hij die klikken kan vertalen naar een perfecte instructie.
De Oplossing: NaviGen
De onderzoekers hebben een systeem ontwikkeld genaamd NaviGen (Navigation + Generation) dat fungeert als een "vertaler" tussen jouw gedrag uit het verleden en de AI-kunstenaar. Zo werkt het, met behulp van enkele eenvoudige analogieën:
1. Het Dual-ID Systeem (Het "Naamkaartje" en het "CV")
Om jou te begrijpen, kijkt NaviGen naar elk item waar je interactie mee hebt gehad (zoals een game of een video) en geeft het elk item twee speciale "ID-kaarten":
- De Collaboratieve Identificator (CID): Denk aan dit als een gedragsvingerafdruk. Het is een code die zegt: "Mensen die dit leuk vonden, vonden dat ook leuk." Het legt het patroon van je smaak vast zonder de tekst te hoeven lezen. Het is als een geheime code die de AI vertelt: "Dit item behoort tot de 'avontuur'-familie."
- De Textuele Identificator (TID): Denk aan dit als een beknopt CV. Het is een korte, georganiseerde lijst met trefwoorden (zoals "fantasy", "romantiek", "actie") die beschrijft waar het item daadwerkelijk over gaat.
Door deze twee te combineren, geeft NaviGen de AI in één pakket een compact "gedragsmatig substraat" (de code) en een "semantische brug" (de trefwoorden). Dit helpt de AI te begrijpen waarom je iets leuk vond, en niet alleen wat het was.
2. Het Trainingsproces (Leren Schrijven)
De AI moet twee dingen leren: hoe hij jouw smaak begrijpt en hoe hij een goede instructie schrijft. NaviGen leert dit in twee fasen:
Fase 1: Supervised Fine-Tuning (De "Studiezaal"):
Het systeem gebruikt een slimme truc genaamd Evolutionary Search. Stel je een groep schrijvers voor die proberen de perfecte instructie voor een gebruiker te raden. Ze beginnen met drie verschillende stijlen (conservatief, gebalanceerd, verkennend). Ze mengen en combineren hun ideeën (zoals het kruisen van planten), en een "editor" (een andere AI) kiest de beste ideeën om de volgende generatie instructies te creëren.
Het model leert van deze "geëvolueerde" instructies. Het leert ook om "hardop na te denken" (Chain-of-Thought), door uit te leggen hoe de smaak van een gebruiker evolueerde van het klikken op een grappige elf-video naar het willen van een romantische anime-scène.Fase 2: Reinforcement Learning (De "Game Show"):
Zodra het model instructies kan schrijven, speelt het een spel om beter te worden. Het krijgt punten (beloningen) voor:- Nauwkeurigheid: Heeft het de juiste "gedragscode" (CID) voorspeld voor het volgende item dat de gebruiker waarschijnlijk leuk zal vinden?
- Kwaliteit: Is de instructie specifiek, creatief en daadwerkelijk uitvoerbaar voor de beeld/videogenerator?
- Consistentie: Komt de instructie overeen met het voorspelde item, en komt het voorspelde item overeen met de geschiedenis van de gebruiker?
3. De Resultaten
De onderzoekers hebben dit getest in drie verschillende werelden: Winkelen (Producten), Gaming en Short Videos.
- Betere Kunst: Wanneer NaviGen de instructies schreef, waren de resulterende afbeeldingen en video's meer relevant voor de specifieke smaak van de gebruiker, zagen ze esthetischer uit en waren ze creatiever dan instructies geschreven door andere methoden.
- Beter Voorspellen: Het was ook beter in het voorspellen van welk item een gebruiker vervolgens zou aanklikken, wat bewees dat het de "gedragsvingerafdruk" van de gebruiker echt begreep.
- Het "Aha!"-moment: In een casestudy ging de geschiedenis van een gebruiker van "grappige elf-video's" naar "romantische anime". Andere systemen zagen alleen "anime". NaviGen zag de transitie en schreef een instructie voor een "romantische anime-scène met een stel studenten", wat veel dichter bij wat de gebruiker daadwerkelijk wilde lag.
Samenvatting
NaviGen is als een persoonlijke assistent die kijkt naar wat jij leuk vindt, jouw verborgen smaakpatronen ontcijfert en vervolgens de perfecte, gedetailleerde prompt schrijft voor een AI-kunstenaar om content te creëren waar je echt van zult genieten. Het overbrugt de kloof tussen je stille klikken en de luidruchtige, gedetailleerde instructies die een AI nodig heeft om magie te creëren.
Noot: Het paper richt zich volledig op het genereren van afbeeldingen en video's op basis van gebruikersgedrag. Het beweert niet te worden gebruikt voor medische diagnoses, klinische therapie of andere niet-creatieve toepassingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.