🤖 machine learning

Towards Customized Multimodal Role-Play

Dit artikel introduceert Aangepaste Multimodale Rollenspellen (CMRP) als een nieuwe taak en stelt UniCharacter voor, een tweestaps trainingskader dat met behulp van het RoleScape-20-dataset en few-shot learning het mogelijk maakt dat geünificeerde modellen consistent de persona, dialoogstijl en visuele identiteit van een personage aanpassen over tekst- en beeldmodaliteiten heen.

Oorspronkelijke auteurs: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale vriend wilt bouwen die niet zomaar een chatbot is, maar een volledig uitgewerkt personage. Misschien is het een dappere ridder, een branie anime-meisje of een specifieke beroemdheid.

Op dit moment dwingt technologie je meestal tot een keuze: je kunt een personage hebben dat spreekt als het gewenste persoon (een tekstbot), of een personage dat er uitziet als dat persoon (een afbeeldingsgenerator). Maar je kunt ze niet echt tegelijkertijd hebben terwijl je ze consistent houdt. Als je de tekstbot vraagt een afbeelding te maken, ziet die er misschien uit als een generieke ridder, niet als jouw specifieke ridder.

Dit artikel introduceert een nieuw project genaamd UniCharacter om dit probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Doel: De "Ultimate Role-Play"

De auteurs hebben een nieuwe taak bedacht genaamd Customized Multimodal Role-Play (CMRP). Denk hierbij aan het leren van een AI om een "digitale huid" te dragen die zowel zijn stem als zijn gezicht bedekt.

De Uitdaging: Als je de AI vraagt: "Wat doe je?", moet het antwoorden met het specifieke persoonlijkheid van het personage en een afbeelding genereren die toont dat het personage precies doet wat het zei, en er precies zo uitziet.
Het Resultaat: De AI schakelt niet zomaar tussen "tekstmodus" en "afbeeldingsmodus". Het blijft in karakter, behoudt dezelfde persoonlijkheid, spreekstijl en visuele identiteit in beide.

2. De Opleidingsomgeving: "RoleScape-20"

Om de AI te leren, konden de onderzoekers niet zomaar willekeurige internetgegevens gebruiken. Ze bouwden een speciale opleidingskamp genaamd RoleScape-20.

De Cast: Ze verzamelden 20 verschillende personages, variërend van echte figuren (zoals acteurs) tot anime-personages en zelfs dieren.
Het Leerplan: Voor elk personage gaven ze de AI niet slechts een paar foto's. Ze leverden een "personagebijbel" (een profiel van hun persoonlijkheid), een paar referentiefoto's en honderden voorbeeldgesprekken.
De Extra Prik: Ze leerden de AI ook om vragen te beantwoorden over de achtergrond van het personage (Knowledge QA) en vragen over wat er gebeurt in een afbeelding (Visual QA), zodat de AI het personage echt begrijpt, en niet alleen nabootst.

3. De Leermethode: Een Tweestaps Lesplan

De onderzoekers gebruikten een tweestapsproces om hun model te trainen, dat ze UniCharacter noemen.

Fase 1: De "Huiswerk"-fase (Unified Supervised Finetuning)
Denk hierbij aan de AI die zijn huiswerk doet. Ze toonden het model duizenden voorbeelden van het personage dat praat en het personage dat naar dingen kijkt.

De AI leerde tekst te schrijven die klinkt als het personage.
De AI leerde naar een afbeelding te kijken en deze te beschrijven in de stem van het personage.
Het Probleem: Toen de AI probeerde nieuwe afbeeldingen te tekenen op basis van dit huiswerk, raakte het vast. Het begon de huiswerkafbeeldingen te nauwkeurig te kopiëren, zoals een student die de antwoorden uit zijn hoofd heeft geleerd maar een nieuw probleem niet kan oplossen. De tekeningen waren te veel op de trainingsfoto's en misten variatie.

Fase 2: De "Creatieve Werkplaats"-fase (Character-GRPO)
Om het kopieerprobleem op te lossen, introduceerden ze een tweede fase met een techniek genaamd Character-GRPO.

De Analogie: Stel je voor dat de AI een kunstenaar is. In Fase 1 leerde het de stijl. In Fase 2 zegt de leraar: "Oké, teken nu het personage in een nieuwe situatie. Maar hier is de regel: Kopieer de oude tekeningen niet zomaar. Probeer iets nieuws te maken, maar het moet er nog steeds uitzien als dezelfde persoon."
Het Beloningssysteem: De AI krijgt "punten" (beloningen) voor:
1. Afbakening: Komt de tekening overeen met de tekstprompt? (Bijvoorbeeld: als de tekst "blij" zegt, glimlacht het personage dan?)
2. Diversiteit: Heeft de AI een unieke afbeelding gemaakt, of heeft het gewoon een trainingsfoto gekopieerd?
3. Consistentie: Ziet het personage er nog steeds uit als dat specifieke personage?
Door dit "spel" te spelen van het proberen van verschillende variaties en punten te krijgen voor de beste, leert de AI om veel verschillende, hoogwaardige afbeeldingen te genereren zonder alleen zijn trainingsgegevens te kopiëren.

4. De Resultaten: Een Ware Digitale Persoonlijkheid

Het artikel laat zien dat UniCharacter beter is dan eerdere methoden op het gebied van:

Blijven in Karakter: De tekst klinkt meer als de specifieke persoon (bijvoorbeeld door het gebruik van hun specifieke catchphrases of toon).
Visuele Consistentie: De gegenereerde afbeeldingen lijken op het personage, niet op een generieke versie daarvan.
Veelzijdigheid: Het kan alles tegelijk doen: chatten, trivia over het personage beantwoorden, afbeeldingen beschrijven en nieuwe scènes tekenen, allemaal terwijl het dezelfde "ziel" behoudt.

Samenvatting

Kortom, het artikel presenteert een nieuwe manier om digitale personages te bouwen die samenhangend zijn. In plaats van een tekstbot te hebben die spreekt als een personage en een aparte afbeeldingsgenerator die eruitziet als een personage, combineert UniCharacter ze tot één brein. Het leert de "ziel" (persoonlijkheid) en het "lichaam" (uiterlijk) van het personage gelijktijdig, met behulp van een speciale tweestaps trainingsmethode om ervoor te zorgen dat het personage niet alleen het verleden uit zijn hoofd leert, maar creatief nieuwe scènes kan spelen terwijl het trouw blijft aan wie ze zijn.

Technische Samenvatting: Op Weg naar Aangepaste Multimodale Rollenspellen

Probleemdefinitie

Huidige gepersonaliseerde systemen voor virtuele karakters werken voornamelijk binnen één modale. Tekstgebaseerde modellen kunnen een persona en dialoog simuleren, maar missen visuele generatiecapaciteiten, terwijl methoden voor beeldpersonalisatie (bijvoorbeeld DreamBooth) visuele identiteiten kunnen reproduceren, maar niet in staat zijn om contextuele gesprekken te voeren of te reageren op gebruikersinput. Hoewel recente geünificeerde multimodale fundamentele modellen sterke cross-modale begrip- en generatievaardigheden hebben aangetoond, zijn ze niet effectief aangepast voor door persona gedreven interactie die gelijktijdige consistentie vereist in taalstijl, emotionele expressie en visuele identiteit.

Om deze kloof te dichten, introduceren de auteurs Aangepast Multimodaal Rollenspel (CMRP). Deze taak heeft tot doel een algemeen doel multimodaal model aan te passen aan een specifiek virtueel karakter met minimale data (een tekstueel profiel, enkele referentieafbeeldingen en voorbeelddialogen) om coherent, in-karakter tekstuele antwoorden en visueel consistente afbeeldingen te genereren.

Methodologie: UniCharacter

Het artikel stelt UniCharacter voor, een trainingsframework in twee fasen dat is ontworpen om few-shot visueel-taaluitlijning te bereiken terwijl cross-modale consistentie behouden blijft.

1. Het RoleScape-20 Dataset

Om CMRP te faciliteren, hebben de auteurs RoleScape-20 samengesteld, het eerste multimodale rollenspel-dataset. Het bestaat uit 20 diverse karakters (wereldfiguren, anime- en gamekarakters en dieren). In tegenstelling tot bestaande datasets die zich richten op eenvoudige afbeeldingsbeschrijvingen of alleen tekstuele dialogen, biedt RoleScape-20:

Multimodale Rollenspel-data: Gekoppelde visueel-tekstuele episodes waarbij afbeeldingen aansluiten bij dialoog, emotie en persoonlijkheid.
Gedetailleerde Annotaties: Inclusief expliciete "Denkprocessen" (redenering voor afbeeldingsgeneratie), generatie-instructies en gekoppelde Visuele Vraag-Antwoord (VQA) en Kennis-QA-stalen.
Schaal: 150–250 rollenspel-dialogen per karakter, 5–15 referentieafbeeldingen en ongeveer 200 VQA-stalen per afbeelding.

2. Trainingsframework

UniCharacter maakt gebruik van een pijplijn in twee fasen om geünificeerde multimodale modellen aan te passen (specifiek gebaseerd op de BAGEL-architectuur):

Fase 1: Geünificeerde Supervised Fine-Tuning (Unified-SFT)
Deze fase behandelt het probleem als multi-task learning. Het model wordt gefine-tuned op vier sub-taken met behulp van Cross-Entropy (CE) loss voor tekst en Mean Squared Error (MSE) loss voor afbeeldingen:
1. Rollenspel-chat: Het genereren van tekst in karakter.
2. Denktaken: Het genereren van een redeneerproces voor het maken van afbeeldingen.
3. Visuele Vraag-Antwoord (VQA): Het beantwoorden van vragen op basis van karakterafbeeldingen.
4. Kennis-QA: Het beantwoorden van vragen op basis van achtergrondprofielen van het karakter.
5. Tekst-naar-Afbeelding (T2I) Generatie: Het genereren van afbeeldingen uit tekstuele instructies.
Fase 2: Character Group Relative Policy Optimization (Character-GRPO)
Om visuele overfitting en lage diversiteit te mitigeren die vaak worden gezien bij SFT-gebaseerde afbeeldingsgeneratie (die afhankelijk is van vaste ground-truth-afbeeldingen), introduceren de auteurs een versterkingsleer-fase specifiek voor de T2I-tak.
- Mechanisme: In plaats van één ground-truth-afbeelding genereert het model een groep van $G$ stalen voor een gegeven prompt.
- Beloningsfunctie: Een uitgebreid beloningssignaal ( $R_{total}$ $R_{t o t a l}$ ) leidt het beleid ( $\pi_\theta$ $π_{θ}$ ), bestaande uit:
  - Tekst-Afbeelding Uitlijning: Gemeten via CLIP-similariteit ( $r_{CLIP}$ ) en VQA-consistentie ( $r_{VQA}$ ).
  - Diversiteit: Een perceptuele diversiteitsbeloning ( $r_{div}$ ) met behulp van LPIPS om variatie binnen de gegenereerde groep te stimuleren.
  - Similariteitsstraf: Een straf ( $p_{sim}$ ) gebaseerd op DINO-featuresimilariteit met het trainingsset om memorisatie te voorkomen terwijl de karakteridentiteit behouden blijft.
- Optimalisatie: Het model optimaliseert de voordeelfunctie over de groep, waardoor het diverse visuele representaties kan verkennen zonder ground-truth-afbeeldingen voor elke stap te vereisen.

Belangrijkste Bijdragen

Taakdefinitie: Introductie van CMRP, een nieuwe taak die tekstueel rollenspellen integreert met multimodale personalisatie.
Dataset: Publicatie van RoleScape-20, het eerste dataset dat uitgebreide multimodale annotaties biedt (profielen, dialogen, afbeeldingen, denkprocessen en QA-paren) voor diepgaande karakteraanpassing.
Framework: Voorstel van UniCharacter, een framework in twee fasen (Unified-SFT + Character-GRPO) dat effectief persona, dialoogstijl en visuele identiteit uitlijnt in een few-shot setting.
Prestaties: Aantonen dat de voorgestelde methode betere resultaten behaalt dan bestaande baselines in rollenconsistentie, authenticiteit van dialoog, beeldtrouw en cross-modale uitlijning.

Experimentele Resultaten

Experimenten werden uitgevoerd op de RoleScape-20-benchmark, waarbij UniCharacter werd vergeleken met baselines waaronder DreamBooth, UniCTokens en Qwen2.5-VL.

Kwantitatieve Prestaties: UniCharacter behaalde superieure resultaten over alle metrieken.
- Afbeeldingsgeneratie: Presteerde beter dan DreamBooth op CLIP-I, CLIP-T en DINO-scores, wat wijst op betere uitlijning met prompts en karakteridentiteit.
- Tekst-Rollenspel: Overtrof Qwen2.5-VL (met tekstprompts) op Memorisatie, Persoonlijkheid en Diversiteitsscores (geëvalueerd via LLM-as-Judge).
- Multimodaal Rollenspel: Toonde hogere identiteitstrouw en betere tekst-afbeelding uitlijning dan UniCTokens.
- QA-taken: Behield sterke prestaties in Kennis-QA en VQA, wat bevestigt dat generatieve capaciteiten het begrip niet hebben aangetast.
Ablatiestudies:
- Het verwijderen van de GRPO-fase resulteerde in lagere afbeeldingsdiversiteit en hogere similariteit met het trainingsset (overfitting).
- De opname van specifieke beloningscomponenten (CLIP-T, VQA, Diversiteit, Similariteitsstraf) bleek cruciaal voor het balanceren van beeldkwaliteit, uitlijning en variatie.
- Gebruikersstudies bevestigden dat UniCharacter werd verkiest boven baselines in T2I-generatie, multimodaal rollenspellen en tekstuele rollenspel-taken.

Betekenis en Claims

Het artikel betoogt dat CMRP, gekoppeld aan geünificeerde modellering, een fundamentele basis biedt voor interactieve agenten van de volgende generatie met karakter en een meeslepende ervaring. Door persona, dialoogstijl en visuele identiteit succesvol te verenigen binnen één framework, stelt UniCharacter de creatie mogelijk van virtuele karakters die niet alleen visueel consistent zijn, maar ook taalkundig expressief en emotioneel coherent.

De auteurs merken op dat hun aanpak karakteraanpassing mogelijk maakt met slechts 10 afbeeldingen en bijbehorende interactievoorbeelden, waarbij ongeveer 100 GPU-uren per karakter nodig zijn. Ze positioneren dit werk als een stap naar het oplossen van de "Heilige Graal" van multimodale rollenspellen, waarbij agenten een stabiele persona kunnen handhaven over zowel tekstuele als visuele modaliteiten zonder de fragmentatie die wordt gezien in huidige single-modale systemen.

Beperkingen en Toekomstige Richtingen:
De auteurs erkennen dat de huidige taak beperkt is tot tekst en afbeeldingen. Er is toekomstig werk nodig om dit uit te breiden naar aangepaste videogeneratie (waarbij temporale consistentie wordt gewaarborgd) en meerdere/lange draaiende dialogen (waarvoor robuust langetermijngeheugen nodig is om rollenafwijking te voorkomen). Daarnaast worden real-time implementatie, veiligheidscontroleerbaarheid en aanpassing met de gebruiker in de lus geïdentificeerd als gebieden voor verdere verkenning.