🤖 machine learning

Towards Customized Multimodal Role-Play

Cet article présente le Jeu de Rôle Multimodal Personnalisé (CMRP) comme une nouvelle tâche et propose UniCharacter, un cadre d'entraînement en deux étapes qui, en utilisant le jeu de données RoleScape-20 et l'apprentissage par quelques exemples, permet aux modèles unifiés de personnaliser de manière cohérente la personnalité, le style de dialogue et l'identité visuelle d'un personnage à travers les modalités textuelle et visuelle.

Auteurs originaux : Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitez créer un ami numérique qui n'est pas simplement un chatbot, mais un personnage pleinement réalisé. Peut-être un chevalier courageux, une fille d'anime piquante ou une célébrité spécifique.

Actuellement, la technologie vous force généralement à choisir : vous pouvez avoir un personnage qui parle comme la personne que vous souhaitez (un bot textuel), ou un personnage qui ressemble à cette personne (un générateur d'images). Mais vous ne pouvez pas vraiment avoir les deux en même temps tout en maintenant leur cohérence. Si vous demandez au bot textuel de dessiner une image, il pourrait ressembler à un chevalier générique, et non à votre chevalier spécifique.

Ce papier présente un nouveau projet appelé UniCharacter pour résoudre ce problème. Voici comment cela fonctionne, décomposé en concepts simples :

1. L'Objectif : Le "Jeu de Rôle Ultime"

Les auteurs ont créé une nouvelle tâche appelée Jeu de Rôle Multimodal Personnalisé (CMRP). Considérez cela comme l'apprentissage d'un IA à porter une « peau numérique » qui couvre à la fois sa voix et son visage.

Le Défi : Si vous demandez à l'IA : « Que faites-vous ? », elle doit répondre avec la personnalité spécifique du personnage et générer une image montrant ce personnage faisant exactement ce qu'il a dit, en lui ressemblant exactement.
Le Résultat : L'IA ne se contente pas de basculer entre le « mode texte » et le « mode image ». Elle reste dans son rôle, maintenant la même personnalité, le même style de parole et la même identité visuelle dans les deux cas.

2. Le Terrain d'Entraînement : "RoleScape-20"

Pour enseigner à l'IA, les chercheurs ne pouvaient pas se contenter de données aléatoires d'Internet. Ils ont construit un camp d'entraînement spécial appelé RoleScape-20.

La Distribution : Ils ont rassemblé 20 personnages différents, allant de figures réelles (comme des acteurs) à des personnages d'anime et même des animaux.
Le Programme : Pour chaque personnage, ils n'ont pas simplement fourni quelques photos à l'IA. Ils ont fourni une « bible de personnage » (un profil de sa personnalité), quelques photos de référence et des centaines d'exemples de conversations.
Les Bonus : Ils ont également appris à l'IA à répondre à des questions sur l'histoire du personnage (QA de connaissances) et à des questions sur ce qui se passe dans une image (QA visuelle), garantissant que l'IA comprend vraiment le personnage, et non qu'elle se contente de l'imiter.

3. La Méthode d'Enseignement : Un Plan de Cours en Deux Étapes

Les chercheurs ont utilisé un processus en deux étapes pour entraîner leur modèle, qu'ils appellent UniCharacter.

Étape 1 : La Phase de « Devoirs » (Affinement Supervisé Unifié)
Considérez cela comme l'IA faisant ses devoirs. Ils ont montré au modèle des milliers d'exemples du personnage parlant et du personnage regardant des choses.

L'IA a appris à écrire un texte qui sonne comme le personnage.
L'IA a appris à regarder une image et à la décrire avec la voix du personnage.
Le Problème : Lorsque l'IA a essayé de dessiner de nouvelles images à partir de ces devoirs, elle s'est retrouvée bloquée. Elle a commencé à copier les images des devoirs trop fidèlement, comme un élève qui a mémorisé les réponses mais ne peut pas résoudre un nouveau problème. Les dessins étaient trop similaires aux photos d'entraînement et manquaient de variété.

Étape 2 : La Phase de « Atelier Créatif » (Character-GRPO)
Pour résoudre le problème de la copie, ils ont introduit une deuxième étape utilisant une technique appelée Character-GRPO.

L'Analogie : Imaginez que l'IA est un artiste. À l'étape 1, elle a appris le style. À l'étape 2, l'enseignant dit : « D'accord, maintenant dessinez le personnage dans une nouvelle situation. Mais voici la règle : Ne copiez pas simplement les anciens dessins. Essayez de créer quelque chose de frais, mais cela doit toujours ressembler à la même personne. »
Le Système de Récompense : L'IA gagne des « points » (récompenses) pour :
1. Alignement : Le dessin correspond-il au prompt textuel ? (Par exemple, si le texte dit « heureux », le personnage sourit-il ?)
2. Diversité : L'IA a-t-elle créé une image unique, ou a-t-elle simplement copié une photo d'entraînement ?
3. Cohérence : Le personnage ressemble-t-il toujours à ce personnage spécifique ?
En jouant à ce « jeu » consistant à essayer différentes variations et à obtenir des points pour les meilleures, l'IA apprend à générer de nombreuses images différentes et de haute qualité sans se contenter de copier ses données d'entraînement.

4. Les Résultats : Une Vraie Persona Numérique

Le papier montre que UniCharacter est supérieur aux méthodes précédentes pour :

Rester dans le Rôle : Le texte ressemble davantage à la personne spécifique (par exemple, en utilisant ses phrases favorites ou son ton spécifiques).
Cohérence Visuelle : Les images générées ressemblent au personnage, et non à une version générique de celui-ci.
Polyvalence : Il peut tout faire à la fois : discuter, répondre à des questions de culture générale sur le personnage, décrire des images et dessiner de nouvelles scènes, tout en conservant la même « âme ».

Résumé

En bref, le papier présente une nouvelle façon de créer des personnages numériques qui sont cohérents. Au lieu d'avoir un bot textuel qui parle comme un personnage et un générateur d'images séparé qui ressemble à un personnage, UniCharacter les combine en un seul cerveau. Il apprend l'« âme » (la personnalité) et le « corps » (l'apparence) du personnage simultanément, en utilisant une méthode d'entraînement spéciale en deux étapes pour garantir que le personnage ne se contente pas de mémoriser le passé, mais peut jouer créativement de nouvelles scènes tout en restant fidèle à qui il est.

Résumé Technique : Vers un Jeu de Rôle Multimodal Personnalisé

Définition du Problème

Les systèmes actuels de personnages virtuels personnalisés fonctionnent principalement dans des modalités uniques. Les modèles basés sur le texte peuvent simuler une personnalité et un dialogue, mais manquent de capacités de génération visuelle, tandis que les méthodes de personnalisation d'images (par exemple, DreamBooth) peuvent reproduire des identités visuelles mais ne peuvent pas engager de conversations contextuelles ou réagir aux entrées de l'utilisateur. Bien que les récents modèles de base multimodaux unifiés aient démontré une forte compréhension et génération inter-modales, ils n'ont pas été efficacement adaptés pour une interaction pilotée par la personnalité exigeant une cohérence simultanée dans le style linguistique, l'expression émotionnelle et l'identité visuelle.

Pour combler cette lacune, les auteurs introduisent le Jeu de Rôle Multimodal Personnalisé (CMRP). Cette tâche vise à adapter un modèle multimodal généraliste en un personnage virtuel spécifique en utilisant un minimum de données (un profil textuel, quelques images de référence et des exemples de dialogues) pour générer des réponses textuelles cohérentes et dans le personnage, ainsi que des images à l'apparence cohérente.

Méthodologie : UniCharacter

L'article propose UniCharacter, un cadre d'entraînement en deux étapes conçu pour réaliser un alignement vision-langage en peu d'exemples tout en maintenant une cohérence inter-modale.

1. Le Dataset RoleScape-20

Pour faciliter le CMRP, les auteurs ont construit RoleScape-20, le premier dataset de jeu de rôle multimodal. Il comprend 20 personnages divers (personnalités réelles, personnages d'anime/jeu vidéo et animaux). Contrairement aux datasets existants qui se concentrent sur de simples descriptions d'images ou des dialogues uniquement textuels, RoleScape-20 fournit :

Données de Jeu de Rôle Multimodal : Épisodes visuels-textuels appariés où les images s'alignent sur le dialogue, l'émotion et la personnalité.
Annotations Fines : Incluant des « Processus de Pensée » explicites (raisonnement pour la génération d'images), des instructions de génération, et des échantillons appariés de Réponses aux Questions Visuelles (VQA) et de Questions de Connaissance (Knowledge QA).
Échelle : 150 à 250 dialogues de jeu de rôle par personnage, 5 à 15 images de référence, et environ 200 échantillons VQA par image.

2. Cadre d'Entraînement

UniCharacter utilise un pipeline en deux étapes pour adapter les modèles multimodaux unifiés (spécifiquement basés sur l'architecture BAGEL) :

Étape 1 : Affinement Supervisé Unifié (Unified-SFT)
Cette étape traite le problème comme un apprentissage multi-tâches. Le modèle est affiné sur quatre sous-tâches en utilisant la perte d'Entropie Croisée (CE) pour le texte et la perte d'Erreur Quadratique Moyenne (MSE) pour les images :
1. Discussion de Jeu de Rôle : Génération de texte dans le personnage.
2. Tâche de Réflexion : Génération d'un processus de raisonnement pour la création d'images.
3. Réponse aux Questions Visuelles (VQA) : Réponse à des questions basées sur les images du personnage.
4. Questions de Connaissance : Réponse à des questions basées sur les profils de contexte du personnage.
5. Génération Texte-Image (T2I) : Génération d'images à partir d'instructions textuelles.
Étape 2 : Optimisation de Politique Relative par Groupe de Personnages (Character-GRPO)
Pour atténuer le surapprentissage visuel et la faible diversité souvent observés dans la génération d'images basée sur l'affinement supervisé (qui repose sur des images de vérité terrain fixes), les auteurs introduisent une étape d'apprentissage par renforcement spécifiquement pour la branche T2I.
- Mécanisme : Au lieu d'une seule image de vérité terrain, le modèle génère un groupe de $G$ échantillons pour un prompt donné.
- Fonction de Récompense : Un signal de récompense global ( $R_{total}$ $R_{t o t a l}$ ) guide la politique ( $\pi_\theta$ $π_{θ}$ ), comprenant :
  - Alignement Texte-Image : Mesuré via la similarité CLIP ( $r_{CLIP}$ ) et la cohérence VQA ( $r_{VQA}$ ).
  - Diversité : Une récompense de diversité perceptuelle ( $r_{div}$ ) utilisant LPIPS pour encourager la variance au sein du groupe généré.
  - Pénalité de Similarité : Une pénalité ( $p_{sim}$ ) basée sur la similarité des caractéristiques DINO avec l'ensemble d'entraînement pour empêcher la mémorisation tout en préservant l'identité du personnage.
- Optimisation : Le modèle optimise la fonction d'avantage à travers le groupe, lui permettant d'explorer des représentations visuelles diverses sans nécessiter d'images de vérité terrain à chaque étape.

Contributions Clés

Définition de la Tâche : Introduction du CMRP, une nouvelle tâche intégrant le jeu de rôle textuel à la personnalisation multimodale.
Dataset : Publication de RoleScape-20, le premier dataset fournissant des annotations multimodales complètes (profils, dialogues, images, processus de pensée et paires QA) pour une personnalisation approfondie des personnages.
Cadre : Proposition de UniCharacter, un cadre en deux étapes (Unified-SFT + Character-GRPO) qui aligne efficacement la personnalité, le style de dialogue et l'identité visuelle dans un contexte en peu d'exemples.
Performance : Démonstration que la méthode proposée surpasse les bases de référence existantes en termes de cohérence du rôle, d'authenticité du dialogue, de fidélité de l'image et d'alignement inter-modale.

Résultats Expérimentaux

Des expériences ont été menées sur le benchmark RoleScape-20, comparant UniCharacter à des bases de référence incluant DreamBooth, UniCTokens et Qwen2.5-VL.

Performance Quantitative : UniCharacter a obtenu des résultats supérieurs sur toutes les métriques.
- Génération d'Images : A surpassé DreamBooth sur les scores CLIP-I, CLIP-T et DINO, indiquant un meilleur alignement avec les prompts et l'identité du personnage.
- Jeu de Rôle Textuel : A dépassé Qwen2.5-VL (avec des prompts textuels) sur les scores de Mémorisation, de Personnalité et de Diversité (évalués via LLM-as-Judge).
- Jeu de Rôle Multimodal : A démontré une fidélité d'identité plus élevée et un meilleur alignement texte-image que UniCTokens.
- Tâches QA : A maintenu une performance solide en Questions de Connaissance et VQA, confirmant que les capacités génératives n'ont pas compromis la compréhension.
Études d'Ablation :
- Le retrait de l'étape GRPO a entraîné une diversité d'images plus faible et une similarité plus élevée avec l'ensemble d'entraînement (surapprentissage).
- L'inclusion de composants de récompense spécifiques (CLIP-T, VQA, Diversité, Pénalité de Similarité) s'est révélée cruciale pour équilibrer la qualité de l'image, l'alignement et la variété.
- Des études utilisateurs ont confirmé que UniCharacter était préféré aux bases de référence dans les tâches de génération T2I, de jeu de rôle multimodal et de jeu de rôle textuel.

Importance et Revendications

L'article soutient que le CMRP, couplé à une modélisation unifiée, fournit une base fondamentale pour les agents interactifs de nouvelle génération dotés de personnalité et immersifs. En unifiant avec succès la personnalité, le style de dialogue et l'identité visuelle au sein d'un cadre unique, UniCharacter permet la création de personnages virtuels qui sont non seulement visuellement cohérents, mais aussi linguistiquement expressifs et émotionnellement cohérents.

Les auteurs notent que leur approche permet une personnalisation de personnage avec seulement 10 images et des exemples d'interaction correspondants, nécessitant environ 100 heures GPU par personnage. Ils positionnent ce travail comme une étape vers la résolution du « Saint Graal » du jeu de rôle multimodal, où les agents peuvent maintenir une personnalité stable à la fois dans les modalités textuelles et visuelles, sans la fragmentation observée dans les systèmes actuels à modalité unique.

Limites et Perspectives Futures :
Les auteurs reconnaissent que la tâche actuelle est limitée au texte et aux images. Des travaux futurs sont nécessaires pour étendre cela à la génération de vidéos personnalisées (assurant une cohérence temporelle) et aux dialogues multi-tours/longs (nécessitant une mémoire à long terme robuste pour prévenir la dérive du rôle). De plus, le déploiement en temps réel, la contrôlabilité de la sécurité et la personnalisation avec l'utilisateur en boucle sont identifiés comme des domaines à explorer davantage.