🤖 machine learning

Towards Customized Multimodal Role-Play

Este artigo introduz a Interpretação de Papéis Multimodal Personalizada (CMRP) como uma nova tarefa e propõe o UniCharacter, um framework de treinamento em duas etapas que, utilizando o conjunto de dados RoleScape-20 e aprendizado com poucos exemplos, permite que modelos unificados personalizarem consistentemente a persona, o estilo de diálogo e a identidade visual de um personagem nas modalidades de texto e imagem.

Autores originais: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir um amigo digital que não seja apenas um chatbot, mas um personagem totalmente realizado. Talvez seja um cavaleiro corajoso, uma garota anime malandra ou uma celebridade específica.

Atualmente, a tecnologia geralmente força você a escolher: você pode ter um personagem que fala como a pessoa que deseja (um bot de texto) ou um personagem que parece com ela (um gerador de imagens). Mas você não pode realmente ter os dois ao mesmo tempo mantendo a consistência. Se você pedir ao bot de texto para desenhar uma imagem, ela pode parecer um cavaleiro genérico, não o seu cavaleiro específico.

Este artigo apresenta um novo projeto chamado UniCharacter para resolver esse problema. Aqui está como funciona, dividido em conceitos simples:

1. O Objetivo: O "Role-Play Definitivo"

Os autores criaram uma nova tarefa chamada Role-Play Multimodal Personalizado (CMRP). Pense nisso como ensinar uma IA a usar uma "pele digital" que cobre tanto sua voz quanto seu rosto.

O Desafio: Se você perguntar à IA, "O que você está fazendo?", ela precisa responder com a personalidade específica do personagem e gerar uma imagem mostrando esse personagem fazendo exatamente o que disse, parecendo exatamente como eles.
O Resultado: A IA não apenas alterna entre "modo texto" e "modo imagem". Ela permanece no personagem, mantendo a mesma personalidade, estilo de fala e identidade visual em ambos.

2. O Campo de Treinamento: "RoleScape-20"

Para ensinar a IA, os pesquisadores não podiam usar apenas dados aleatórios da internet. Eles construíram um campo de treinamento especial chamado RoleScape-20.

O Elenco: Eles reuniram 20 personagens diferentes, variando de figuras da vida real (como atores) a personagens de anime e até animais.
O Currículo: Para cada personagem, eles não deram apenas algumas fotos à IA. Eles forneceram uma "bíblia do personagem" (um perfil de sua personalidade), algumas fotos de referência e centenas de exemplos de conversas.
A Pontuação Extra: Eles também ensinaram a IA a responder perguntas sobre o histórico do personagem (QA de Conhecimento) e perguntas sobre o que está acontecendo em uma imagem (QA Visual), garantindo que a IA realmente compreenda o personagem, não apenas o imite.

3. O Método de Ensino: Um Plano de Aula em Duas Etapas

Os pesquisadores usaram um processo de dois passos para treinar seu modelo, que chamam de UniCharacter.

Etapa 1: A Fase de "Tarefa de Casa" (Ajuste Fino Supervisionado Unificado)
Pense nisso como a IA fazendo sua tarefa de casa. Eles mostraram ao modelo milhares de exemplos do personagem falando e do personagem olhando para coisas.

A IA aprendeu a escrever texto que soa como o personagem.
A IA aprendeu a olhar para uma imagem e descrevê-la com a voz do personagem.
O Problema: Quando a IA tentou desenhar novas imagens com base nessa tarefa de casa, ela ficou presa. Ela começou a copiar as imagens da tarefa de casa muito de perto, como um aluno que memorizou as respostas, mas não consegue resolver um problema novo. Os desenhos eram muito semelhantes às fotos de treinamento e careciam de variedade.

Etapa 2: A Fase de "Oficina Criativa" (Character-GRPO)
Para corrigir o problema de cópia, eles introduziram uma segunda etapa usando uma técnica chamada Character-GRPO.

A Analogia: Imagine que a IA é um artista. Na Etapa 1, ela aprendeu o estilo. Na Etapa 2, o professor diz: "Ok, agora desenhe o personagem em uma nova situação. Mas aqui está a regra: Não copie apenas os desenhos antigos. Tente fazer algo fresco, mas ainda tem que parecer a mesma pessoa."
O Sistema de Recompensa: A IA ganha "pontos" (recompensas) por:
1. Alinhamento: A imagem corresponde ao prompt de texto? (Por exemplo, se o texto diz "feliz", o personagem está sorrindo?)
2. Diversidade: A IA criou uma imagem única ou apenas copiou uma foto de treinamento?
3. Consistência: O personagem ainda parece aquele personagem específico?
Ao jogar esse "jogo" de tentar diferentes variações e ganhar pontos pelas melhores, a IA aprende a gerar muitas imagens diferentes e de alta qualidade sem apenas copiar seus dados de treinamento.

4. Os Resultados: Uma Verdadeira Persona Digital

O artigo mostra que o UniCharacter é superior aos métodos anteriores em:

Permanecer no Personagem: O texto soa mais como a pessoa específica (por exemplo, usando suas frases de efeito ou tom específicos).
Consistência Visual: As imagens geradas parecem o personagem, não apenas uma versão genérica deles.
Versatilidade: Ele pode fazer tudo ao mesmo tempo: conversar, responder perguntas trivia sobre o personagem, descrever imagens e desenhar novas cenas, tudo mantendo a mesma "alma".

Resumo

Em resumo, o artigo apresenta uma nova maneira de construir personagens digitais que são coesos. Em vez de ter um bot de texto que fala como um personagem e um gerador de imagens separado que parece com um personagem, o UniCharacter os combina em um único cérebro. Ele aprende a "alma" (personalidade) e o "corpo" (aparência) do personagem simultaneamente, usando um método especial de treinamento em duas etapas para garantir que o personagem não apenas memorize o passado, mas possa atuar criativamente em novas cenas, mantendo-se fiel a quem eles são.

Resumo Técnico: Rumo a Role-Play Multimodal Personalizado

Definição do Problema

Os sistemas atuais de personagens virtuais personalizados operam principalmente em modalidades únicas. Modelos baseados em texto podem simular persona e diálogo, mas carecem de capacidades de geração visual, enquanto métodos de personalização de imagem (por exemplo, DreamBooth) podem reproduzir identidades visuais, mas não conseguem engajar-se em conversas contextuais ou reagir a entradas do usuário. Embora modelos fundamentais multimodais unificados recentes tenham demonstrado forte compreensão e geração cruzada de modalidades, eles não foram efetivamente adaptados para interação guiada por persona que exige consistência simultânea no estilo linguístico, expressão emocional e identidade visual.

Para abordar essa lacuna, os autores introduzem o Role-Play Multimodal Personalizado (CMRP). Esta tarefa visa adaptar um modelo multimodal de propósito geral em um personagem virtual específico usando dados mínimos (um perfil textual, algumas imagens de referência e diálogos de exemplo) para gerar respostas textuais coerentes e no personagem, bem como imagens consistentes em aparência.

Metodologia: UniCharacter

O artigo propõe o UniCharacter, um framework de treinamento em duas etapas projetado para alcançar alinhamento visão-linguagem com poucos exemplos, mantendo consistência cruzada de modalidades.

1. O Dataset RoleScape-20

Para facilitar o CMRP, os autores construíram o RoleScape-20, o primeiro dataset de role-play multimodal. Ele compreende 20 personagens diversos (figuras do mundo real, personagens de anime/jogos e animais). Diferentemente de datasets existentes que focam em descrições simples de imagem ou diálogos apenas em texto, o RoleScape-20 fornece:

Dados de Role-Play Multimodal: Episódios visuais-textuais emparelhados onde as imagens se alinham com diálogo, emoção e personalidade.
Anotações Granulares: Incluindo "Processos de Pensamento" explícitos (raciocínio para geração de imagem), instruções de geração e amostras emparelhadas de Resposta a Perguntas Visuais (VQA) e QA de Conhecimento.
Escala: 150–250 diálogos de role-play por personagem, 5–15 imagens de referência e ~200 amostras de VQA por imagem.

2. Framework de Treinamento

O UniCharacter emprega um pipeline de duas etapas para adaptar modelos multimodais unificados (especificamente baseados na arquitetura BAGEL):

Etapa 1: Ajuste Fino Supervisionado Unificado (Unified-SFT)
Esta etapa trata o problema como aprendizado multi-tarefa. O modelo é ajustado finamente em quatro subtarefas usando perda de Entropia Cruzada (CE) para texto e perda de Erro Quadrático Médio (MSE) para imagens:
1. Conversa de Role-Play: Geração de texto no personagem.
2. Tarefa de Pensamento: Geração de um processo de raciocínio para criação de imagem.
3. Resposta a Perguntas Visuais (VQA): Responder perguntas com base em imagens do personagem.
4. QA de Conhecimento: Responder perguntas com base em perfis de fundo do personagem.
5. Geração Texto-para-Imagem (T2I): Geração de imagens a partir de instruções textuais.
Etapa 2: Otimização de Política Relativa de Grupo de Personagem (Character-GRPO)
Para mitigar o sobreajuste visual e a baixa diversidade frequentemente observados na geração de imagens baseada em SFT (que depende de imagens de verdade absoluta fixas), os autores introduzem uma etapa de aprendizado por reforço especificamente para o ramo T2I.
- Mecanismo: Em vez de uma única imagem de verdade absoluta, o modelo gera um grupo de $G$ amostras para um dado prompt.
- Função de Recompensa: Um sinal de recompensa abrangente ( $R_{total}$ $R_{t o t a l}$ ) guia a política ( $\pi_\theta$ $π_{θ}$ ), compreendendo:
  - Alinhamento Texto-Imagem: Medido via similaridade CLIP ( $r_{CLIP}$ ) e consistência VQA ( $r_{VQA}$ ).
  - Diversidade: Uma recompensa de diversidade perceptiva ( $r_{div}$ ) usando LPIPS para encorajar variância dentro do grupo gerado.
  - Penalidade de Similaridade: Uma penalidade ( $p_{sim}$ ) baseada na similaridade de características DINO com o conjunto de treinamento para prevenir memorização enquanto preserva a identidade do personagem.
- Otimização: O modelo otimiza a função de vantagem através do grupo, permitindo que ele explore representações visuais diversas sem exigir imagens de verdade absoluta para cada etapa.

Contribuições Principais

Definição de Tarefa: Introdução do CMRP, uma nova tarefa integrando role-play textual com personalização multimodal.
Dataset: Lançamento do RoleScape-20, o primeiro dataset fornecendo anotações multimodais abrangentes (perfis, diálogos, imagens, processos de pensamento e pares de QA) para personalização profunda de personagens.
Framework: Proposta do UniCharacter, um framework de duas etapas (Unified-SFT + Character-GRPO) que alinha efetivamente persona, estilo de diálogo e identidade visual em um cenário de poucos exemplos.
Desempenho: Demonstração de que o método proposto supera bases existentes em consistência de papel, autenticidade de diálogo, fidelidade de imagem e alinhamento cruzado de modalidades.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark RoleScape-20, comparando o UniCharacter com bases incluindo DreamBooth, UniCTokens e Qwen2.5-VL.

Desempenho Quantitativo: O UniCharacter alcançou resultados superiores em todas as métricas.
- Geração de Imagem: Superou o DreamBooth nas pontuações CLIP-I, CLIP-T e DINO, indicando melhor alinhamento com prompts e identidade do personagem.
- Role-Play Textual: Superou o Qwen2.5-VL (com prompts de texto) nas pontuações de Memorização, Personalidade e Diversidade (avaliadas via LLM-como-Juiz).
- Role-Play Multimodal: Demonstrou maior fidelidade de identidade e melhor alinhamento texto-imagem do que o UniCTokens.
- Tarefas de QA: Mantiveram desempenho forte em QA de Conhecimento e VQA, confirmando que as capacidades generativas não comprometeram a compreensão.
Estudos de Ablação:
- A remoção da etapa GRPO resultou em menor diversidade de imagem e maior similaridade com o conjunto de treinamento (sobreajuste).
- A inclusão de componentes específicos de recompensa (CLIP-T, VQA, Diversidade, Penalidade de Similaridade) mostrou-se crítica para equilibrar qualidade de imagem, alinhamento e variedade.
- Estudos com usuários confirmaram que o UniCharacter foi preferido em relação às bases nas tarefas de geração T2I, role-play multimodal e role-play textual.

Significado e Alegações

O artigo argumenta que o CMRP, acoplado à modelagem unificada, fornece uma base fundamental para agentes interativos imersivos e com personalidade de próxima geração. Ao unificar com sucesso persona, estilo de diálogo e identidade visual dentro de um único framework, o UniCharacter permite a criação de personagens virtuais que não são apenas visualmente consistentes, mas também linguisticamente expressivos e emocionalmente coerentes.

Os autores observam que sua abordagem permite personalização de personagem com apenas 10 imagens e exemplos de interação correspondentes, exigindo aproximadamente 100 horas de GPU por personagem. Eles posicionam este trabalho como um passo em direção à solução do "Santo Graal" do role-play multimodal, onde agentes podem manter uma persona estável em ambas as modalidades de texto e visual, sem a fragmentação observada nos sistemas atuais de modalidade única.

Limitações e Direções Futuras:
Os autores reconhecem que a tarefa atual é limitada a texto e imagens. Trabalhos futuros são necessários para estender isso para geração de vídeo personalizada (garantindo consistência temporal) e diálogos multi-turno/longos (exigindo memória robusta de longo prazo para evitar desvio de papel). Além disso, implantação em tempo real, controlabilidade de segurança e personalização com usuário no loop são identificadas como áreas para exploração adicional.