기술 요약: 맞춤형 멀티모달 역할극을 향해

문제 정의

현재의 개인화된 가상 캐릭터 시스템은 주로 단일 모달리티에서 작동합니다. 텍스트 기반 모델은 페르소나와 대화를 시뮬레이션할 수 있지만 시각적 생성 능력은 부족하며, 이미지 개인화 방법 (예: DreamBooth) 은 시각적 정체성을 재현할 수 있지만 사용자 입력에 반응하거나 문맥에 맞는 대화를 나눌 수는 없습니다. 최근 통합 멀티모달 기반 모델들은 강력한 교차 모달리티 이해 및 생성 능력을 입증했으나, 언어 스타일, 감정 표현, 시각적 정체성에서 동시에 일관성을 요구하는 페르소나 기반 상호작용을 위해 효과적으로 적응되지 않았습니다.

이 격차를 해소하기 위해 저자들은 **맞춤형 멀티모달 역할극 (CMRP)**을 소개합니다. 이 작업은 최소한의 데이터 (텍스트 프로필, 몇 장의 참조 이미지, 예시 대화) 를 사용하여 범용 멀티모달 모델을 특정 가상 캐릭터에 적응시켜, 일관된 캐릭터 내 텍스트 응답과 외모가 일관된 이미지를 생성하는 것을 목표로 합니다.

방법론: UniCharacter

이 논문은 교차 모달리티 일관성을 유지하면서 퓨샷 (few-shot) 비전 - 언어 정렬을 달성하도록 설계된 2 단계 훈련 프레임워크인 UniCharacter를 제안합니다.

1. RoleScape-20 데이터셋

CMRP 를 지원하기 위해 저자들은 최초의 멀티모달 역할극 데이터셋인 RoleScape-20을 구축했습니다. 이 데이터셋은 20 개의 다양한 캐릭터 (실제 인물, 애니메이션/게임 캐릭터, 동물) 로 구성됩니다. 기존 데이터셋이 단순한 이미지 설명이나 텍스트 전용 대화에 초점을 맞춘 것과 달리, RoleScape-20 은 다음을 제공합니다:

• 멀티모달 역할극 데이터: 이미지가 대화, 감정, 성격과 일치하는 쌍을 이루는 시각 - 텍스트 에피소드.
• 세밀한 주석: 이미지 생성에 대한 명시적 "사고 과정 (Thinking Processes)", 생성 지시사항, 그리고 쌍을 이루는 시각적 질문 답변 (VQA) 및 지식 QA 샘플을 포함합니다.
• 규모: 캐릭터당 150250 개의 역할극 대화, 515 개의 참조 이미지, 이미지당 약 200 개의 VQA 샘플.

2. 훈련 프레임워크

UniCharacter 는 통합 멀티모달 모델 (특히 BAGEL 아키텍처 기반) 을 적응시키기 위해 2 단계 파이프라인을 사용합니다:

• 1 단계: 통합 지도 미세 조정 (Unified-SFT)
  이 단계는 문제를 다중 작업 학습으로 간주합니다. 모델은 텍스트에 대해 교차 엔트로피 (CE) 손실과 이미지에 대해 평균 제곱 오차 (MSE) 손실을 사용하여 네 가지 하위 작업으로 미세 조정됩니다:

  1. 역할극 채팅: 캐릭터 내 텍스트 생성.
  2. 사고 작업: 이미지 생성을 위한 추론 과정 생성.
  3. 시각적 질문 답변 (VQA): 캐릭터 이미지를 기반으로 질문 답변.
  4. 지식 QA: 캐릭터 배경 프로필을 기반으로 질문 답변.
  5. 텍스트 - 이미지 (T2I) 생성: 텍스트 지시사항에서 이미지 생성.

• 2 단계: 캐릭터 그룹 상대 정책 최적화 (Character-GRPO)
  고정된 정답 이미지에 의존하는 SFT 기반 이미지 생성에서 흔히 발생하는 시각적 과적합과 낮은 다양성을 완화하기 위해, 저자들은 T2I 분기에 특화된 강화 학습 단계를 도입합니다.

  • 메커니즘: 단일 정답 이미지 대신, 모델은 주어진 프롬프트에 대해 $G$개의 샘플 그룹을 생성합니다.
  • 보상 함수: 포괄적인 보상 신호 ($R_{total}$) 가 정책 ($\pi_\theta$) 을 안내하며, 다음으로 구성됩니다:
    • 텍스트 - 이미지 정렬: CLIP 유사도 ($r_{CLIP}$) 와 VQA 일관성 ($r_{VQA}$) 을 통해 측정.
    • 다양성: 생성된 그룹 내 변이를 장려하기 위해 LPIPS 를 사용하는 지각적 다양성 보상 ($r_{div}$).
    • 유사성 페널티: 캐릭터 정체성을 유지하면서 암기 (memorization) 를 방지하기 위해 훈련 세트에 대한 DINO 특징 유사도를 기반으로 한 페널티 ($p_{sim}$).
  • 최적화: 모델은 그룹 전체에 걸쳐 이점 함수 (advantage function) 를 최적화하여, 각 단계마다 정답 이미지가 필요하지 않으면서도 다양한 시각적 표현을 탐색할 수 있게 합니다.

주요 기여

1. 작업 정의: 텍스트 역할극과 멀티모달 개인화를 통합하는 새로운 작업인 CMRP의 도입.
2. 데이터셋: 심층 캐릭터 맞춤화를 위한 포괄적인 멀티모달 주석 (프로필, 대화, 이미지, 사고 과정, QA 쌍) 을 제공하는 최초의 데이터셋인 RoleScape-20의 공개.
3. 프레임워크: 퓨샷 설정에서 페르소나, 대화 스타일, 시각적 정체성을 효과적으로 정렬하는 2 단계 프레임워크 (Unified-SFT + Character-GRPO) 인 UniCharacter의 제안.
4. 성능: 제안된 방법이 역할 일관성, 대화의 진정성, 이미지 충실도, 교차 모달리티 정렬 측면에서 기존 베이스라인을 능가함을 입증.

실험 결과

실험은 RoleScape-20 벤치마크에서 수행되었으며, DreamBooth, UniCTokens, Qwen2.5-VL 을 포함한 베이스라인과 UniCharacter 를 비교했습니다.

• 정량적 성능: UniCharacter 는 모든 지표에서 우수한 결과를 달성했습니다.
  • 이미지 생성: 프롬프트 및 캐릭터 정체성과의 더 나은 정렬을 나타내는 CLIP-I, CLIP-T, DINO 점수에서 DreamBooth 를 능가했습니다.
  • 텍스트 역할극: LLM-as-Judge 를 통해 평가된 기억, 성격, 다양성 점수에서 Qwen2.5-VL(텍스트 프롬프트 사용) 을 능가했습니다.
  • 멀티모달 역할극: UniCTokens 보다 높은 정체성 충실도와 더 나은 텍스트 - 이미지 정렬을 보여주었습니다.
  • QA 작업: 지식 QA 및 VQA 에서 강력한 성능을 유지하여 생성 능력이 이해 능력을 훼손하지 않았음을 확인했습니다.
• 애블레이션 연구:
  • GRPO 단계를 제거하면 이미지 다양성이 낮아지고 훈련 세트와의 유사성이 높아져 과적합이 발생했습니다.
  • 특정 보상 구성 요소 (CLIP-T, VQA, 다양성, 유사성 페널티) 의 포함이 이미지 품질, 정렬, 다양성의 균형을 맞추는 데 결정적인 것으로 나타났습니다.
  • 사용자 연구는 T2I 생성, 멀티모달 역할극, 텍스트 역할극 작업에서 베이스라인보다 UniCharacter 를 선호한다는 것을 확인했습니다.

중요성과 주장

이 논문은 CMRP가 통합 모델링과 결합되어 차세대 캐릭터성 있고 몰입감 있는 상호작용 에이전트의 기초를 제공한다고 주장합니다. 페르소나, 대화 스타일, 시각적 정체성을 단일 프레임워크 내에서 성공적으로 통합함으로써 UniCharacter 는 시각적으로 일관될 뿐만 아니라 언어적으로 표현력이 풍부하고 감정적으로 일관된 가상 캐릭터의 생성을 가능하게 합니다.

저자들은 그들의 접근 방식이 10 장의 이미지와 해당 상호작용 예시만으로 캐릭터 맞춤화를 가능하게 하며, 캐릭터당 약 100 GPU 시간이 소요된다고 언급합니다. 그들은 이 작업을 현재 단일 모달리티 시스템에서 보이는 분열 없이 텍스트와 시각적 모달리티 모두에서 안정적인 페르소나를 유지할 수 있는 멀티모달 역할극의 "성배"를 해결하기 위한 한 걸음으로 위치시킵니다.

한계 및 향후 방향:
저자들은 현재 작업이 텍스트와 이미지에 국한되어 있음을 인정합니다. 향후 작업은 맞춤형 비디오 생성(시간적 일관성 보장) 과 멀티턴/롱턴 대화(역할 이탈 방지를 위한 견고한 장기 기억 필요) 로 확장하는 것이 필요합니다. 또한, 실시간 배포, 안전성 제어 가능성, 사용자 루프 내 맞춤화는 추가 탐구가 필요한 영역으로 식별되었습니다.