🤖 machine learning

Towards Customized Multimodal Role-Play

تقدم هذه الورقة البحثية "لعب الأدوار متعدد الوسائط المخصص" (CMRP) كمهمة جديدة، وتقترح "UniCharacter"، وهو إطار تدريب ثنائي المراحل، يستخدم مجموعة بيانات "RoleScape-20" والتعلم بلقطات قليلة، لتمكين النماذج الموحدة من تخصيص شخصية وتدفق حوار والهوية البصرية للشخصية باستمرار عبر وسائط النصوص والصور.

المؤلفون الأصليون: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد بناء صديق رقمي ليس مجرد روبوت دردشة، بل شخصية مكتملة الأركان. ربما يكون فارساً شجاعاً، أو فتاة أنمي متمردة، أو حتى شخصية مشهورة بعينها.

في الوقت الحالي، تجبرك التكنولوجيا عادةً على الاختيار: يمكنك الحصول على شخصية "تتحدث" مثل الشخص الذي تريده (روبوت نصي)، أو شخصية "تشبه" شكله (مولد صور). لكن لا يمكنك الحصول على كليهما في نفس الوقت مع الحفاظ على الاتساق. فإذا طلبت من الروبوت النصي رسم صورة، فقد يرسم فارساً عادياً، وليس "فارسك الخاص" المحدد.

تقدم هذه الورقة البحثية مشروعاً جديداً يسمى UniCharacter لحل هذه المشكلة. وإليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. الهدف: "تقمص الأدوار المثالي"

ابتكر المؤلفون مهمة جديدة تسمى التقمص متعدد الوسائط المخصص (Customized Multimodal Role-Play - CMRP). فكر في هذا الأمر كتعليم الذكاء الاصطناعي كيفية ارتداء "جلد رقمي" يغطي صوته ووجهه معاً.

التحدي: إذا سألت الذكاء الاصطناعي: "ماذا تفعل؟"، يجب أن يجيب بشخصية محددة و يولد صورة تظهر تلك الشخصية وهي تفعل بالضبط ما قالته، وتبدو تماماً مثلها.
النتيجة: لا ينتقل الذكاء الاصطناعي بين "وضع النص" و"وضع الصور" فحسب، بل يظل داخل الشخصية، محافظاً على نفس الشخصية، وأسلوب التحدث، والهوية البصرية عبر كليهما.

2. ساحة التدريب: "RoleScape-20"

لتعليم الذكاء الاصطناعي، لم يستطع الباحثون استخدام بيانات عشوائية من الإنترنت فحسب، بل بنوا معسكراً تدريبياً خاصاً يسمى RoleScape-20.

طاقم العمل: جمعوا 20 شخصية مختلفة، تتراوح بين شخصيات واقعية (مثل الممثلين) وشخصيات أنمي وحتى حيوانات.
المنهج الدراسي: لكل شخصية، لم يكتفوا بإعطاء الذكاء الاصطناعي بعض الصور فقط، بل قدموا له "إنجيل الشخصية" (ملف تعريف لشخصيتها)، وبعض الصور المرجعية، ومئات الأمثلة للمحادثات.
الدرجات الإضافية: علموا الذكاء الاصطناعي أيضاً كيفية الإجابة على أسئلة حول خلفية الشخصية (الأسئلة المعرفية - Knowledge QA) وأسئلة حول ما يحدث في صورة ما (الأسئلة البصرية - Visual QA)، مما يضمن أن الذكاء الاصطناعي يفهم حقاً الشخصية، ولا يكتفي بمجرد التقليد.

3. طريقة التدريس: خطة درس من مرحلتين

استخدم الباحثون عملية تدريب من خطوتين لتدريب نموذجهم، والتي يسمونها UniCharacter.

المرحلة الأولى: مرحلة "الواجب المنزلي" (الضبط الدقيق الخاضع للإشراف الموحد)
فكر في هذا كقيام الذكنا الاصطناعي بواجباته المنزلية. لقد أظهروا للنموذج آلاف الأمثلة لشخصية تتحدث وشخصية تنظر إلى الأشياء.

تعلم الذكاء الاصطناعي كتابة نصوص تبدو وكأنها صادرة عن الشخصية.
تعلم الذكاء الاصطناعي النظر إلى صورة ووصفها بصوت الشخصية.
المشكلة: عندما حاول الذكاء الاصطناعي رسم صور جديدة بناءً على هذا الواجب المنزلي، تعثر. بدأ ينسخ صور الواجب المنزلي بدقة شديدة، مثل طالب حفظ الإجابات لكنه لا يستطيع حل مسألة جديدة. كانت الرسومات متشابهة جداً مع صور التدريب وتفتقر إلى التنوع.

المرحلة الثانية: مرحلة "ورشة العمل الإبداعية" (Character-GRPO)
لحل مشكلة النسخ، قدموا مرحلة ثانية باستخدام تقنية تسمى Character-GRPO.

التشبيه: تخيل أن الذكاء الاصطناعي هو فنان. في المرحلة الأولى، تعلم الأسلوب. في المرحلة الثانية، يقول المعلم: "حسناً، ارسم الشخصية في موقف جديد. ولكن إليك القاعدة: لا تنسخ الرسومات القديمة فحسب. حاول صنع شيء جديد، ولكن يجب أن يظل يبدو كأنه نفس الشخص".
نظام المكافآت: يحصل الذكاء الاصطناعي على "نقاط" (مكافآت) بناءً على:
1. المطابقة (Alignment): هل تتطابق الرسمة مع النص المطلوب؟ (مثلاً، إذا قال النص "سعيد"، هل الشخصية مبتسمة؟).
2. التنوع (Diversity): هل صنع الذكاء الاصطناعي صورة فريدة، أم أنه نسخ صورة تدريبية فقط؟
3. الاتساق (Consistency): هل لا تزال الشخصية تبدو مثل تلك الشخصية المحددة؟
من خلال لعب هذه "اللعبة" المتمثلة في تجربة متغيرات مختلفة والحصول على نقاط لأفضل النتائج، يتعلم الذكاء الاصطناعي توليد العديد من الصور عالية الجودة دون مجرد نسخ بيانات التدريب الخاصة به.

4. النتائج: شخصية رقمية حقيقية

تظهر الورقة البحثية أن UniCharacter يتفوق على الطرق السابقة في:

البقاء في الشخصية: النص يبدو أكثر شبهاً بالشخص المحدد (على سبيل المثال، باستخدام عباراته المميزة أو نبرته الخاصة).
الاتساق البصري: الصور المولدة تبدو كالشخصية، وليس مجرد نسخة عامة منها.
تعدد الاستخدامات: يمكنه القيام بكل شيء في وقت واحد: الدردشة، الإجابة على الأسئلة حول الشخصية، وصف الصور، ورسم مشاهد جديدة، كل ذلك مع الحفاظ على نفس "الروح".

ملخص

باختصار، تقدم الورقة البحثية طريقة جديدة لبناء شخصيات رقمية متماسكة. فبدلاً من امتلاك روبوت نصي يتحدث كشخصية ومولد صور منفصل يبدو كشخصية، يدمج UniCharacter بينهما في عقل واحد. إنه يتعلم "روح" الشخصية (الشخصية) و"جسدها" (المظهر) في آن واحد، باستخدام طريقة تدريب خاصة من خطوتين لضمان أن الشخصية لا تكتفي بحفظ الماضي، بل يمكنها تمثيل مشاهد جديدة بإبداع مع البقاء وفية لمن تكون.

ملخص تقني: نحو لعب أدوار متعدد الوسائط مخصص

تعريف المشكلة

تعمل أنظمة الشخصيات الافتراضية المخصصة الحالية بشكل أساسي في وسائط منفردة. يمكن للنماذج القائمة على النصوص محاكاة الشخصية والحوار، لكنها تفتقر إلى قدرات التوليد البصري، بينما يمكن لطرق تخصيص الصور (مثل DreamBooth) إعادة إنتاج الهويات البصرية ولكنها لا تستطيع الانخراط في محادثات سياقية أو التفاعل مع مدخلات المستخدم. وعلى الرغم من أن النماذج التأسيسية الموحدة متعددة الوسائط قد أظهرت قدرات قوية في الفهم والتوليد عبر الوسائط، إلا أنها لم تُكيف بفعالية لـ التفاعل القائم على الشخصية (persona-driven interaction) الذي يتطلب اتساقاً متزامناً في الأسلوب اللغوي، والتعبير العاطفي، والهوية البصرية.

لمعالجة هذه الفجوة، قدم المؤلفون مهمة لعب الأدوار متعدد الوسائط المخصص (Customized Multimodal Role-Play - CMRP). تهدف هذه المهمة إلى تكييف نموذج متعدد الوسائط عام ليصبح شخصية افتراضية محددة باستخدام بيانات دنيا (ملف تعريفي نصي، بضع صور مرجعية، وحوارات نموذجية) لتوليد استجابات نصية متماسكة ومنسجمة مع الشخصية وصور متسقة المظهر.

المنهجية: UniCharacter

يقترح البحث إطار عمل UniCharacter، وهو إطار تدريب يتكون من مرحلتين مصمم لتحقيق محاذاة بين الرؤية واللغة في خطوات قليلة (few-shot) مع الحفاظ على الاتساق عبر الوسائط.

1. مجموعة بيانات RoleScape-20

لتسهيل مهمة CMRP، أنشأ المؤلفون RoleScape-20، وهي أول مجموعة بيانات للعب الأدوار متعدد الوسائط. وتتكون من 20 شخصية متنوعة (شخصيات من الواقع، شخصيات أنمي/ألعاب، وحيوانات). وبخلاف مجموعات البيانات الحالية التي تركز على أوصاف الصور البسيطة أو الحوارات النصية فقط، توفر RoleScape-20 ما يلي:

بيانات لعب أدوار متعددة الوسائط: حلقات (episodes) بصرية-نصية مقترنة حيث تتوافق الصور مع الحوار، والعاطفة، والشخصية.
تعليقات توضيحية دقيقة: تشمل "عمليات التفكير" (الاستدلال لتوليد الصور)، وتعليمات التوليد، وعينات الأسئلة والأجوبة البصرية (VQA) والمعرفية (Knowledge QA) المقترنة.
النطاق: 150-250 حوار لعب أدوار لكل شخصية، 5-15 صورة مرجعية، وحوالي 200 عينة VQA لكل صورة.

2. إطار التدريب

يستخدم UniCharacter مساراً يتكون من مرحلتين لتكييف النماذج الموحدة متعددة الوسائط (بناءً على بنية BAGEL تحديداً):

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف الموحد (Unified-SFT)
تعامل هذه المرحلة المشكلة كتعلم متعدد المهام. يتم ضبط النموذج بدقة على أربع مهام فرعية باستخدام خسارة الإنتروبيا المتقاطعة (CE) للنصوص وخسارة متوسط مربع الخطأ (MSE) للصور:
1. دردشة لعب الأدوار: توليد نصوص متوافقة مع الشخصية.
2. مهمة التفكير: توليد عملية استدلال لإنشاء الصورة.
3. الأسئلة والأجوبة البصرية (VQA): الإجابة على الأسئلة بناءً على صور الشخصية.
4. الأسئلة والأجوبة المعرفية: الإجابة على الأسئلة بناءً على ملفات تعريف خلفية الشخصية.
5. توليد الصور من النص (T2I): توليد صور من تعليمات نصية.
المرحلة الثانية: تحسين السياسة النسبي لمجموعة الشخصيات (Character-GRPO)
للحد من الإفراط في التخصيص البصري (visual overfitting) وانخفاض التنوع الذي غالباً ما يظهر في توليد الصور القائم على SFT (والذي يعتمد على صور حقيقية ثابتة)، قدم المؤلفون مرحلة تعلم تعزيزي مخصصة لفرع (Text-to-Image).
- الآلية: بدلاً من صورة واحدة حقيقية، يقوم النموذج بتوليد مجموعة من $G$ من العينات لطلب معين.
- دالة المكافأة: إشارة مكافأة شاملة ( $R_{total}$ $R_{t o t a l}$ ) توجه السياسة ( $\pi_\theta$ $π_{θ}$ )، وتتكون من:
  - المحاذاة بين النص والصورة: تُقاس عبر تشابه CLIP ( $r_{CLIP}$ ) واتساق VQA ( $r_{VQA}$ ).
  - التنوع: مكافأة تنوع إدراكي ( $r_{div}$ ) باستخدام LPIPS لتشجيع التباين داخل المجموعة المولدة.
  - عقوبة التشابه: عقوبة ( $p_{sim}$ ) بناءً على تشابه ميزات DINO مع مجموعة التدريب لمنع الحفظ مع الحفاظ على هوية الشخصية.
- التحسين: يقوم النموذج بتحسين دالة الميزة عبر المجموعة، مما يسمح له باستكشاف تمثيلات بصرية متنوعة دون الحاجة إلى صور حقيقية لكل خطوة.

المساهمات الرئيسية

تعريف المهمة: تقديم CMRP، وهي مهمة جديدة تدمج لعب الأدوار النصي مع التخصيص متعدد الوسائط.
مجموعة البيانات: إطلاق RoleScape-20، أول مجموعة بيانات توفر تعليقات توضيحية شاملة متعددة الوسائط (الملفات التعريفية، الحوارات، الصور، عمليات التفكير، وأزواج الأسئلة والأجوبة) لتخصيص عميق للشخصية.
إطار العمل: اقتراح UniCharacter، وهو إطار عمل ذو مرحلتين (Unified-SFT + Character-GRPO) يعمل بفعالية على محاذاة الشخصية، وأسلوب الحوار، والهوية البصرية في بيئة خطوات قليلة.
الأداء: إثبات أن الطريقة المقترحة تتفوق على النماذج المرجعية الحالية في اتساق الدور، وأصالة الحوار، ودقة الصورة، والمحاذاة بين الوسائط.

النتائج التجريبية

أُجريت التجارب على معيار RoleScape-20، مع مقارنة UniCharacter بنماذج مرجعية تشمل DreamBooth وUniCTokens وQwen2.5-VL.

الأداء الكمي: حقق UniCharacter نتائج متفوقة عبر جميع المقاييس.
- توليد الصور: تفوق على DreamBooth في مقاييس CLIP-I وCLIP-T وDINO، مما يشير إلى محاذاة أفضل مع المطالبات وهوية الشخصية.
- لعب الأدوار النصي: تجاوز Qwen2.5-VL (مع مطالبات نصية) في درجات الحفظ، والشخصية، والتنوع (تم تقييمها عبر LLM-as-Judge).
- لعب الأدوار متعدد الوسائط: أظهر دقة أعلى في الهوية ومحاذاة أفضل بين النص والصورة مقارنة بـ UniCTokens.
- مهام الأسئلة والأجوبة: حافظ على أداء قوي في الأسئلة والأجوبة المعرفية وVQA، مما يؤكد أن القدرات التوليدية لم تؤثر سلباً على الفهم.
دراسات الاستئصال (Ablation Studies):
- أدى حذف مرحلة GRPO إلى انخفاض تنوع الصور وزيادة التشابه مع مجموعة التدريب (الإفراط في التخصيص).
- ثبت أن تضمين مكونات مكافأة محددة (CLIP-T، VQA، التنوع، عقوبة التشابه) كان أمراً حاسماً لموازنة جودة الصورة، والمحاذاة، والتنوع.
- أكدت الدراسات البشرية أن UniCharacter كان مفضلاً على النماذج المرجعية في مهام توليد الصور من النص، ولعب الأدوار متعدد الوسائط، ولعب الأدوار النصي.

الأهمية والادعاءات

يجادل البحث بأن CMRP، مقترنة بالنمذجة الموحدة، توفر أساساً جوهرياً لـ الوكلاء التفاعليين من الجيل القادم الأكثر غنى بالشخصية والانغماس. من خلال النجاح في توحيد الشخصية، وأسلوب الحوار، والهوية البصرية ضمن إطار واحد، يتيح UniCharacter إنشاء شخصيات افتراضية ليست متسقة بصرياً فحسب، بل أيضاً معبرة لغوياً ومتماسكة عاطفياً.

يشير المؤلفون إلى أن نهجهم يسمح بتخصيص الشخصية باستخدام 10 صور فقط ونماذج التفاعل المقابلة لها، مما يتطلب حوالي 100 ساعة من وحدة معالجة الرسومات (GPU) لكل شخصية. ويضعون هذا العمل كخطوة نحو حل "الهدف الأسمى" (Holy Grail) للعب الأدوار متعدد الوسائط، حيث يمكن للوكلاء الحفاظ على شخصية مستقرة عبر كل من الوسائط النصية والبصرية دون التجزئة التي تشهدها الأنظمة الحالية أحادية الوسائط.

القيود والتوجهات المستقبلية:
يقر المؤلفون بأن المهمة الحالية تقتصر على النصوص والصور. هناك حاجة لعمل مستقبلي لتوسيع ذلك ليشمل توليد الفيديو المخصص (لضمان الاتساق الزمني) والحوارات طويلة المدى/متعددة الأدوار (التي تتطلب ذاكرة قوية طويلة المدى لمنع انحراف الدور). كما تم تحديد النشر في الوقت الفعلي، والقدرة على التحكم في السلامة، والتخصيص بوجود المستخدم (user-in-the-loop) كمجالات تحتاج لمزيد من الاستكشاف.