Controlla: Learning Controllability via Graph-Constrained Latent Geometry

ملخص تقني: تعلم القدرة على التحكم عبر الهندسة الكامنة المقيدة بالرسم البياني

بيان المشكلة
تتم صياغة التحكم في التوليد متعدد الوسائط الحالي، لا سيما في نماذج الانتشار (Diffusion Models) ونماذج المحولات الانتشارية (Diffusion Transformers)، بشكل أساسي كمسألة شرطية أثناء الاستدلال. وبينما يمكن للطرق التي تستخدم المطالبات (Prompts)، أو التوجيه، أو الوحدات المساعدة (مثل ControlNet وDreamBooth) توليد مخرجات واقعية، إلا أنها تفتقر غالبًا إلى آلية صريحة لهيكلة كيفية تطور السمات الدلالية. يؤدي هذا إلى ثلاثة أنماط فشل رئيسية:

1. انحراف الهوية (Identity Drift): تغييرات غير مقصودة في هوية الموضوع أثناء التعديلات الدلالية.
2. السلوك غير المتسق عبر الوسائط (Inconsistent Cross-Modal Behavior): عدم المحاذاة بين المخرجات النصية والصوتية والبصرية.
3. الانحراف الدلالي (Semantic Drift): حالات وسيطة غير متوقعة أو غير مستقرة أثناء عبور السمات.

تعامل النهج الحالية "القدرة على التحكم" كقيد خارجي مفروض على الفضاءات الكامنة الضمنية بدلاً من كونها خاصية للهندسة الكامنة نفسها. وبناءً على ذلك، غالبًا ما يتم فرض التغييرات الدلالية بشكل تجريبي (Heuristic) بدلاً من أن تنبثق من تمثيلات مهيكلة.

المنهجية: Controlla
يقترح المؤلفون Controlla، وهو إطار عمل معياري للتحكم المجزأ يعيد تعريف القدرة على التحكم كخاصية للهندسة الكامنة المهيكلة. بدلاً من الاعتماد فقط على التكييف أثناء الاستدلال، يتعلم Controlla فضاءً كامناً مهيكلاً بالرسم البياني (Graph-structured latent space) حيث تتطور السمات الدلالية على طول مسارات متسقة مع الرسم البياني مع الحفاظ على الهوية المرتكزة إلى المرجع.

يعمل الإطار من خلال المكونات التالية:

1. التجزئة متعددة الوسائط (Multimodal Factorization): بالنظر إلى المدخلات (صورة مستهدفة، صورة مرجعية، نص، صوت)، يتم تعلم تمثيل مشترك $z$ وتجزئته إلى مكونين متميزين:

   • عامل السمة ($z_{attr}$): يلتقط التباينات الدلالية (مثل العاطفة).
   • عامل الهوية ($z_{id}$): يشفر الهوية المرتكزة إلى المرجع من الصورة المرجعية.
     يتم فرض الفصل بينهما عبر قيود التعامد ($L_\perp$) وتنظيم ليبشيتز ($L_L$) لضمان التحولات السلسة.

2. الأولويات الرسومية (Graph Priors): يحدد رسمان بيانيان تم بناؤهما مسبقاً الهيكل العلاقاتي:

   • رسم العاطفة البياني ($G_e$): يلتقط العلاقات الدلالية بين الحالات الوجدانية في فضاء موحد من التكافؤ والاستثارة (Valence–Arousal).
   • رسم الهوية البياني ($G_i$): يشفر العلاقات بين الهويات المرجعية لتشجيع بنية متراصة داخل الهوية الواحدة.

3. النقل الأمثل المقيد بالرسم البياني (Graph-Constrained Optimal Transport): تستخدم آلية المحاذاة الجوهرية "النقل الأمثل" لمحاذاة العوامل الكامنة المتعلمة مع الأولويات الرسومية:

   • Gromov–Wasserstein المدمج (FGW): يحاذي فضاء السمات مع رسم العاطفة البياني، مما يضمن أن المسافات النسبية بين تضمينات السمات الكامنة تطابق المسافات الدلالية في $G_e$.
   • Gromov–Wasserstein (GW): يحاذي فضاء الهوية مع رسم الهوية البياني $G_i$ للحفاظ على هيكل علاقاتي متسق ومنع انحراف الهوية.

4. آلية التحكم (Control Mechanism): أثناء التوليد، يتم تثبيت عامل الهوية $z_{id}$، بينما يتم عبور عامل السمة $z_{attr}$ على طول مسارات متسقة مع رسم العاطفة البياني. يؤدي هذا إلى تغييرات دلالية مهيكلة ومتوقعة دون الحاجة إلى تكييف تجريبي خارجي.

المساهمات الرئيسية

1. تحول في الصياغة: يقترح البحث صياغة يتم فيها تشجيع القدرة على التحكم من خلال التحويلات الكامنة المتسقة مع الرسم البياني بدلاً من التكييف أثناء الاستدلال وحده.
2. إطار عمل Controlla: بنية معيارية تتكون من مشفر تمثيل متعدد الوسائط، ووحدة محاذاة (Graph-OT)، ومهايئات تكييف المولد المجزأة.
3. معيار AffectHuman-43K: بناء معيار جديد متعدد الوسائط، مدرك للتسرب، مصمم للتحكم الوجداني المرتكز إلى المرجع. بخلاف مجموعات البيانات المسجلة طبيعياً، يقوم هذا المعيار بفصل الهوية البصرية (المحددة بصورة مرجعية) عن إشارات التحكم الوجداني (النص والصوت) بشكل صريح. ويتميز بتقسيمات منفصلة الهوية مع نسبة 0% من تسرب الهوية المرجعية بين التقسيمات.
4. مقاييس واعية بالهندسة: تقديم مقاييس لتقييم اتساق المسار (Geodesic Consistency)، والتجزئة الكامنة (Latent Disentanglement Score)، وسلاسة المسار، متجاوزةً مجرد دقة نقطة النهاية.

النتائج
تظهر التجارب على AffectHuman-43K والتقييمات عبر مجموعات البيانات المختلفة (AffectNet, CelebA-HQ) أن Controlla يحقق تحسينات متسقة مقارنة بالنماذج المرجعية القوية، بما في ذلك StyleCLIP وControlNet++ وICEdit وFLUX.1 Kontext وDreamBooth hybrids.

• الأداء: يظهر Controlla أداءً فائقاً في دقة العاطفة (Acc)، وسلاسة المسار (TS)، والتفضيل البشري (H).
• الهندسة: يحقق الأسلوب تجزئة كامنة أعلى (LDS) وعدم اتساق جيوديسي أقل (GC)، مما يؤكد أن العبور المتعلم يتبع الهيكل البياني المقصود.
• الحفاظ على الهوية: يحافظ الإطار على تشابه هوية (ID-Sim) وقدرة تمييز (AUC) تنافسية أو متفوقة، حتى تحت التحولات الدلالية الكبيرة.
• دراسات الاستبعاد (Ablation Studies): يؤدي إزالة القيود الرسومية أو التأسيس متعدد الوسائط إلى تدهور كبير في القدرة على التحكم واتساق الهوية، مما يؤكد أن المكاسب ناتجة عن الهندسة الكامنة المهيكلة وليس مجرد التكييف الإضافي.

الأهمية والادعاءات
يدعي البحث حدوث تحول من التحكم القائم على المطالبات التجريبية نحو تعلم التمثيل القائم على الهندسة. من خلال نمذجة القدرة على التحكم كخاصية للهندسة الكامنة العالمية، يتيح Contella تحولات سلسة وتحافظ على الهوية على طول مسارات متسقة مع الرسم البياني. يؤكد المؤلفون أن نهجهم يعالج الطبيعة غير المقيدة حالياً للتعديل متعدد الوسائط من خلال هيكلة الفضاء الكامن بشكل صريح.

يُقدم العمل كتبرير على مستوى التمثيل مشروط: إذا تم تحسين محاذاة الرسم البياني، واستقرار الهوية، وفصل العوامل، والسلاسة المحلية، فإن العبور الدلالي سينتج تبايناً محدوداً في المخرجات. لا يدعي البحث حل جميع تحديات التوليد أو ضمان المثالية العالمية، بل يوضح أن فرض الهيكل البياني على الاتجاهات الكامنة يحسن القدرة على التحكم، والحفاظ على الهوية، والمحاذاة عبر الوسائط بطريقة قابلة للقياس والتكرار. كما يُشار إلى أن العمل المستقبلي قد يمتد ليشمل تطبيق هذا الإطار على الفيديو وعوامل التحكم الأوسع المحددة بالرسم البياني.