💻 computer science

Twins: Learn to Predict Unified Representations with Focal Loss

تقترح الورقة البحثية "Twins"، وهي فضاء رموز مستمر موحد يدمج ميزات ViT وVAE، وتعالج عدم التوازن في التحسين الناتج عن ذلك في نماذج الانتشار من خلال تكييف هدف انحدار بؤري لتحسين جودة توليد الصور وأداء الفهم متعدد الوسائط بشكل كبير.

المؤلفون الأصليون: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

نُشر 2026-07-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء روبوت يمكنه أن "يرى" العالم مثل البشر و"يرسم" لوحات مثل الفنان. في عالم الذكاء الاصطناائي، تتطلب هاتان المهمتان عادةً مجموعات أدوات مختلفة تماماً. لكي "يرى" الذكاء الاصطناعي صورة ما ويفهمها (مثل معرفة أن الصورة تظهر "كلب من نوع جولدن ريتريفر")، فإنه يستخدم خريطة ذهنية عالية المستوى تلتقط الأفكار الكبرى ولكنها تتجاهل التفاصيل الصغيرة مثل ملمس الفراء. أما لكي "يرسم" أو يبتكر صورة جديدة، يحتاج الذكاء الاصطناعي إلى أداة مختلفة تحتفظ بكل بكسل وكل تفصيل دقيق، لكنها غالباً ما تفقد المعنى العام للصورة. لفترة طويلة، ظل العلماء عالقين في محاولة إجبار هاتين الأداتين المختلفتين على العمل معاً، وكان عليهم غالباً الاختيار بين روبوت يفهم جيداً ولكنه يرسم صوراً ضبابية، أو روبوت يرسم بجمال ولكنه لا يعرف ماذا يرسم. تعالج هذه الورقة البحثية هذا التوازن الصعب، وتسأل: هل يمكننا إنشاء "لغة" واحدة للروبوت تسمح له بالقيام بكليهما بشكل مثالي في نفس الوقت؟

قرر الباحثون وراء هذه الدراسة، المعروفون باسم "Twins"، التوقف عن الاختيار بين الأداتين بدلاً من ذلك وقاموا بلصقهما معاً. لقد أخذوا الخريطة "الذهنية" (من نظام يسمى SigLIP) والخريطة "المهتمة بالتفاصيل" (من نظام يسمى VAE) ودمجوهما جنباً إلى جنب في شريط واحد طويل من المعلومات. فكر في الأمر كأنك تعطي روبوتك نظارات حيث ترى العدسة اليسرى الصورة الكبيرة والعدسة اليمنى ترى التفاصيل الدقيقة، وكل ذلك في رؤية واحدة. ومع ذلك، عندما حاولوا تعليم نموذج الذكاء الاصطناعي الخاص بهم استخدام هذه الرؤية المدمجة الجديدة، واجهوا عقبة؛ فقد كان النموذج كسولاً، إذ أحب الجزء السهل ذو الصورة الكبيرة وتجاهل تماماً الجزء الصعب والمفصل، مما أدى إلى صور ناتجة ضبابية وتفتقر إلى الملمس.

ولإصلاح ذلك، اكتشف الفريق "لما-ذا" كان النموذج كسولاً. وجدوا أن الجزء "السهل" من البيانات كان ناعماً وبسيطاً، بينما كان الجزء "الصعب" مليئاً بالتفاصيل المعقدة والضوضاء. فضل الذكاء الاصطناعي طبيعياً الأشياء الناعمة، تماماً كما قد يتخطى الطالب المسائل الرياضية الصعبة ليبدأ بمسائل الإملاء السهلة أولاً. ولحل هذه المشكلة، اخترعوا قاعدة تدريب خاصة تسمى "Focal Loss" (فقدان التركيز). تخيل معلماً، بدلاً من تقييم كل سؤال بالتساوي، يمنح درجات إضافية لمن يجيب على الأسئلة الأكثر صعوبة بشكل صحيح. هذا أجبر الذكاء الاصطناعي على الانتباه للأجزاء الصعبة والمفصلة من الصورة التي يحاول تعلمها.

كانت النتائج مبهرة. فباستخدام قاعدة "Focal Loss" الجديدة هذه، توقف الذكاء الاصطناعي عن تجاهل التفاصيل. وفي اختبار قياسي لجودة الصورة، حسنت الطريقة الجديدة النتيجة بمقدار يصل إلى 10.57 نقطة مقارنة بالطريقة القديمة للتدريب، دون الحاجة إلى أي حيل إضافية لتوجيهه. كانت الصور التي أنتجها حادة وواضحة، وكان بإمكان الروبوت أيضاً فهم ما يرسمه بنفس القدر من الكفاءة كما كان من قبل. تشير الورقة البحثية إلى أن هذا النهج نجح في كسر "المثلث المستحيل" القديم حيث كان عليك التضحية بمهارة مقابل أخرى، مما يثبت أنه مع حيل التدريب الصحيحة، يمكن لنموذج واحد من الذكاء الاصطناعي أن يتقن حقاً كلاً من الرؤية والإبداع.

ملخص تقني: توينز (Twins): تعلم التنبؤ بالتمثيلات الموحدة باستخدام فقد التركيز (Focal Loss)

1. بيان المشكلة

تهدف النماذج متعددة الوسائط الموحدة إلى استخدام نموذج واحد وفضاء تمثيل مشترك لدعم كل من فهم الوسائط المتعددة وتوليد الصور. تواجه النهج الحالية مقايضة مستمرة، توصف غالبًا بـ "المثلث المستحيل" بين الفهم، وإعادة البناء، والتوليد:

الأسالب المنفصلة (Discrete Methods): توحد الواجهة عبر "كودبوك" (codebook) مشترك، لكنها غالبًا ما تعاني في دقة إعادة البناء أو تتطلب ترميزًا (tokenization) معقدًا.
الأساليب المستمرة (Continuous Methods): تعتمد عادةً على تمثيلين متباينين: سمات دلالية عالية المستوى (مثل ViT) لغرض الفهم، وتمثيلات كامنة منخفضة المستوى (مثل VAE) لغرض التصنيع. هذا الانقسام يخلق مساحات كامنة غير متطابقة، مما يجبر الأنظمة على القيام بدورات إضافية من "فك الترميز ثم إعادة الترميز" لفهم ما تولده، ويكسر الاتساق التمثيلي.
المحاولات الحديثة: تحاول أساليب مثل UniFlow وUniLip توحيد التمثيلات عن طريق ضغط سمات CLIP عالية الأبعاد، لكن تقليل الأبعاد هذا يضعف قدرة الفهم. وعلى العكس من ذلك، فإن الأساليب مثل RAE التي تولد تمثيلات دلالية عالية الأبعاد (مثل DINOv2) تفشل في إعادة بناء التفاصيل عالية التردد، مما يؤدي إلى جودة صور ضعيفة.

التحدي الجوهري هو الحصول على تمثيل مستمر واحد يدعم في آن واحد الفهم الدلالي القوي، وإعادة البناء عالية الدقة، والقدرة على التنبؤ الصديقة للتوليد دون زيادة التكاليف الحسابية (على سبيل المثال، تكاليف الانتباه/Attention).

2. المنهجية

2.1. تمثيل توينز (Twins Representation)

يقترح المؤلفون Twins، وهو فضاء رموز مستمر موحد يتشكل من خلال الدمج عبر القنوات (channel-wise concatenation) لسمات من مشفرين مدربين مسبقًا على نفس الشبكة الرمزية (token grid):

مكون ViT: سمات غنية دلاليًا من SigLIP2، محسنة للاستنتاج الدلالي التمييزي.
مكون VAE: تمثيلات كامنة حافظة للتفاصيل من Flux.2 VAE، محسنة لدقة إعادة البناء على مستوى البكسل.

من خلال الدمج على طول بُعد القنوات بدلاً من بُعد التسلسل، يحافظ Twins على طول التسلسل الأصلي. وهذا يضمن أن تكلفة الانتباه التربيعية ( $O(L^2)$ ) لا تزديد مع عدد الرموز، مما يحافظ على الكفاءة الحسابية.

2.2. عدم التوازن في التحسين (Optimization Imbalance)

عند تدريب محول انتشار (Diffusion Transformer - DiT) للتنبؤ بتمثيل Twins الموحد، لاحظ المؤلفون وجود عدم توازن حاد في التحسين: حيث ينجح النموذج في مطابقة مكون ViT (SigLim) بشكل جيد، لكنه يعاني لمطابقة توزيع VAE، مما يؤدي إلى صور ضبابية ونتائج FID سيئة.

يعزو البحث هذا الخلل إلى ثلاثة مصادر للتباين:

الانحياز الطيفي (Spectral Bias): تهيمن الإشارات منخفضة التردد على سمات ViT، بينما تحتوي سمات VAE على طاقة عالية التردد (الملمس، الضجيج). تميل الشبكات العصبية طبيعيًا لتعلم الدوال منخفضة التردد أولاً (نظرية الانحياز الطيفي)، مما يجعل DiT يركز على سمات ViT ويعامل تفاصيل VAE كضجيج يصعب تعلمه.
الأبعاد الجوهرية (Intrinsic Dimensionality - ID): بينما يمتلك SigLIP بُعدًا فيزيائيًا أعلى (768) من VAE (128)، إلا أن بعده الجوهري أقل بكثير (~15 مقابل ~35). فالمناطق (manifold) ذات البُعد الجوهري المنخفض لـ SigLIP أسهل في التعلم، بينما تقدم منطقة VAE عالية البُعد مشهد تحسين أكثر تعقيدًا.
التبعية الشرطية (Conditional Dependency): سمات SigLIP مهيكلة للغاية ومتوافقة مع الشروط (محددة بناءً على تصنيف معين)، بينما تحتفظ سمات VAE بقدر كبير من عدم اليقين المستقل عن الشروط. يميل النموذج طبيعيًا لإعطاء الأولوية للهدف الأكثر قابلية للتنبؤ والمتوافق مع الشروط.

2.3. فقد التركيز لتدفق المطابقة (Focal Loss for Flow Matching)

لمعالجة عدم التوازن هذا، قام المؤلفون بتكييف استراتيجية فقد التركيز (Focal Loss) لهدف "مطابقة التدفق" (Flow Matching). فبدلاً من استخدام متوسط الخطأ التربيعي (MSE) القياسي الذي يعامل جميع الأبعاد بالتساوي، قدموا مخطط إعادة وزن لقنوات VAE:

تخصص دالة الفقد عقوبات أعلى على البواقي "الصعبة" (Residuals) (الأخطاء الكبيرة) في أبعاد VAE.
يُعرف عامل الوزن بـ $w_i = |v_i - v_\theta(z, t)_i|^{2\gamma}$ ، حيث تم ضبط $\gamma$ عند 0.5.
هذا يجبر النموذج على التركيز على سمات VAE عالية التردد الصعبة التعلم، مما يمنع عملية التحسين من الركود في حيز محلي تهيمن عليه سمات ViT الأسهل.

3. المساهمات الرئيسية

التمثيل الموحد (Twins): دمج بسيط وفعال عبر القنوات لسمات ViT وVAE، يدعم الفهم والتوليد دون زيادة طول التسلسل أو تكاليف الانتباه.
تحليل عدم التوازن: تحديد وتحليل منهجي لعدم التوازن في التحسين في النمذجة المشتركة، وعزوه إلى الانحياز الطيفي، والأبعاد الجوهرية، والتبعية الشرطية.
تكييف فقد التركيز (Focal Loss): تطبيق استراتيجية إعادة وزن للتركيز على هدف مطابقة التدفق، مما خفف بفعالية من عدم التوازن عبر رفع وزن أبعاد VAE الصعبة.
مكاسب الأداء: إثبات أن هذا النهج يحقق تحسينات كبيرة في التوليد مقارنة بخسارة MSE التقليدية مع الحفاظ على أداء تنافسي في الفهم متعدد الوسائط.

4. النتائج التجريبية

4.1. إعادة البناء (Reconstruction)

على مجموعة التحقق ImageNet-1K، حقق Twins أفضل النتائج (SOTA) في مقاييس إعادة البناء بين المرمّزات الموحدة:

PSNR: 31.46
SSIM: 0.90
rFID: 0.11
يتفوق Twins بشكل كبير على RAE (PSNR 18.83) ويضاهي جودة إعادة البناء للمشفرات التلقائية التوليدية المتخصصة مثل Wan2.2 وSD-VAE 3، مما يثبت أن التمثيل الموحد يحتفظ باتساق مثالي للبكسلات.

4.2. الفهم متعدد الوسائط

عند دمجه في خط معالجة VLM (باستخدام Qwen2.5-7B)، أظهر Twins أداءً تنافسيًا ضد المشفرات المتخصصة:

تفوق عمومًا على خط الأساس القوي SigLIP2.
أدى تضمين سمات VAE منخفضة المستوى إلى تحسينات في المهام دقيقة التفاصيل مثل GQA (64.93 مقابل 64.54) و TQA (58.89 مقابل 56.92)، ويُعزى ذلك إلى الحفاظ على الملمس وتفاصيل الشكل الدقيقة التي غالبًا ما يتم تجريدها بواسطة المشفرات الدلالية فقط.

4.3. توليد الصور

على ImageNet@256 و@512:

بدون توجيه (Without Guidance): أظهر نموذج Twins الأساسي باستخدام MSE ضعفًا في FID (متدهور مقارنة بـ Flux.2 VAE baseline). أدى تطبيق Focal Loss إلى تحسين تنبؤ سمات VAE بشكل كبير، مما قلل FID من 14.41 (MSE) إلى 3.84 (Focal Loss) عند 80 حقبة (epoch).
مع التوجيه (With Guidance): حقق Twins قيمة gFID قوية بلغت 1.59 (ImageNet@256) و1.79 (ImageNet@512) باستخدام التوجيه بدون تصنيف (classifier-free guidance).
حل المقايضة: بينما حقق RAE قيمة FID أقل قليلاً، إلا أن Twins تفوق عليه بشكل كبير في جودة إعادة البناء (PSNR)، مما نجح في تضييق الفجوة بين التمثيلات الموجهة للفهم والتمثيلات الموجهة للتوليد.

5. الأهمية والادعاءات

يدعي البحث أن Twins نجح في كسر "المثلث المستحيل" للترميز البصري من خلال بناء تمثيل موحد يدمج صراحةً سمات ViT الغنية دلاليًا مع سمات VAE الحافظة للتفاصيل.

تكمن الأهمية في:

البساطة: يتجنب إعادة التصميم المعقدة للهياكل أو المشفرات المتبقية الإضافية، معتمدًا بدلاً من ذلك على الدمج المباشر للمشفرات الجاهزة.
التحسين المتوازن: حدد وحل نمط الفشل المحدد حيث تتجاهل نماذج DiT التفاصيل عالية التردد في المساحات الموحدة، مقدمًا حلاً قابلًا للتعميم (Focal Loss) للنمذجة المشتركة للميزات المتباينة.
واجهة موحدة: يتيح للنموذج القدرة على الفهم والتوليد في نفس مساحة الرموز، مما يلغي الحاجة إلى خطوات إضافية من "فك الترميز ثم إعادة الترميز" ويضمن الاتساق التمثيلي عبر المهام.

يخلص المؤلفون إلى أنه بينما تعد النمذجة المشترة للميزات المتباينة أمرًا غير بسيط، فإن الاستراتيجية المقترحة تضع معيارًا جديدًا لتوليد التمثيل الموحد، مما يسمح بالتنبؤ عالي الجودة بكل من السمات الدلالية والدقيقة في إطار عمل واحد.