🤖 AI

Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenizatio

تقدم هذه الورقة البحثية DRoRAE، وهو مشفر تلقائي للتمثيل خفيف الوزن يحسن جودة الترميز البصري والتوليد بشكل كبير من خلال دمج الميزات الهرمية من جميع طبقات المشفر البصري المجمد تكيفياً، بدلاً من الاعتماد فقط على الطبقة النهائية، مما يكشف عن علاقة لوغاريتمية خطية قابلة للتوسع بين قدرة الدمج وأداء إعادة البناء.

المؤلفون الأصليون: Xuanyu Zhu, Yan Bai, Yang Shi, Yihang Lou, Yuanxing Zhang, Jing Jin, Yuan Zhou

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xuanyu Zhu, Yan Bai, Yang Shi, Yihang Lou, Yuanxing Zhang, Jing Jin, Yuan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenization" (DRoRAE)، مترجمة إلى لغة بسيطة، يومية، باستخدام التشبيهات.

المشكلة الكبرى: عنق الزجاجة في "الطبقة الأخيرة"

تخدّل أنك تحاول وصف لوحة فنية معقدة لصديق لم يرها من قبل. لديك فريق من 12 ناقداً فنياً (الطبقات في الشبكة العصبية) ينظرون إلى اللوحة.

النقاد الأوائل بارعون في ملاحظة التفاصيل الدقيقة: ملمس ضربات الفرشاة، الدرجة الدقيقة للون الأزرق، والحواف الحادة للإطار.
الناقد الأخير هو خبير في "الصورة الكبيرة". يمكنه إخبارك أن اللوحة هي "غروب الشمس فوق جبل"، لكنه نسي تفاصيل ملمس السحب أو اللون الدقيق للعشب لأنه كان مشغولاً بتلخيص المشهد بأكره.

أنظمة الذكاء الاصطناعي الحالية (مثل تلك المستخدمة لتوليد الصور) تستمع عادةً إلى هذا الناقد الأخير فقط. فهي ترمي ملاحظات النقاد الـ 11 الأوائل.

النتيجة: يمكن للذكاء الاصطناعي توليد صورة تبدو كغروب الشمس، لكن التفاصيل تكون ضبابية، الملامس طينية، والحواف ناعمة. الأمر يشبه محاولة إعادة بناء منزل باستخدام ملخص المهندس المعماري فقط، مع نسيان المخطط الخاص بالطوب والملاط.

الحل: DRoRAE (اجتماع "الكل حاضر")

يقترح المؤلفون نظاماً جديداً يسمى DRoRAE. بدلاً من الاستماع إلى الناقد الأخير فقط، يعقد DRoRAE اجتماعاً مع جميع النقاد الاثني عشر ويدمج ملاحظاتهم في ملخص واحد مثالي.

إليك كيف يفعلون ذلك، باستخدام ثلاث حيل ذكية:

1. الموجه الذكي (الخلاط "المقيد بالطاقة")

لا يمكنك مجرد دمج جميع الملاحظات معاً؛ فملاحظات "الملمس" من الناقد الأول قد تتعارض مع ملاحظات "الصورة الكبيرة" من الناقد الأخير.

كيف يعمل: يستخدم DRoRAE موجهًا ذكياً (Smart Router). فكر في هذا الموجه كـ "دي جي" (DJ) يمزج الموسيقى.
الحيلة: على عكس الخلاط القياسي الذي يرفع أزرار الصوت فقط (الأرقام الموجبة)، يمكن لهذا الـ "دي جي" أيضاً خفض أزرار الصوت (الأرقام السالبة).
لماذا يهم هذا: إذا كانت طبقة معينة تقدم معلومات "ضوضائية" أو سيئة لجزء معين من الصورة، يمكن للموجه أن يقوم بـ كبحها فعلياً (خفض مستوى الصوت إلى السالب) بدلاً من مجرد تجاهلها. إنه يختار أفضل التفاصيل من الطبقات الضحلة (الملامس) وأفضل المفاهيم من الطبقات العميقة (الدلالات) ويمزجها بشكل مثالي.

2. "التصحيح التدريجي" (شبكة الأمان)

إذا قمت بتغيير الملخص الذي يستخدمه الذكاء الاصطناعي فجأة، فقد يرتبك "المفكك" (الجزء الذي يحول الملخص إلى صورة مرة أخرى) ويفشل. الأمر يشبه تغيير اللغة التي يتحدث بها المترجم في منتصف الجملة.

الحيلة: لا يستبدل DRoRAE الملخص القديم بالكامل. بدلاً من ذلك، يعامل الملخص الجديد الأكثر ثراءً كـ تصحيح صغير للملخص القديم.
التشبيه: تخيل أن لديك خريطة مثالية (الملخص القديم). يقول DRoRAE: "دعونا نحتفظ بتلك الخريطة، ولكن لنضف بعض الملاحظات الصغيرة والدقيقة حول الحفر وعلامات الطريق". هذا يضمن عدم ضياع "المفكك"، لكنه يمنحه أيضاً التفاصيل الإضافية التي يحتاجها.

3. التدريب ثلاثي المراحل (استراتيجية "البروفة")

لا يمكنك إلقاء الجميع في العرض النهائي دفعة واحدة. يستخدم المؤلفون عملية بروفة من ثلاث خطوات:

المرحلة 1: تعليم "المفكك" (الرسام) كيف يعمل بشكل مثالي مع الملخص القديم (الطبقة الأخيرة فقط).
المرحلة 2: تجميد "الرسام". الآن، تدريب الموجه الذكي لإنشاء ملخص جديد يمكن للرسام أن يفهمه لا يزال، حتى لو كان يحتوي على مزيد من التفاصيل. يعمل الرسام هنا كمعلم صارم، لضمان عدم انحراف الملخص الجديد بعيداً عما يعرفه الرسام.
المرحلة 3: إلغاء تجميد "الرسام" وتركهم يتدربون مع الملخص الجديد الأكثر ثراءً. الآن يتعلم الرسام كيف يستخدم تلك التفاصيل الإضافية لرسم صور أفضل.

النتائج: صور أكثر حدة وتوسع أفضل

اختبرت الورقة هذا على ImageNet (مجموعة ضخمة من الصور).

إعادة البناء (Reconstruction): عند محاولة إعادة بناء صورة من الملخص، جعل DRoRAE الصورة أكثر حدة بكثير. انخفض "الضباب" (الذي يُقاس بدرجة تسمى rFID) بشكل كبير. لقد استعاد التفاصيل الدقيقة مثل خصلات الشعر، ملمس القماش، والخطوط الرفيعة التي فقدها النظام القديم.
التوليد (Generation): عندما يُطلب من الذكاء الاصطناعي إنشاء صور جديدة، كانت النتائج أيضاً أفضل. كانت الصور أكثر واقعية وتتبع التعليمات بدقة أكبر.
تحويل النص إلى صورة: ساعدت هذه التحسينات أيضاً عند توليد الصور من الأوصاف النصية.

اكتشاف "قانون التوسع" (Scaling Law)

وجد المؤلفون شيئاً رائعاً حول مدى تحسن النظام عندما يجعلونه أكبر.

في ذكاء النصوص (مثل النماذج اللغوية الكبيرة LLMs)، نعرف أنه إذا زدنا حجم المفردات (عدد الكلمات التي يعرفها الذكاء الاصطناعي)، فإن الذكاء الاصطناعي يصبح أذكى بطريقة متوقعة وخطية.
اكتشف المؤلفون أن بالنسبة لذكاء الصور، فإن "ثراء التمثيل" (Representation Richness) هو الشيء نفسه.
التشبيه: فكر في "ثراء التمثيل" كحجم صندوق أدوات الذكاء الاصطناعي.
- يمكنك جعل صندوق الأدوات أكبر بإضافة مزيد من الطبقات (المزيد من النقاد).
- أو يمكنك جعل صندوق الأدوات أكبر بجعل كل خبير أكثر ذكاءً (زيادة السعة لكل طبقة).
النتيجة: بغض النظر عن الطريقة التي تجعل بها صندوق الأدوات أكبر، فإن جودة الصور تتحسن بطريقة لوغاريتمية خطية متوقعة. إذا ضاعفت "الثراء" في المعلومات، ستحصل على دفعة متوقعة في جودة الصورة. هذا يعني أننا لسنا بحاجة للتخمين لكيفية تحسين هذه الأنظمة؛ نحن فقط بحاجة للاستمرار في إضافة "طبقات من التفاصيل" إلى صندوق الأدوات.

الملخص

DRoRAE هو طريقة جديدة لتعليم الذكاء الاصطناعي رؤية الصور. بدلاً من ترك الذكاء الاصطناعي ينسى التفاصيل الدقيقة من خلال النظر فقط إلى "الصورة الكبيرة" (الطبقة الأخيرة)، فإنه يجبر الذكاء الاصطناعي على الاستماع إلى كل طبقة من عقله. ومن خلال استخدام خلاط ذكي، وشبكة أمان، وعملية بروفة دقيقة، فإنه يخلق صوراً أكثر حدة، وأكثر تفصيلاً، وأسهل في التوليد، وكل ذلك مع اتباع قاعدة متوقعة: معلومات أكثر تفصيلاً = صور أفضل.

ملخص تقني: ما وراء الطبقة الأخيرة: دمج التمثيلات متعدد الطبقات لترميز المرئيات

1. بيان المشكلة

تعاني أدوات الترميز المرئي (Visual Tokenizers) المتطورة حاليًا، ولا سيما تلك التي تعتمد على نماذج التأسيس المرئية (VFMs) سابقة التدريب والمجمدة مثل DINOv2 كركائز أساسية، من عنق زجاجة معلوماتي أحادي الطبقة حرج. تستخرج الطرق الحالية الميزات من طبقة الترميز النهائية حصريًا لتحديد الفضاء الكامن (Latent Space). وبينما تكون ميزات الطبقة الأخيرة هذه محسنة للسمات الدلالية عالية المستوى، إلا أنها تتخلص بشكل منهجي من التفاصيل المرئية منخفضة المستوى (مثل الأنسجة، والحواف، وتدرجات الألوان) من خلال التجريد الدلالي التدريجي.

وتشير التحليلات الأخيرة إلى أن المعلومات منخفضة المستوى تظل باقية في الطبقة الأخيرة فقط كبقايا مخمدة عبر اتصالات متبقية (Residual Connections) سلبية، وتصبح فاقدة للمعلومات بشكل متزايد مع كل طبقة متتالية. وبناءً على ذلك، فإن أدوات الترميز أحادية الطبقة تتخلص من المعلومات الهرمية الغنية الموزعة عبر الطبقات المتوسطة، مما يحد من دقة إعادة البناء وجودة التوليد اللاحق. علاوة على ذلك، لا يزال هناك سؤال مفتوح حول ما إذا كان زيادة "ثراء التمثيل" لأدوات الترميز المرئية يتبع قانون توسع (Scaling Law) يمكن التنبؤ به، على غرار توسع حجم المفردات في أدوات ترميز معالجة اللغات الطبيعية (NLP).

2. المنهجية: DRoRAE

يقترح المؤلفون DRoRAE (المشفر التلقائي لتمثيل التوجيه العمقي - Depth-Routed Representation AutoEncoder)، وهو وحدة دمج خفيفة الوزن مصممة لتجميع الميزات من جميع طبقات الترميز مع الحفاظ على التوافق مع أجهزة فك التشفير (Decoders) المجمدة والنماذج التوليدية اللاحقة.

البنية الأساسية

يقوم DRoRAE بإدراج وحدة دمج قابلة للتدريب بين ركيزة VFM المجمدة وفك التشفير. تتضمن العملية ثلاث آليات رئيسية:

الخبراء لكل طبقة (Layer-wise Experts): ترتبط كل طبقة من طبقات الترم $L$ بشبكة خبير مخصصة (MLP بطبقتين). تقوم هذه الخبراء بإسقاط ميزات الطبقات غير المتجانسة على مقياس مشترك، يتم ضبطه بواسطة تطبيع الطبقة (Layer Normalization) الخاص بالركيزة للتعامل مع تفاوتات التباين.
التوجيه المقيد بالطاقة (Energy-Constrained Routing): على عكس نظام خليط الخبراء (MoE) القياسي الذي يستخدم تطبيع Softmax، يستخدم DRoRAE آلية توجيه مقيدة بالطاقة. تنتج شبكة التوجيه أوزانًا لكل رمز (Per-token weights) عبر جميع الطبقات. ومن الأهمية بمكان أن هذه الصيغة تسمح بوجود أوزان سالبة، مما يمكن الموجه من قمع مساهمات الطبقات الضارة بنشاط (إزالة الضجيج) بدلاً من مجرد اختيار الفائزين. يتم تطبيع المخرج بواسطة معيار $\ell_2$ لمتجه الوزن للحد من طاقة المخرج.
التصحيح التدريجي (Incremental Correction): بدلاً من استبدال مخرج الطبقة الأخيرة الأصلي ( $z_{base}$ ) بالتمثيل المدمج ( $z_{fuse}$ )، يصيغ DRoRAE المخرج كتصحيح تدريجي:
$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$
هنا، يتحكم $\beta$ في قوة الدمج. تضمن هذه الصيغة المتبقية بقاء التمثيل المدمج مرتبطًا بالتوزيع الأصلي، مما يمنع الانحراف العشوائي الذي قد يكسر التوافق مع التوليد اللاحق.

استراتيجية التدريب المنفصلة ثلاثية المراحل

لمعالجة تحدي إزاحة توزيع التمثيل بعيدًا عما يتوقعه فك التشفير المجمد، يقترح المؤلفون استراتيجية تدريب تدريجية:

المرحلة 1 (تدريب فك التشفير): تدريب فك التشفير على خط الأساس RAE أحادي الطبقة لإنشاء "قدرة فك تشفير" قوية وتحديد التوزيع المستهدف.
المرحلة 2 (تدريب وحدة الدمج): تجميد الركيزة وفك التشفير الخاص بالمرحلة 1. يتم تدريب وحدة الدمج فقط. يعمل فك التشفير المجمد كقيد توزيعي ضمني، مما يجبر وحدة الدمج على تعلم معلومات تكميلية يمكن لفك التشفير عكسها بالفعل، مما يمنع انحراف التوزيع.
المرحلة 3 (ضبط فك التشفير الدقيق): تجميد وحدة الدمج المحسنة وإلغاء تجميد فك التشفير. يتم ضبط فك التشفير بدقة لاستغلال الفضاء الكامن الغني بالكامل، مما يعظم جودة إعادة البناء دون الإضرار بالتوليد.

3. المساهمات الرئيسية

تحديد عنق الزجاجة: حددت الورقة أن أدوات الترم التلقائي للتمثيل الحالية تتخلص من المعلومات المرئية الهرمية من خلال الاعتماد فقط على طبقة الترم الأخيرة، حيث تكون التفاصيل منخفضة المستوى مجرد بقايا مخمدة.
بنية DRoRAE: وحدة دمج خفيفة الوزن (~29 مليون معلمة) تقوم بتجميع جميع طبقات الترم تكيفيًا عبر التوجيه المقيد بالطاقة (الذي يسمح بالأوزان السالبة) والتصحيح التدريجي.
استراتيجية التدريب: بروتوكول تدريب منفصل ثلاثي المراحل يضمن توافق التوليد من خلال تعلم الدمج تحت قيد فك التشفيد المجمد قبل التكيف المشترك لفك التشفير.
اكتشاف قانون التوسع (Scaling Law): أثبتت الورقة وجود قانون توسع خطي-لوغاريتمي ( $R^2=0.86$ ) بين قدرة الدمج (المحددة بسعة الخبير وعدد الطبقات المدمجة) وجودة إعادة البناء. هذا يحدد "ثراء التمثيل" كبعد جديد يمكن التوسع فيه بشكل يمكن التنبؤ به، على غرار حجم المفردات في معالجة اللغات الطبيعية.

4. النتائج التجريبية

أجريت التجارب على ImageNet-256 (256x256) لإعادة البناء والتوليد المشروط بالفئة، وعلى CC12M-LLaVA-Next لتخليق الصور من النصوص.

إعادة البناء: يحسن DRoRAE مقاييس إعادة البناء بشكل كبير مقارنة بخط الأساس RAE. انخفضت قيمة rFID من 0.57 إلى 0.29، وزاد PSNR من 18.8 إلى 24.32 dB، وتحسن LPIPS من 0.256 إلى 0.134.
التوليد المشروط بالفئة: باستخدام مولد DiTDH-XL مع AutoGuidance، حسن DRoRAE FID التوليدي (gFID) من 1.74 إلى 1.65 مع الحفاظ على أو تحسين بسيط في Inception Score (IS) والدقة/الاستدعاء (Precision/Recall).
تخليق الصور من النصوص: تنتقل المكاسب إلى مهام النص-إلى-الصورة، حيث حقق DRoRAE درجات GenEval مماثلة أو أفضل قليلاً (0.60 مقابل 0.56 لـ RAE) عبر أبعاد الأشياء، والعد، والمكان.
دراسات الاستئصال (Ablation Studies):
- التوجيه المقيد بالطاقة: يتفوق على توجيه Softmax من خلال السماح بالقمع النشط للطبقات المشوشة.
- التصحيح التدريجي: ضروري لتوافق التوليد؛ بدون ذلك، تتحسن إعادة البناء قليلاً، ولكن تزدادة خسارة تدريب الانتشار اللاحقة بشكل كبير، مما يشير إلى عدم تطابق التوزيع.
- استراتيجية التدريب: فشل التدريب المشترك بدون قيد المرحلة الثانية في تحقيق نفس جودة التوليد، مما يؤكد ضرورة النهج المنفصل.

5. الأهمية والادعاءات

تدعي الورقة أن DRoRAE يثبت أن الدمج متعدد الطبقات هو ترقية عملية وفعالة لأدوات الترم القائمة على التمثيل، حيث يستعيد التفاصيل عالية التردد المفقودة في الاستخراج أحادي الطبقة.

تتمثل الأهمية الأساسية لهذا العمل في اكتشاف قانون توسع يمكن التنبؤ به لأدوات الترم المرئية. من خلال إظهار أن زيادة "ميزانية التمثيل" (عبر المزيد من الطبقات المدمجة أو سعات الخبراء الأكبر) تؤدي إلى تحسينات خطية-لوغاريتمية في جودة إعادة البناء، يجادل المؤلفون بأن ثراء التمثيل هو بعد قابل للتوسع يضاهي حجم المفردات في معالجة اللغات الطبيعية. يشير هذا إلى أنه يمكن حصاد التحسينات المستقبلية في الترميز المرئي بشكل منهجي من خلال توسيع قدرة الدمج، بدلاً من الاعتماد فقط على التغييرات الهيكلية أو مجموعات البيانات الأكبر.

تخلص الورقة إلى أنه بينما تستخدم التجارب الحالية DINOv2-B، فإن المنهجية قابلة للتعميم على أجهزة ترميز أكبر، ومن المحتمل أن تشمل ترميز الفيديو، مما يضع دمج الطبقات المتعددة كاتجاه أساسي لتعزيز أنظمة التوليد المرئي.