Skip to the Good Part: Representation Structure & Inference-Time Layer Skipping in Diffusion vs. Autoregressive LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Skip to the Good Part: Representation Structure & Inference-Time Layer" من إعداد Goel وآخرون.

1. بيان المشكلة

بينما حققت نماذج اللغة الانتشارية (dLLMs) مؤخرًا تكافؤًا في الأداء مع النماذج التوليدية التكرارية (Autoregressive - AR)، إلا أن الاختلافات الجوهرية في بنيتها التمثيلية الداخلية لا تزال غير مفهومة بشكل جيد.

• الفجوة: تبني النماذج التكرارية (AR) التمثيلات بشكل تدريجي (من اليسار إلى اليمين)، بينما يتم تدريب النماذج الانتشارية (dLLMs) عبر عملية إزالة الضجيج (denoising) لكامل التسلسل. ومن غير الواضح ما إذا كان هدف الانتشار يغير بشكل جذري كيفية تجريد الميزات عبر عمق الشبكة.
• التحدي: تركز أساليب الكفاءة الحالية لنماذج dLLM على التغييرات المعمارية (مثل تخزين KV-cache، أو فك التشفير المتوازي). وهناك نقص في الفهم فيما يتعلق بما إذا كان "هدف التدريب نفسه" يحفز وجود فائض تمثيلي (representational redundancy) يمكن استغلاله لتحقيق كفاءة وقت الاستنتاج دون تعديل بنية النموذج أو مشاركة مخازن KV-cache.
• سؤال التهيئة: هل يؤدي ضبط نموذج AR باستخدام هدف انتشار (مثل Dream-7B) إلى محو بنيته التمثيلية الأصلية (AR)، أم أن أنماط الـ AR الأولية تستمر في الظهور؟

2. المنهجية

أجرى المؤلفون تحليلاً طبقيًا وعلى مستوى الرموز (token-wise) للمقارنة بين ثلاث عائلات من النماذج:

1. نموذج dLLM أصيل: LLaDA (تم تدريبه من الصفر باستخدام الانتشار).
2. نموذج AR أصيل: Qwen2.5 (تنبؤ التوكن التالي القياسي).
3. نموذج dLLM مهيأ بـ AR: Dream-7B (أوزان Qwen2.5 التي تم ضبطها بدقة باستخدام الانتشار).

أ. تحليل التشابه التمثيلي

• المقياس: تشابه جيب التمام (Cosine similarity) بين التمثيلات المتتالية للطبقات ($h_\ell$ و $h_{\ell+1}$) عبر جميع الرموز وخطوات إزالة الضجيج.
• الفرضية: إذا كان هدف التدريب يشجع على التجريد من "الخشن إلى الناعم" (coarse-to-fine)، فيجب أن تظهر الطبقات المبكرة تشابهًا عاليًا (فائضًا)، بينما تظهر الطبقات اللاحقة صقلًا (تشابهًا أقل).
• الملاحظات:
  • LLaDA (نموذج dLLM أصيل): يُظهر تجريدًا هرميًا. تُظهر الطبقات المبكرة تشابهًا عاليًا جدًا ($>0.95$)، مما يشير إلى تمثيلات خشنة وفائضة. وتُظهر الطبقات اللاحقة تشابهًا أقل، مما يشير إلى الصقل المتكرر. والأهم من ذلك، يُظهر LLaDA حدًا أدنى من انحياز الحداثة (recency bias) (التمثيلات مستقرة عبر الرموز).
  • Qwen2.5 (نموذج AR أصيل): يُظهر اقترانًا وثيقًا وانحيازًا قويًا للحداثة. تتغير التمثيلات بشكل كبير مع كل توكن جديد عبر جميع الطبقات، دون وجود هضبة واضحة للفائض.
  • Dream-7B (نموذج dLLM مهيأ بـ AR): على الرغم من تدريب الانتشار، فإن ملف التشابه وانحياز الحداثة لديه يشبهان Qwen2.5، وليس LLaDA. وهذا يكشف عن انحياز تهيئة مستمر حيث تملي عملية التدريب المسبقة لـ AR الهندسة الداخلية حتى بعد الضبط الدقيق بالانتشار.

ب. تخطي الطبقات أثناء الاستنتاج

بناءً على النتيجة التي تفيد بأن نماذج dLLM الأصلية تمتلك فائضًا عاليًا في الطبقات المبكرة، اقترح المؤلفون سياسة تخطي طبقات ثابتة وغير مرتبطة بمهمة محددة:

• الآلية: تحديد الطبقات التي يتجاوز فيها تشابه جيب التمام المتتالي عتبة معينة ($\theta = 0.95$). أثناء الاستنتاج، يتم تجاوز هذه الكتل المحولة (transformer blocks)، وتمرير الحالة المخفية مباشرة إلى الطبقة النشطة التالية.
• القيود:
  • ثابتة: يتم تحديدها مرة واحدة بناءً على تحليل وقت التدريب؛ ولا يوجد توجيه ديناميكي لكل مدخل.
  • مستقلة عن البنية: لا تتطلب مشاركة KV-cache أو ربط المعلمات (parameter tying).
  • الاستمرارية: تضمن الخوارزمية عدم تخطي الطبقات المتجاورة (لمنع كسر التدفق التمثيلي) وتحترم الاتصالات المتبقية (residual connections).

3. المساهمات الرئيسية

1. التحليل التمثيلي: أول مقارنة منهجية تُظهر أن أهداف الانتشار تحفز التجريد الهرمي (الفائض في الطبقات المبكرة) وتقلل من انحياز الحداثة، بينما تحافظ أهداف AR على التحديثات التدريجية توكنًا بتوكن.
2. اكتشاف انحياز التهيئة: أثبتت الدراسة أن نماذج dLLM المهيأة بـ AR (مثل Dream-7B) تحتفظ بديناميكيات التمثيل الخاصة بـ AR، مما يثبت أن أوزان التدريب المسبق تفرض تنظيمًا قويًا على هرم التجريد الناتج.
3. استراتيجية استنتاج فعالة: قدمت طريقة لتخطي الطبقات متعامدة مع KV-cache. بخلاف الطرق التي تتطلب تغييرات معمارية (مثل YOCO)، تعمل هذه الطريقة على النماذج المدربة مسبقًا القياسية.
4. التحقق التجريبي: أظهرت أن نماذج dLLM الأصلية يمكنها تحمل التخطي العنيف للطبقات، بينما تتدهور نماذج AR (ونماذج dLLM المهيأة بـ AR) بشكل حاد.

4. النتائج التجريبية

قام المؤلفون بالتقييم على اختبارات الاستدلال (GSM8K, MATH-500) وتوليد الكود (HumanEval, MBPP).

• الحفاظ على الأداء مقابل تقليل العمليات الحسابية (FLOPs):

  • LLaDA (نموذج dLLM أصيل): حقق ما يصل إلى تقليل بنسبة 18.75% في العمليات الحسابية (FLOPs) (تخطي 6 طبقات) مع الاحتفاظ بـ ~88-102% من أداء النموذج الأساسي. حتى عند تقليل العمليات بنسبة 25%، ظل الأداء قويًا.
  • Qwen2.5 (نموذج AR أصيل): أظهر هشاشة. تخطي طبقتين فقط (تقليل بنسبة 7.14% في العمليات) أدى إلى انخفاض الأداء إلى 34-75% من الأساس.
  • Dream-7B (المهيأ بـ AR): تصرف بشكل مشابه لـ Qwen2.5، مما يؤكد أن تهيئة AR تمنع ظهور الفائض المطلوب للتخطي الفعال.

• توزيع الطبقات: تركزت الطبقات التي تم تخطيها في LLaDA في الـ 40-60% الأولى من الشبكة، مما يتوافق مع مرحلة التمثيل "الخشن".

• التخطي المتتالي: تسبب السماح بتخطي طبقات متتالية في حدوث انخفاض كارثي في الأداء، مما يؤكد الحاجة إلى سياسة التخطي غير المتجاورة.

5. الأهمية والأثر

• الرؤية النظرية: تربط الورقة بين أهداف التدريب مباشرة وبين الهندسة التمثيلية الداخلية. وتثبت أن التوليد من "الخشن إلى الناعم" في الانتشار ليس مجرد استراتيجية فك تشفير، بل هو خاصية أساسية للتمثيلات المتعلمة، وهي ميزة متميزة عن نماذج AR.
• الكفاءة العملية: تقدم بُعدًا جديدًا للكفاءة. بينما يقلل تخزين KV-cache من فائض الذاكرة/التوكن، فإن تخطي الطبقات يقلل من الحوسبة عبر العمق. وهذان الأمران متعامدان ويمكن دمجهما لتحقيق تسريع مضاعف.
• تحذير بشأن تكييف النماذج: تشير النتائج إلى أن مجرد الضبط الدقيق لنموذج AR باستخدام هدف انتشار لا "يحول" بنيته الداخلية بالكامل. يجب على الممارسين الذين يقومون بتكييف النماذج أن يدركوا أن خصائص السلامة أو أوجه القصور من التدريب المسبق لـ AR قد تستمر.
• الاتجاهات المستقبلية: يفتح هذا العمل آفاقًا لسياسات تخطي ديناميكية بناءً على صعوبة المدخلات، وتطبيق هذه الرؤى التمثيلية على بنيات الانتشار متعددة الوسائط.

باختصار، تثبت الورقة أن نماذج الانتشار الأصلية تمتلك بنية تمثيلية فريدة وفائضة تسمح بتسريع الاستنتاج بشكل كبير عبر تخطي الطبقات، وهي قدرة تفتقر إليها نماذج AR والنماذج المهيأة بـ AR بسبب طبيعتها التدريجية غير الفائضة.