ملخص تقني: DiHAL – استبدال الحالة الخفية الموجه بالهندسة

بيان المشكلة

تاريخيًا، تأخرت نماذج اللغة القائمة على الانتشار (Diffusion Language Models) عن النماذج التوليدية ذاتية الانحدار (Autoregressive Transformers) المستمرة. وبينما تتفوق نماذج الانتشار في توليد الصور من خلال إزالة الضجيج المتكرر، فإن تطبيقها على النصوص يمثل تحديًا بسبب الطبيعة المنفصلة للرموز (Tokens). غالبًا ما تعاني المقاربات السابقة التي حاولت تكييف الانتشار مع اللغة — مثل فساد الرموز المنفصلة، أو الانتشار المقنع، أو الانتشار المستمر عبر تضمينات الرموز والكمونات المتعلمة — من مشكلة "عنق زجاجة الاسترداد من المستمر إلى المنفصل". فالأخطاء الصغيرة في فضاء التمثيل المستمر يمكن أن تؤدي إلى استرداد رموز غير صحيحة، مما يقلل من جودة التوليد.

يفترض المؤلفون أن فجوة الأداء لا تعود فقط إلى الطبيعة المنفصلة، بل تنبع من تطبيق الانتشار في فضاءات مستمرة ذات هندسة غير مناسبة. تعمل النماذج اللغوية من نوع Transformer على حالات خفية مستمرة، لكن هذه الحالات تختلف في خصائصها الهندسية عبر الطبقات. السؤال المركزي المطروح هو: أين داخل نموذج Transformer مدرب مسبقًا يوجد فضاء التمثيل الذي يمتلك الهندسة المطلوبة لعمليات إزالة الضجيج والاسترداد الفعال القائمة على الانتشار؟

المنهجية: DiHAL

يقترح البحث DiHAL (بنية هجينة بين الانتشار وTransformer لتوليد اللغة)، وهي إطار عمل "تحديد واستبدال" (Locate-and-Replace) يدمج جسر انتشار داخل نموذج Transformer مدرب مسبقًا بدلاً من تدريب نموذج انتشار مستقل.

1. الدافع النظري

يستند المؤلفون في نهجهم إلى ديناميكيات لانجفنز (Langevin dynamics) ونظرية التركيز (Concentration theory). ويجادلون بأن فضاء التمثيل "المناسب للانتشار" يجب أن يستوفي ثلاثة خصائص هندسية:

• الانكماش السريع (Fast Contraction): يجب أن يسمح الفضاء للعينات المشوشة بالانكماش بسرعة نحو التوزيع المستهدف (يتحكم في ذلك التقعر/التقعر اللوغاريتمي القوي).
• الاستقرار (Stability): يجب أن تكون عملية إزالة الضجيج قوية تجاه أخطاء تقدير الدرجة (يتحكم في ذلك أيضًا التقعر).
• التعقيد الفعال المنخفض (Low Effective Complexity): يجب أن يتركز التباين في التمثيل في متشعب (Manifold) منخفض الأبعاد، مما يسهل على نموذج الانتشار تعلمه.

2. التحديد (Locate): اختيار الطبقة الموجه بالهندسة

بما أن الكثافة الحقيقية ومصفوفة هيسيان (Hessian) للحالات الخفية غير متاحتين، يستخدم DiHAL وسطاء هندسيين تجريبيين لتقييم كل طبقة في Transformer:

• التقعر المحلي ($\hat{m}_{curv}$): يُقدر عبر مقلوب القيمة الذاتية القصوى لمجاورات النطاق المحلي. تشير القيم الأعلى إلى مجاورات أكثر تماسكًا.
• الرتابة العالمية ($\hat{m}_{mono}$): تُقدر عبر نسبة رايلي لمصفوفة الدقة المنتظمة. تشير القيم الأعلى إلى صلابة اتجاهية عالمية.
• الرتبة الفعالة ($\hat{k}$): تُقدر كنسبة أثر مصفوفة التباين إلى معيارها الطيفي ($\text{tr}(\Sigma)/\|\Sigma\|$). تشير القيم الأدنى إلى التركز في متشعب منخفض الأبعاد.

يتم حساب درجة الاختيار عبر دمج هذه الوسطاء (مكافأة التقعر ومعاقبة الرتبة الفعالة) لتحديد طبقة الإدراج المثلى $\ell^*$.

3. الاستبدال (Replace): جسر انتشار الحالة الخفية

بمجرد تحديد الطبقة المثلى $\ell^*$:

• يتم استبدال مقدمة Transformer السفلية (الطبقات من $1$إلى$\ell^*$) بـ جسر انتشار شرطي.
• يتم تدريب الجسر على إعادة بناء الحالة الخفية $h_{\ell^*}$ بناءً على شرط مستمد من مدخلات النموذج المصدر.
• يتم الإبقاء على طبقات Transformer العلوية ($\ell^*+1$ إلى $N$) ورأس النموذج اللغوي (LM head) الأصلي (أو ضبطها بدقة طفيفة).
• عند الاستنتاج، يقوم الجسر بإزالة الضجيج من الشرط لإنتاج $\hat{h}_{\ell^*}$، والتي تُمرر بعد ذلك إلى الطبقات العلوية المحتفظ بها للتنبؤ بالرموز. هذا يتجنب الاسترداد المباشر للرموز، ويعيد صياغة المشكلة كـ إعادة بناء للحالة الخفية.

المساهمات الرئيسية

1. صياغة إدراج الانتشار: يصيغ البحث إدراج الانتشار في نماذج Transformer المدربة مسبقًا كمسألة اختيار واجهة موجهة بالهندسة، مقترحًا وسطاء عملية لكل طبقة (التماسك المحلي، الصلابة العالمية، الرتبة الفعالة) لتحديد المساحات الصالحة للانتشار.
2. درجة الهندسة الثابتة: قدم المؤلفون درجة هندسية ثابتة ترتبط ارتباطًا قويًا بقابلية الربط (Bridgeability) (أي جودة إعادة البناء) عبر النماذج الأساسية بحجم 8 مليار بارامتر. وهذا يسمح بتحديد طبقات الإدراج الفعالة دون الحاجة لتدريب جسور لكل طبقة مرشحة.
3. بنية DiHAL: بنية هجينة تستبدل طبقات Transformer السفلية بجسر انتشار شرطي مع إعادة استخدام الطبقات العلوية ورأس النموذج اللغوي. في إعداد التشخيص المتساوي الميزانية، أظهر DiHAL أن استرداد الحالة الخفية يتفوق على خطوط الأساس المستمرة القائمة على التضميد (Embedding-based) أو الكمونات (Latent-based).

النتائج التجريبية

قيم المؤلفون DiHAL باستخدام نماذج Llama-3.1-8B-Instruct و Qwen3-8B على مجموعة بيانات Dolma v1.7.

• اختيار الطبقة: نجحت درجة الهندسة في التنبؤ بطبقات الإدراج الفعالة. بالنسبة لـ Llama-3.1-8B، اختارت الدرجة الطبقة 3؛ وبالنسبة لـ Qwen3-8B، اختارت الطبقة 2. هذه الطبقات قريبة من واجهة التضميد، مما يشير إلى أن الحالات الخفية المبكرة تحتفظ ببنية هندسية تشبه التضميد وتناسب الانتشار.
• الارتباط بقابلية الربط: أظهرت درجة الهندسة الثابتة ارتباط سبيرمان قويًا ($\rho \approx 0.91$–$0.93$) مع خسارة الجسر في التحقق، مما يؤكد أن الوسطاء الهندسيين يمكنهم تحديد الطبقات التي يمكن تدريب جسور الانتشار فيها بنجاح وبأقل تكلفة.
• المقارنة التشخيصية: في مقارنة متساوية الميزانية مع خطوط الأساس (Diffusion-LM, SED, LD4LG, CoDAR)، حقق DiHAL أدنى تعقيد توليدي (Gen.PPL) وأعلى تنوع. وتحديدًا، في Qwen3-8B، حسن DiHAL قيمة Gen.PPL من 144.83 (في CoDAR) إلى 136.02، والتنوع من 0.4777 إلى 0.5913.
• التدريب الكامل: عند التدريب الكامل، ظلت الطبقات المختارة هندسيًا تنافسية مع نماذج "الأوراكل" (التي تختار الطبقات عبر تدريب جميع الجسور صراحةً)، وتفوقت بشكل كبير على نماذج التحكم "الأسوأ طبقة" وعلى خط الأساس CoDAR.

الأهمية والادعاءات

يدعي البحث أن هندسة الحالة الخفية عامل حاسم في تحديد مكان قدرة الانتشار على العمل بفعالية داخل النموذج اللغوي. وتشير النتائج إلى أن فشل الانتشار المستمر في اللغة ليس مجرد نتيجة للطبيعة المنفصلة، بل هو أيضًا عدم تطابق بين متطلبات إزالة الضجيج وهندسة فضاء التمثيل.

النتائج الرئيسية تشمل:

• إعادة صياغة المشكلة: لا يلزم أن يقوم الانتشار المستمر للغة بتوليد النصوص عبر استرداد الرموز مباشرة؛ بل يمكنه إعادة بناء تمثيل داخلي يعرف نموذج Transformer المدرب مسبقًا كيفية فك تشفيره.
• جدوى النماذج الهجينة: من الممكن استبدال أجزاء من نموذج Transformer مدرب مسبقًا بجسر انتشار إذا تم اختيار نقطة الإدراج بناءً على معايير هندسية.
• القيود: أشار المؤلفون بتواضع إلى أن DiHAL ليس بعد نموذج لغة للانتشار قائم بذاته؛ فهو يعتمد على الجزء المتبقي من Transformer للتنبؤ بالرموز. علاوة على ذلك، فإن زمن الاستنتاج حاليًا أعلى من النموذج الأصلي بسبب خطوات إزالة الضجيج. يُقدم هذا العمل كخطوة نحو فهم أين يمكن للانتشار الدخول في النماذج الحالية، وليس كبديل كامل للتوليد ذاتي الانحدار بهذا النطاق.