🤖 machine learning

Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment

تقدم هذه الورقة REPR-ALIGN، وهي طريقة تسرع تدريب نماذج اللغات الانتشارية من خلال محاذاة حالاتها الخفية مع حالات نموذج تلقائي الترتيب مجمد، مما يحافظ على التمثيلات الدلالية المتعلمة ويسمح بالتكيف الفعال دون تغييرات هيكلية أو معاملات إضافية.

المؤلفون الأصليون: Fred Zhangzhi Peng, Alexis Fox, Anru R. Zhang, Alexander Tong

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fred Zhangzhi Peng, Alexis Fox, Anru R. Zhang, Alexander Tong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Don't Retrain—Align" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: لا تبنِ منزلاً جديداً؛ فقط قم بتجديد القديم

تخيل أن لديك مهندساً معمارياً بارعاً (نموذجاً تلقائياً - Autoregressive Model) قضى سنوات في تعلم كيفية بناء المنازل، طوبة تلو الأخرى، من الأساس وصولاً إلى السقف. هذا المهندس ذكي للغاية ويعرف تماماً كيف يضع طوبة، وأين يضع نافذة، وكيف يجعل السقف متماسكاً. هكذا تعمل معظم نماذج الذكاء الاصطنا المستخدمة حالياً في اللغة: فهي تتوقع الكلمة التالية في الجملة، واحدة تلو الأخرى، من اليسار إلى اليمين.

الآن، تخيل أنك تريد بناء منزل باستخدام طريقة مختلفة تماماً: الانتشار (Diffusion). بدلاً من البناء طوبة تلو الأخرى، تبدأ بمجموعة من الحطام العشوائي (ضجيج/Noise) ثم تقوم بتنظيفه ببطء، وتنقحه ليتحول إلى منزل مثالي. يمكنك إصلاح السقف قبل الأساس، أو إضافة نافذة في منتصف الجدار. هذه الطريقة أسرع وأكثر مرونة لمهام معينة، ولكن تعليم ذكاء اصطناٍ جديد كيفية القيام بذلك من الصفر عادة ما يكون مكلفاً جداً.

المشكلة:
عادةً، لتحويل مهندس "الطوبة تلو الأخرى" إلى مهندس "تنظيف الحطام"، يقوم الباحثون بأخذ المخططات القديمة، ويرمون معظم المعرفة المكتسبة، ويحاولون تعليم الذكاء الاصطناعي كيفية تنظيف الحطام من الصفر مرة أخرى. الأمر يشبه طرد المهندس البارع وتوظيف فريق جديد ليتعلم كيفية بناء المنازل من نقطة الصفر. وهذا يتطلب الكثير من الوقت والمال والبيانات.

الحل (REPR-ALIGN):
سأل مؤلفو هذه الورقة سؤالاً بسيطاً: لماذا نتخلص من معرفة المهندس المعماري؟

لقد أدركوا أن "المعرفة" بكيفية بناء منزل (بنية اللغة، القواعد، والمعنى) هي نفسها سواء بنيته من اليسار إلى اليمين أو عن طريق تنظيف الحطام. الشيء الوحيد الذي يتغير هو طريقة البناء.

لذا، بدلاً من إعادة تدريب الذكاء الاصطناعي، قاموا بما يلي:

إبقاء المهندس البارع مجمداً: أخذوا النموذج الأصلي المدرب جيداً (نموذج "الطوبة تلو الأخرى") وجعلوه "مجمداً". لا يمكنه تعلم أي شيء جديد؛ هو فقط يجلس هناك كمرجع مثالي.
بناء توأم: أنشأوا نموذجاً توأماً له نفس بنية الدماغ تماماً، لكن هذا التوأم مهيأ للقيام بمهمة "تنظيف الحطام" (الانتشار).
خدعة المحاذاة (Alignment): بينما يحاول التوأم تعلم كيفية تنظيف الحطام، يقوم الباحثون باستمرار بالهمس في أذنه: "هيا، انظر إلى ما يفكر فيه المهندس البارع الآن. تأكد من أن أفكارك تطابق أفكاره."

إنهم يستخدمون "تشابه جيب التمام" (Cosine Similarity) الرياضي (وهي طريقة لقياس مدى قرب اتجاهين من بعضهما) لإجبار أفكار التوأم الداخلية على المحاذاة مع أفكار المهندس البارع المجمد عند كل طبقة من طبقات الدماغ.

النتائج: أسرع، أرخص، وأذكى

من خلال القيام بعملية "المحاذاة" هذه بدلاً من "إعادة التدريب"، وجدت الورقة بعض النتائج المذهلة:

السرعة: تعلم النموذج الجديد طريقة البناء الجديدة أسرع بـ 4 مرات من محاولة التعلم من الصفر.
بيانات أقل مطلوبة: عادةً، يتطلب تعليم نموذج الانتشار كميات هائلة من البيانات. ولكن لأن هذا النموذج "مرتكز" على المهندس البارع الذكي، فإنه يستطيع التعلم بفعالية حتى مع جزء ضئيل جداً من البيانات المعتادة (مثل تعلم القيادة مع مساعد يعرف الطريق تماماً).
أداء أفضل: حقق النموذج الناتج (المسمى oDLM) أداءً أفضل في مهام البرمجة مقارنة بالنماذج الكبيرة الأخرى التي تم تدريبها من الصفر أو بطرق مختلفة، رغم أنه استخدم موارد حاسوبية أقل.

مكافأة "التجميد" (Freezing)

اكتشفت الورقة أيضاً أنه نظرًا لأن "المعرفة" موجودة بالفعل ومحفوظة في المهندس البارع المجمد، فأنت لست بحاجة لتحديث كل جزء من دماغ التوأم الجديد. يمكنك تجميد الأجزاء الثقيلة (مثل المفردات ومراكز المنطق) والسماح لأجزاء "الانتباه" (Attention) فقط بالتعلم. وهذا يجعل عملية التدريب أسرع بمرتين دون فقدان الجودة.

الملخص

فكر في الأمر على هذا النحو:

الطريقة القديمة: طرد الخبير، وتوظيف مبتدئ، وقضاء سنوات في تعليمه كل شيء من الصفر.
الطريقة الجديدة (هذه الورقة): أبقِ الخبير على الهاتف. دع المبتدئ يحاول الوظيفة الجديدة، ولكن اجبره على تقليد طريقة تفكير الخبير في الوقت الفعلي.

تثبت الورقة أنك لست بحاجة لإعادة تعلم ماهية اللغة؛ أنت فقط بحاجة لتعلم كيفية توليدها بترتيب مختلف. من خلال محاذاة النموذج الجديد مع النموذج القديم، تحصل على أفضل ما في العالمين: المعرفة العميقة للنموذج القديم ومرونة الطريقة الجديدة، وكل ذلك بجزء بسيط من التكلفة.

ملخص تقني: لا تعيد التدريب—بل قم بالمحاذاة: تكييف النماذج اللغوية التوليدية ذات الترتيب الذاتي مع النماذج اللغوية التوليدية بنظام الانتشار عبر محاذاة التمثيلات

بيان المشكلة

تقدم النماذج اللغوية التوليدية بنظام الانتشار (DLMs) مزايا متميزة مقارنة بالنماذج التوليدية القياسية ذات الترتيب الذاتي (AR)، لا سيما في التوليد غير المتسلسل، والتحرير ثنائي الاتجاه، والتحسين التكراري. ومع ذلك، فإن توسيع نطاق هذه النماذج (DLMs) مكلف حوسبياً. من الناحية النظرية، يجب على نماذج الانتشار (DLMs) تعلم $L!$ من مسارات التوليد مقارنة بمسار واحد من اليسار إلى اليمين في نماذج الترتيب الذاتي (AR)، مما يتطلب غالباً قدرة حوسبية أكبر بكثير.

تحاول المنهجيات الحديثة التخفيف من هذه التكلفة عن طريق تحويل نقاط التفتيش (checkpoints) الجاهزة للنماذج ذات الترتيب الذاتي (AR) إلى نماذج انتشار (DLMs). وبينما تنجح هذه الأساليب في تهيئة نماذج الانتشار من أوزان نماذج الترتيب الذاتي، إلا أنها تعتمد بشكل أساسى على مواصلة تدريب إزالة الضجيج مع تعديلات على الأهداف، أو أنماط الانتباه، أو اصطلاحات أخذ العينات. والأهم من ذلك، أن الوصفات الحالية لا تفرض صراحةً على نموذج الانتشار (DLM) الذي تم تحويله الحفاظ على الهندسة الداخلية للتمثيلات التي تعلمها التدريب المسبق للنموذج ذي الترتيب الذاتي (AR). وهذا يثير سؤالاً مركزياً: هل من الضروري معاملة نموذج الترتيب الذاتي (AR) ونموذج الانتشار (DLM) كنموذجين منفصلين يتطلبان إعادة تعلم التمثيلات اللغوية، أم يمكن الحفاظ صراحةً على البنية الدلالية التي تعلمها التدريب المسبق للترتيب الذاتي أثناء عملية التحويل؟

المنهجية: REPR-ALIGN

يقترح المؤلفون طريقة REPR-ALIGN، وهي طريقة تكييف بسيطة (minimalist) تتعامل مع تدريب نموذج الانتشار (DLM) كمسألة محاذاة بدلاً من كونها مسألة تعلم تمثيلات. الفرضية الأساسية هي أن "الجزء الصعب" من توليد اللغة هو تعلم الهياكل الدلالية والنحوية (التمثيلات)، وهو ما أتقنته نماذج الترتيب الذاتي (AR) بالفعل. المهمة المتبقية هي مجرد تكييف هذه الميزات مع آلية فك التشفير التكرارية ذات الترتيب العشوائي.

تتضمن الطريقة نموذجين لهما نفس البنية:

المعلم (Teacher): نموذج محول (transformer) ذو ترتيب ذاتي (AR) مدرب مسبقاً ومجمد، يستخدم الانتباه السببي (causal attention).
الطالب (Student): نموذج لغوي انتشار (DLM) مقنع (masked) يستخدم الانتباه ثنائي الاتجاه، ويتم تهيئته من نفس أوزان نموذج الترتيب الذاتي (AR).

إجراء التدريب

أثناء التدريب، يستهلك النموذج الطالب تسلسلاً تالفاً (مع أقنعة للرموز/tokens) ويحاول التنبؤ بالرموز المقنعة باستخدام هدف إزالة الضجيج المقنع القياسي. وفي الوقت نفسه، يقوم نموذج المعلم المجمد بمعالجة التسلسل النظيف تحت نظام الانتباه السببي.

للحفاظ على الهندسة الداخلية لنموذج الترتيب الذاتي (AR)، قدم المؤلفون خسارة محاذاة التمثيل على مستوى الطبقات. لكل طبقة $\ell$ في مكدس المحول، يتم محاذاة الحالات الخفية للطالب ( $h^{(\ell)}_D$ ) مع الحالات الخفية للمعلم ( $h^{(\ell)}_{AR}$ ) باستخدام خسارة تشابه جيب التمام (cosine similarity loss).

هدف التدريب الإجمالي هو:
$\mathcal{L}(\theta) = \mathcal{L}_{diff}(\theta) + \lambda \mathcal{L}_{align}(\theta)$
حيث أن:

$\mathcal{L}_{diff}$ هي خسارة الإنتروبيا المتقاطعة (cross-entropy) القياسية لإزالة الضجيج المقنع.
$\mathcal{L}_{align}$ هي متوسط مسافة جيب التمام بين الحالات الخفية للطالب والمعلم عبر جميع الطبقات والمواقع المقنعة.
$\lambda$ هو معامل وزن (الافتراضي 10).

الخيارات التصميمية الرئيسية تشمل:

لا توجد مُلحقات (No Adapters): لا تتطلب الطريقة أي معاملات إضافية أو تغييرات هيكلية بخلاف تغيير قناع الانتباه من سببي إلى ثنائي الاتجاه.
المعلم المجمد: يظل معلم الترتيب الذاتي (AR) مجمدًا، مما يوفر نظام إحداثيات تمثيلي مستقر.
اصطلاح الإزاحة (Shift Convention): تلتزم الطريقة باصطلاح الإزاحة القياسي المستخدم في التحويل من AR إلى DLM للتوفيق بين فهرسة الرمز التالي وإزالة الضجيج الموضعي.

المساهمات الرئيسية

تحديد الحفاظ على التمثيل: حددت الورقة البحثية أن الحفاظ الصريح على الهندسة الداخلية لتمثيل نموذج الترتيب الذاتي (AR) هو المكون المفقود في وصفات تحويل AR إلى DLM الحالية.
وصفة تحويل بسيطة: تقدم REPR-ALIGN طريقة بسيطة لا تتطلب ملحقات، تقوم بتثبيت طالب الـ DLM بالمعلم الـ AR المجمد عبر محاذاة جيب التمام على مستوى الطبقات. تحسن هذه الطريقة جودة التحويل وكفاءة العينات عبر مختلف أحجام النماذج.
الكفاءة في البيانات والحوسبة: يوضح المؤلفون أن تحويل AR إلى DLM ليس متعطشاً للبيانات بطبيعته. فباستخدام المحاذاة، يمكن للتدريب على مجموعة فرعية صغيرة جداً من البيانات (0.8 مليار توكن) أن يتفوق على التدريب على المجموعة الكاملة (50 مليار توكن) تحت نفس ميزانية الخطوات. علاوة على ذلك، فإن تجميد الكتل الكبيرة (التضمينات وMLPs) يحسن إنتاجية التدريب بمعدل يصل إلى 2 $\times$ دون تدهور الجودة.
التحقق من التوسع (Scale-Up Validation): درب المؤلفون نموذج "oDLM" بـ 4 مليارات معلمة باستخدام هذه الوصفة. وبالمقارنة مع Dream-7B (وهو نموذج DLM قوي مبني أيضاً على تهيئة AR)، حقق oDLM درجات أفضل في HumanEval و HumanEval+ pass@10 رغم استخدامه لعدد أقل من المعلمات وميزانية بيانات وحوسبة أخف بكثير.

النتائج التجريبية

تم تقييم الطريقة على اختبارات توليد الكود البريدي (HumanEval, HumanEval+, MBPP, MBPP+) باستخدام نقاط تفتيش Qwen3 بأحجام 0.6B و 1.7B و 4B.

سرعة التكيف: سرعت REPR-ALIGN عملية التكيف باستمرار. في اختبار HumanEval pass@10، تفوق النموذج المحاذي على كل من ضبط الترتيب الذاتي (AR fine-tuning) والتدريب من الصفر طوال مراحل التحويل المبكرة. عند 200 ألف خطوة، حقق نموذج 0.6B زيادة قدرها 6.1 نقطة، وحقق نموذج 1.7B زيادة قدرها 9.4 نقطة عن النموذج المرجعي.
التوسع (Scaling): نمت فوائد المحاذاة مع حجم النموذج. أظهر نموذج 1.7B تحسينات مطلقة أكبر من نموذج 0.6B، مما يشير إلى أن هندسات التدريب المسبق للترتيب الذاتي (AR) الأكبر قيمة يجب الحفاظ عليها.
كفاءة البيانات: أدى التدريب على عينة عشوائية من 0.8 مليار توكن مع المحاذاة إلى تحقيق درجات pass@10 أعلى من التدريب على الـ 50 مليار توكن كاملة عند نفس عدد الخطوات.
التجميد: أدى تجميد تضمينات الرموز (token embeddings) وكتل MLP إلى زيادة الإنتاجية بنحو 2 $\times$ مع الحفاظ على الأداء أو تحسينه قليلاً، مما يدعم الرأي القائل بأن إشارة التعلم الأساسية تكمن في تكييف آلية إزالة الضجيج، وليس في إعادة تعلم التمثيلات.
الدراسات الاستقصائية (Ablations):
- المقياس: تفوقت محاذاة جيب التمام على مسافة L2، مما يشير إلى أن الإشارة المفيدة هي هندسية (الاتجاه) وليست مترية (المقدار).
- الوزن: وفرت $\lambda=10$ التوازن الأمثل بين التثبيت والتكيف.
- الطبقات: وفرت محاذاة جميع الطبقات أفضل نتيجة لـ pass@1، بينما كانت الطبقات الوسطى والعليا مهمة بشكل خاص لـ pass@10.

الأهمية والادعاءات

تدعي الورقة البحثية أن التمثيلات اللغوية عالمية بغض النظر عن ترتيب التوليد. ومن خلال إعادة صياغة تدريب DLM كمسألة محاذاة، يجادل المؤلفون بأن التكلفة العالية لتدريب الانتشار ناتجة في الغالب عن إعادة التعلم غير الضرورية للتمثيلات التي قدمها تدريب الترتيب الذاتي (AR) بالفعل.

تكمن أهمية هذا العمل في تقديم "تقنية جاهزة" لتدريب النماذج اللغوية التوليدية بنظام الانتشار (DLMs) التي:

تقلل الحوسبة: تحقق أداءً تنافسياً بجزء بسيط من تكلفة التدريب المسبق القياسية.
تبسط التدريب: تلغي الحاجة إلى ملحقات معقدة أو تدريب دقيق ثقيل، معتمدة بدلاً من ذلك على هدف محاذاة بسيط.
تسهل الوصول: تجعل تدريب DLM عالي الجودة ممكناً في ظروف البيانات المنخفضة مع موارد حوسبية محدودة.

يضع المؤلفون عملهم كتحول من "إعادة التدريب" إلى "المحاذاة"، مشيرين إلى أن التطورات المستقبلية في التوليد المنفصل قد تأتي من تحسين محاذاة الآليات بدلاً من نماذج التدريب من الصفر.