💬 NLP

Learnability-Informed Fine-Tuning of Diffusion Language Models

تقدم هذه الورقة البحثية LIFT، وهو خوارزمية ضبط دقيق مستندة إلى قابلية التعلم لنماذج اللغة الانتشارية، تعمل على مواءمة صعوبة تعلم الرموز ديناميكيًا مع السياق المتاح عند خطوات زمنية انتشار مختلفة، مما يتفوق بشكل كبير على النماذج المرجعية الحالية للضبط الدقيق الخاضع للإشراف في اختبارات التفكير.

المؤلفون الأصليون: Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: تعليم الذكاء الاصطنا-عي كيف "يتعلم" بشكل أفضل

تخيل أنك تحاول تعليم طالب كيفية حل مسائل رياضية معقدة. لديك طريقتان رئيسيتان للقيام بذلك:

الطريقة القديمة (التوليد الذاتي - Autoregressive): يقرأ الطالب المسألة ويكتب الإجابة كلمة بكلمة، تماماً مثل كتابة جملة أثناء الطباعة.
الطريقة الجديدة (الانتشار - Diffusion): يبدأ الطالب بصفحة مليئة بالفراغات (رموز محجوبة/masked tokens) ويحاول ملء كل هذه الفراغات دفعة واحدة، مع تحسين تخميناته حتى تصبح الإجابة واضحة. يُسمى هذا نموذج لغة الانتشار (DLM).

لاحظ الباحثون في هذه الورقة أنه بينما تكون "الطريقة الجديدة" سريعة، إلا أنها تتعثر عندما يحاولون تعليمها باستخدام الطرق القياسية (المعروفة باسم الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning أو SFT). الأمر يشبه محاولة تعليم طالب عبر تسليمه صفحة مفقود منها 90% من الكلمات، مع مطالبته فقط بتخمين الكلمات الأكثر شيوعاً (مثل "الـ" أو "و"). سيشعر الطالب بالملل ولن يتعلم أي شيء جديد. وعلى العكس من ذلك، إذا طلبت منه تخمين كلمات نادرة وصعبة عندما تكون الصفحة شبه فارغة، فسيشعر بالإحباط ولن يستطيع القيام بذلك.

المشكلة: عدم التطابق بين "ماذا" و"متى"

حلل المؤلفون ملايين الأمثلة التدريبية ووجدوا عدم تطابق محدد في كيفية تعلم هذه النماذج:

"ماذا": الكلمات النادرة والصعبة (مثل المصطلحات الرياضية المحددة) يصعب تعلمها. أما الكلمات الشائعة فهي سهلة.
"متى": في عملية الانتشار، يبدأ النموذج بصفحة فوضوية للغاية وشبه فارغة (يصعب تعلم أي شيء فيها) ثم تظهر المعلومات تدريجياً لتصبح أكثر وضوحاً (يصبح التعلم أسهل).

عدم التطابق:

في بداية العملية (وجود الكثير من السياق): يمكن للنموذج تخمين الكلمات الشائعة بسهولة، لكنه يتجاهل الكلمات النادرة والصعبة لأنه مشغول جداً بالأشياء السهلة.
في نهاية العملية (وجود القليل جداً من السياق): يحدق النموذج في صفحة شبه فارغة. يحاول تخمين الكلمات النادرة، لكن لا توجد معلومات كافية للقيام بذلك، لذا يفشل.

تحاول طريقة التدريب القياسية تعليم كل شيء في كل مرحلة، وهو أمر غير فعال. الأمر يشبه مطالبة طالب بحفظ قاموس وهو معصوب العينين، ثم مطالبته بحل مسألة في التفاضل والتكامل وهو يرتدي سماعات عازلة للضوضاء.

الحل: LIFT (الضبط الدقيق المستند إلى قابلية التعلم)

ابتكر المؤلفون طريقة جديدة تسمى LIFT. فكر في LIFT كمعلم ذكي يعرف بالضبط ماذا يعلّم ومتى يعلّم بناءً على مقدار المساعدة التي يمتلكها الطالب حالياً.

كيف يعمل LIFT:

عندما تكون الصفحة شبه فارغة (المرحلة المتأخرة): يقول المعلم: "حسناً، دعونا لا نحاول تخمين الكلمات النادرة والصعبة الآن؛ ليس لديك ما يكفي من الأدلة. بدلاً من ذلك، دعونا نتدرب على الكلمات السهلة والشائعة التي يمكنك استنتاجها بوجود القليل من المعلومات".
عندما تكون الصفحة واضحة تماماً (المرحلة المبكرة): يقول المعلم: "رائع، لديك الكثير من الأدلة الآن. دعونا نتوقف عن التدرب على الكلمات السهلة ونركز على الكلمات النادرة والصعبة التي لم تستطع تخمينها من قبل".

من خلال التبديل الديناميكي بين الأهداف "السهلة" و"الصعبة" اعتماداً على كمية المعلومات المتاحة، يضمن LIFT أن النموذج يتعلم دائماً شيئاً مفيداً، ولا يضيع وقته أبداً في تخمينات مستحيلة أو تكرار ممل.

النتائج: أذكى وأسرع

اختبر الفريق تقنية LIFT على اختبارات معايير الاستدằng الرياضي الصعبة (مثل مسابقات AIME للرياضيات).

الأداء: تفوق LIFT بشكل كبير على الطرق السابقة. في بعض الاختبارات الرياضية الصعبة، حسّن دقة النموذج بمقدار 3 أضعاف مقارنة بالطريقة القياسية للتدريب.
الكفاءة: هذا هو الجزء الأكثر إثارة للإعجاب. عادةً، لجعل نموذج بهذا الذكاء، تحتاج إلى استخدام "التعلم التعزيزي" (Reinforcement Learning)، وهو ما يشبه تشغيل محاكاة ضخمة لأيام، مما يكلف آلاف الساعات من وقت الحواسيب الفائقة. حقق LIFT نتائج مماثلة باستخدام قدرة حوسبة أقل بـ 500 مرة.

الخلاصة

تزعم الورقة أنه من خلال فهم متى يكون النموذج قادراً على تعلم أنواع معينة من المعلومات، يمكننا تدريب نماذج لغة الانتشار بشكل أكثر فعالية. بدلاً من إجبار النموذج على تعلم كل شيء في وقت واحد، يعمل LIFT كمدرب استراتيجي، حيث يخصص الواجب المنزلي المناسب في الوقت المناسب. وهذا يجعل الذكاء الاصطناعي أكثر ذكاءً في مهام الاستدناء مع توفير كمية هائلة من الطاقة والمال.

ملخص تقني: الضبط الدقيق المستند إلى القابلية للتعلم لنماذج اللغة الانتشارية

بيان المشكلة

بينما توفر نماذج اللغة الانتشارية (DLMs) مزايا كبيرة في سرعة الاستنتاج مقارنة بالنماذج التوليدية ذاتية الانحدار (Autoregressive) عبر توليد الرموز (Tokens) بشكل متوازٍ، إلا أن مرحلة ما بعد التدريب لتحسين قدرات الاستدلال تظل تحديًا كبيرًا. وتحديدًا، فإن الضبط الدقيق الخاضع للإشراف (SFT)، وهو الوصفة القياسية للنماذج ذاتية الاندراد، غالبًا ما يفشل في تحسين أداء النماذج الانتشارية، بل وقد يؤدي إلى تدهور أدائها مقارنة بمرحلة ما قبل التدريب. وتعد الأسباب الكامنة وراء هذا الفشل غير مدروسة بشكل كافٍ. وقد حدد المؤلفون أن SFT التقليدي يتجاهل مفهوم القابلية للتعلم (Learnability) — وتحديدًا ما هي الرموز التي يتم تعلمها ومتى يتم تعلمها خلال عملية الانتشار.

يكشف التحليل عن بُعدين حاسمين:

الـ "ماذا" (تكرار الرموز): الرموز النادرة تكون بطبيعتها أصعب في التنبؤ بها من الرموز الشائعة بسبب محدودية التعرض لها أثناء التدريب.
الـ "متى" (وقت الانتشار): صعوبة التنبؤ بالرمز تعتمد على مقدار السياق المتاح. في عملية الانتشار الأمامي، مع اقتراب زمن الانتشار $t \to 1^+$ ، تصبح المدخلات محجوبة (Masked) بكثافة، مما يقلل السياق. وفي ظل هذه الظروف، تصبح الرموز النادرة صعبة للغاية أو غير قابلة للتعلم فعليًا. وعلى العكس من ذلك، عندما $t \to 0^-$ ، يكون السياق وفيرًا، مما يجعل الرموز النادرة قابلة للتعلم، بينما تصبح الرموز الشائعة سهلة التنبؤ بشكل بديهي.

يحاول SFT التقليدي تعلم جميع الرموز بشكل موحد عبر جميع خطوات الانتشار، مما يؤدي إلى تدريب غير فعال حيث يهدر النموذج قدرته في محاولة تعلم رموز نادرة غير قابلة للتعلم في سيناريوهات منخفضة السياق، أو رموز شائعة بديهية في سيناريوهات عالية السياق.

المنهجية: LIFT

لمعالجة هذه التحديات، يقترح المؤلفون LIFT (الضبط الدقيق المستند إلى القابلية للتعلم)، وهو خوارزمية ضبط دقيق مستندة إلى SFT تتسم بالكفاءة لنماذج DLM. يقوم LIFT باختيار الرموز التي سيتم الإشراف عليها بشكل تكيفي عند كل خطوة زمنية للانتشار بناءً على التفاعل بين صعوبة الرمز والسياق المتاح.

الآلية الجوهرية

يعمل LIFT من خلال بناء "قناع مستند إلى القابلية للتعلم" بدلاً من استخدام الحجب العشوائي القياسي:

الحجب الثانوي: لزمن انتشار معين $t$ ، يقوم LIFT بأخذ عينة من نسبة حجب ثانوية $\rho \sim U(0, 1-t)$ لإنشاء مدخل أكثر فسادًا (Corrupted) $x_{t+\rho}$ .
تقدير الثقة: يحسب النموذج درجات الثقة $c_k = p_\theta(x^k_0 | x_{t+\rho})$ للرموز الحقيقية (Ground truth) في المواضع المحجوبة في $x_{t+\rho}$ .
الاختيار التكيفي: بناءً على زمن الانتشار الحالي $t$ $t$ ، يختار LIFT مجموعة فرعية من الرموز $S_t$ $S_{t}$ للإشراف عليها:
- الفساد العالي ( $t \to 1^+$ ): يختار النموذج أعلى K من الرموز (الأكثر ثقة/الأسهل). في سيناريوهات السياق المنخفض، يركز النموذج على الرموز التي يمكنه تعلمها بشكل موثوق.
- الفساد المنخفض ( $t \to 0^-$ ): يختار النموذج أدنى K من الرموز (الأقل ثقة/الأصعب). في سيناريوهات السياق العالي، يركز النموذج على الرموز النادرة والصعبة التي أصبحت الآن قابلة للتعلم.
- الفساد المتوسط: يعود النموذج إلى SFT التقليدي (الاختيار العشوائي).
حساب الخسارة: يتم تقييد خسارة التدريب حصريًا على المجموعة المختارة $S_t$ ، مما يعدل هدف (Negative Evidence Lower Bound - NELBO).

المتغيرات

LIFT: يتطلب تمريرتين أماميتين (واحدة لتقدير الثقة وأخرى لحساب الخسارة).
LIFT-A: متغير تقريبي خفيف الوزن، يقوم بتمريرة أمامية واحدة عند $t+\rho$ ويطبق قناع بوابة (Gating mask) لتصفير الخسائر للرموز غير المختارة. هذا المقايضة بوجود انحياز طفيف في الهدف مقابل كفاءة حسابية كبيرة.

المساهمات الرئيسية

تحليل منهجي لفشل SFT: تقدم الورقة أول تحليل منهجي لسبب فشل SFT التقليدي في نماذج DLM، وتوصّف الفشل بأنه عدم توافق بين صعوبة الرمز (التكرار) والمعلومات المتاحة عند خطوات انتشار محددة.
خوارزمية LIFT: اقتراح LIFT، وهي أول نهج لما بعد التدريب لـ DLM يقوم بنمذجة التفاعل بين "ماذا" (هوية الرمز/التكرار) و"متى" (زمن الانتشار) بشكل صريح لتحسين فائدة التدريب.
الكفاءة والأداء: يضع LIFT حدودًا جديدة لـ (Pareto frontier) في ما بعد تدريب DLM، حيث يحقق أداءً يضاهي طرق التعلم المعزز ذات المكافآت القابلة للتحقق (RLVR) مع تطلب موارد حسابية أقل بمراحل.

النتائج التجريبية

قام المؤلفون بتقييم LIFT على نموذجين أساسيين لـ DLM (وهما LLaDA-8B-Instruct و LLaDA 1.5) عبر ستة اختبارات معيارية للاستدلال، بما في ذلك GSM8K، وMATH، وCountdown، وSudoku، ومجموعات البيانات الصعبة AIME'24 وAIME'25.

مكاسب الأداء: يتفوق LIFT باستمرار على SFT التقليدي والأسس الأخرى (GIFT، CART) عبر جميع الاختبارات المعيارية.
- في AIME'24، حقق LIFT تحسنًا نسبيًا قدره 3.3 ضعف مقارنة بـ SFT التقليدي (16.7 مقابل 6.7 في Pass@16).
- في AIME'25، حقق Lifer تحسنًا نسبيًا قدره 2.0 ضعف (6.7 مقابل 3.3 في Pass@16).
- لوحظت تحسينات أيضًا في GSM8K وMATH وCountdown.
كفاءة الحوسبة: يحقق LIFT هذه المكاسب باستخدام حوالي 1.8 ساعة من وحدة معالجة الرسومات H100 للتدريب. في المقابل، يتطلب خط الأساس القائم على التعلم المعزز (RL) (المشار إليه بـ d1) أكثر من 2,000 ساعة من H100 لتحقيق أداء مماثل. وهذا يمثل انخفاضًا بنحو 1000 ضعف في الحوسبة.
المتانة: أظهر LIFT متانة عبر مجموعات بيانات تدريب مختلفة (s1K مقابل مجموعة أكبر مكونة من 12K) وأطوال توليد مختلفة.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن النمذجة المشتركة لـ "ماذا" و"متى" أمر بالغ الأهمية. المتغيرات التي نظرت فقط في صعوبة الرموز (Top-K أو Bottom-K) أو تجاهلت زمن الانتشار (الاختيار العشوائي) فشلت في مضاهاة أداء LIFT، خاصة في مهام الاستدلال المعقدة مثل AIME.

الأهمية والادعاءات

تدعي الورقة أن LIFT يمثل خطوة مهمة للأمام لجعل نماذج DLM قابلة للاستخدام في مهام الاستدلال المعقدة. ومن خلال مواءمة هدف التدريب مع المعلومات المتاحة في خطوات الانتشار المختلفة، يعظم LIFT من فائدة كل خطوة تدريبية.

يؤكد المؤلفون أن LIFT يرسي حدًا جديدًا لكفاءة الحوسبة (Pare Pareto frontier). فهو يثبت أن مكاسب الاستدوار المتطورة في نماذج DLM لا تتطلب بالضرية الأعباء الحسابية الهائلة للتعلم المعزز (RL). بدلاً من ذلك، يمكن لاستراتيجية SFT مصممة بعناية ومستندة إلى القابلية للتعلم أن تضاهي أداء RL بجزء ضئيل من التكلفة. ويشير العمل إلى أن تطوير DLM في المستقبل يجب أن يعطي الأولوية لفهم التفاعل بين خصائص الرموز وديناميكيات الانتشار بدلاً من مجرد زيادة حجم الحوسبة أو اعتماد تقريبات التعلم المعزز.