💬 NLP

Drifting Objectives for Refining Discrete Diffusion Language Models

تقدم هذه الورقة TokenDrift، وهو هدف تدريب مبتكر يطوع مبادئ الانجراف المستمر لنماذج اللغة ذات الانتشار المنفصل عبر رفع التنبؤات الفئوية إلى سمات الرموز الناعمة من أجل صقل غير متماثل، مما يحسن جودة التوليد بشكل كبير عند خطوات أخذ العينات المنخفضة.

المؤلفون الأصليون: Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

نُشر 2026-05-20

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا يكتب القصص. هذا الروبوت، المسمى نموذج لغة الانتشار المنفصل (DDLM)، لا يكتب كلمة بكلمة مثل البشر. بدلاً من ذلك، يبدأ بصفحة مليئة بالهراء (أو "الضجيج") ثم يقوم بتنظيفها تدريجيًا، خطوة بخطوة، حتى تصبح مفهومة.

عادةً، لكي يكتب الروبوت قصة جيدة حقًا، فإنه يحتاج إلى اتخاذ خطوات صغيرة كثيرة لتنظيف النص. إذا أجبرته على التوقف مبكرًا (لتوفير الوقت أو المال)، فإن القصة غالبًا ما تنهار، وتصبح غير منطقية أو مكررة.

تساءل مؤلفو هذه الورقة البحثية سؤالاً بسيطًا: هل يمكننا تعليم الروبوت كتابة قصص أفضل بشكل أسرع، دون تغيير الطريقة التي ينظف بها النص أو إعطائه مزيدًا من الوقت؟

إجابتهم هي طريقة تدريب جديدة تسمى TokenDrift. وإليك كيف تعمل، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: "الجدار الصلب" مقابل "الجدار الناعم"

في عالم النصوص، الكلمات تشبه الكتل المتميزة (مثل "قطة" أو "كلب"). لا يمكنك الحصول على نصف "قطة" ونصف "كلب".

المشكلة: طريقة التدريب الجديدة التي أرادوا استخدامها (المسماة "Drifting" أو الانجراف) تعمل بشكل أفضل في عالم مستمر وسلس حيث يمكن للأشياء أن تنزلق بسلاسة نحو هدف ما. ولكن نظرًا لأن النصوص مكونة من كتل صلبة، فإن الروبوت لا يستطيع "الانزلاق" بسلاسة. إذا اختار الروبوت كلمة محددة (خيار "صلب")، فإن الرياضيات تتعطل، ولا يستطيع الروبوت التعلم من أخطائه.

2. الحل: "العدسة الضبابية" (Soft-Token Lift)

لحل هذه المشكلة، اخترع المؤلفون خدعة تسمى Soft-Token Lift.

التشبيه: تخيل بدلًا من أن يختار الروبوت كلمة محددة، فإنه يرفع عدسة ضبابية شبه شفافة فوق القاموس. من خلال هذه العدسة، يرى "قطة" بوضوح 50%، و"كلب" بوضوح 30%، و"فأر" بوضوح 20%.
لماذا يساعد ذلك: هذه الرؤية "الضبابية" سلسة وصديقة للرياضيات. فهي تسمح للروبوت بالشعور بـ "قوة جذب" الكلمات الصحيحة دون الحاجة إلى الالتزام بخيار صلب واحد بعد. هذا يخلق جسرًا يسمح للرياضيات الخاصة بالتدريب بالتدفق عبر النظام.

3. التدريب: "المغناطيس والمنفر" (Drifting)

بمجرد أن ينظر الروبوت من خلال هذه العدسة الضبابية، يطبق المؤلفون تقنية "الانجراف" (Drifting).

التشبيه: تخيل الروبوت واقفًا في حقل.
- الجذب: هناك مغناطيسات تجذب الروبوت نحو القصص الجيدة والحقيقية (بيانات من الإنترنت).
- التنافر: هناك مغناطيسات تدفع الروبوت بعيدًا عن القصص السيئة التي صنعها الروبوت (أخطاء الروبوت نفسه).
الهدف: يتعلم الروبوت التحرك في الاتجاه الذي يجذبه نحو القصص الجيدة ويدفعه بعيدًا عن القصص السيئة. هذا يخلق "انجرافًا" يوجه الروبوت نحو نتائج أفضل.

4. النتيجة: قصص أفضل، في نفس الوقت

اختبر المؤلفون هذا على نوعين مختلفين من الروبوتات المولدة للنصوص.

الإعداد: أخذوا روبوتات موجودة تم تدريبها بالفعل. لم يغيروا "دماغ" الروبوت أو طريقة كتابته؛ بل قاموا فقط بتغيير "خطة الدرس" (هدف التدريب) باستخدام طريقة "الانجراف" الجديدة الخاصة بهم.
النتيجة: عندما أُجبرت الروبوتات المدربة باستخدام TokenDrift على الكتابة بعدد محدود من الخطوات (ميزانية ضيقة)، أنتجت نصوصًا أفضل بكثير.
- في أحد أنواع الروبوتات، تحسنت جودة النص بنسبة 89% مقارنة بمجرد ترك الروبوت يتدرب بشكل طبيعي.
- كان النص أكثر تماسكًا، وأقل تكرارًا، وأكثر منطقية، رغم أن الروبوت كان يتخذ نفس عدد الخطوات كما في السابق.

الملخص

فكر في TokenDrift كطريقة جديدة لتدريب طالب. بدلًا من مجرد قول "حاول بجهد أكبر" (وهو ما يفعله التدريب العادي)، تمنحه هذه الطريقة خريطة مغناطيسية. إنها تجذبه بلطف نحو الأمثلة الجيدة وتدفعه بعيدًا عن الأمثلة السيئة، لكنها تفعل ذلك من خلال "عدسة ضبابية" تسم تسمح للطالب بفهم الاتجاه دون أن يعلق في القواعد الصارمة للأبجدية.

تثبت الورقة البحثية أنه يمكنك جعل هذه الروبوتات المولدة للنصوص أكثر كفاءة وعالية الجودة ببساطة عن طريق تغيير كيفية تدريبها، دون الحاجة إلى بناء روبوت جديد تمامًا أو إعطائها المزيد من الوقت للتفكير.

ملخص تقني: أهداف الانجراف لتنقية نماذج اللغات ذات الانتشار المنفصل

بيان المشكلة

تقوم نماذج اللغات ذات الانتشار المنفصل (DDLMs) بتوليد النصوص من خلال إزالة الضجيج بشكل تكراري من تسلسلات الرموز الفئوية. وبينما قدمت التطورات الأخيرة في النماذج المستمرة التوليدية طرق "الانجراف" (drifting)—حيث يتم استيعاب تصحيحات وقت أخذ العينات في التدريب عبر هدف نقطة ثابتة مضاد للتماثل—فإن نقل هذا المبدأ إلى النصوص المنفصلة أمر غير بديهي.

يكمن التحدي الجوهري في الواجهة بين النص المنفصل والانجراف المستمر. في الإعدادات المستمرة، يمكن دفع العينات المولدة أو تمثيلاتها الميزتية (feature representations) على طول اتجاه الانجراف لتعمل كأهداف تدريب. ومع ذلك، تنتج نماذج DDLM توزيعات فئوية فوق الرموز. إذا تم ضغط هذه التوزيعات إلى رموز صلبة (عبر argmax أو أخذ العينات) قبل استخراج الميزات، فإن خسارة فضاء الميزات الناتجة ستكون غير قابلة للتفاضل بالنسبة لـ (logits) النموذج. وبناءً على ذلك، لا يمكن لعملية الانجراف القياسية توفير تدرجات (gradients) مفيدة لتنقية المولد. تطرح الورقة السؤال التالي: هل يمكن للهدف التدريبي نفسه أن ينقي نموذج DDLM موجود بحيث ينتج نفس المولد عينات أفضل عند نفس ميزانية الاستدلال، دون تصميم أخذ عينات جديد أو تقطير طلاب ذوي خطوات قليلة؟

المنهجية: TOKENDRIFT

صاغ المؤلفون TOKENDRIFT، وهو هدف انجراف مصمم لسد الفجوة بين التنبؤات الفئوية وفضاءات الميزات المستمرة. تعمل الطريقة من خلال ثلاث مراحل رئيسية:

الرفع الميزتي للرموز الناعمة (Soft-Token Feature Lift):
بدلاً من ضغط التنبؤات إلى رموز صلبة، يقوم TOKENDRIFT برفع تنبؤات النموذج الفئوية ( $p_t$ ) إلى ميزات رموز ناعمة. وبالنظر إلى مشفر دلالي مجمد $\phi$ ومصفوفة تضمين $E$ ، يتم إنشاء المدخل للمشفر للموضع المتوقع كالتالي: التضمين المتوقع $\tilde{e}_t = p_t E$ . هذا يخلق مساراً قابلاً للتفاضل من خسارة فضاء الميزات وصولاً إلى (logits) الرموز، مما يحافظ على عدم اليقين التنبئي في الفضاء الدلالي.
تقدير الانجراف المضاد للتماثل (Anti-Symmetric Drift Estimation):
في فضاء ميزات دلالي مجمد، تقوم الطريقة بتقدير حقل انجراف $V$ بناءً على هيكل جذب-تنافر:

الجذب (Attraction): يسحب الميزات المولدة نحو الميزات القريبة من البيانات الحقيقية ( $P_{data}$ ).
التنافر (Repulsion): يدفع الميزات المولدة بعيداً عن الميزات القريبة من توزيع النموذج الحالي ( $P_{model}$ ).
يتم حساب متجه الانجراف كـ $V = b^+ - b^-$ ، حيث $b^+$ و $b^-$ هما مراكز ثقل (barycenters) لمجموعات مرجعية موجبة (حقيقية) وسالبة (مولدة) مع ضبط درجة الحرارة. تستخدم الطريقة مخطط درجات حرارة متعددة لضمان المتانة.

هدف النقطة الثابتة في فضاء الميزات (Feature-Space Fixed-Point Objective):
يتم تدريب النموذج لمطابقة هدف يتوقف عنده التدرج $h^* = \text{sg}(h + \alpha V)$ ، حيث $h$ هو الميزة المولدة الحالية و $\alpha$ هو مقيًاس الانجراف. تُعرف الخسارة كمسافة L2 المربعة:
$\mathcal{L}_{drift} = \frac{1}{2B} \sum_{i=1}^B \|h_i - h^*_i\|^_2$
بما أن $h^*$ مجمد، فإن تقليل هذه الخسارة يدفع الميزة المولدة $h$ في اتجاه حقل الانجراف $V$ . ومن خلال رفع الرموز الناعمة، يتم تمرير هذا التدرج عكسياً إلى الـ (logits).

كما استكشف المؤلفون صياغات بديلة، مثل تحويل الانجراف إلى توزيع "معلم مرآتي" (mirror teacher) في فضاء الـ (logits)، لكنهم وجدوا أن المطابقة المباشرة في فضاء الميزات توفر التوازن الأكثر استقراراً بين الاحتمالية والاعتلاج (entropy).

المساهمات الرئيسية

صياغة الانجراف للنصوص المنفصلة: تحدد الورقة وتحل فجوة القابلية للتفاضل عند تطبيق الانجراف على نماذج DDLM من خلال تقديم رفع الرموز الناعمة، مما يسمح لتدرجات فضاء الميزات بتحديث (logits) الفئوية.
هدف التنقية: تقترح استراتيجية تنقية من جانب التدريب تعمل على تحسين جودة التوليد عند عدد محدد من عمليات التقييم (NFE) دون تغيير أخذ العينات أو طلب خطوط أنابيب تقطير متخصصة.
التحقق التجريبي: تم التحقق من الطريقة على نموذجين مختلفين من خلفيات DDLM: Masked Diffusion (MDLM) و Uniform-State Diffusion (DUO).

النتائج التجريبية

أجرى المؤلفون تجارب تدريب مستمر مضبوطة على OpenWebText (OWT)، مقارنةً بالنماذج الأصلية وتدريب الاستمرار العادي (باستخدام نفس ميزانية الحوسبة الإضافية).

مكاسب الأداء: يحسن TOKENDRIFT بشكل كبير من الارتباك التوليدي (Gen.-PPL) عند قيم NFE منخفضة.
- في نموذج MDLM (Masked Diffusion) عند 4 NFEs، انخفض Gen.-PPL بنسبة 89% (من ~1942 إلى ~209) مقارنة بالنموذج الأساسي.
- في نموذج DUO (Uniform-State) عند 4 NFEs، انخفض Gen.-PPL بنسبة 86% (من ~509 إلى ~76).
المقارنة مع النماذج المرجعية: كانت التحسينات جوهرية مقارنة بتدريب الاستمرار العادي، الذي أظهر مكاسب ضئيلة. كما تفوق TOKENDRIFT على طرق التقطير المتخصصة (مثل SDTT و Di4C) في نظام الخطوات القليلة تحت ميزانيات متساوية.
الدراسات الاستقصائية (Ablation Studies):
- الرموز الناعمة مقابل الصلبة: تسبب استبدال رفع الرموز الناعمة بمقدر تمرير مباشر صلب (straight-through estimator) في تدهور شديد في الأداء وانهيار في الاعتلاج، مما أكد أن الحفاظ على عدم اليقين التنبئي أمر ضروري.
- فضاء الهدف: أثبتت المطابقة المباشرة لمسافة L2 في فضاء الميزات أنها أكثر استقراراً من متغيرات المعلم المرآتي في فضاء الـ (logit).
- توازن الانجراف: وُجد أن التوازن المضاد للتماثل بين الجذب والتنافر أمر بالغ الأهمية؛ حيث فشلت متغيرات التنافر فقط أو الجذب فقط بشكل كارثي.

الأهمية والادعاءات

تضع الورقة TOKENDRIFT كهدف تنقية عملي لنماذج DDLM الحالية. تكمن أهميتها الأساسية في إثبات أن الانجراف يمكن نقله بفعالية إلى المجالات المنفصلة لتحسين جودة العينات تحت ميزانيات استدلال ثابتة.

يدعي المؤلفون أن هذا النهج يقدم منظوراً مكملاً للطرق الموجودة: بدلاً من تصميم أخذ عينات أو جداول زمنية أو جداول تقطير جديدة للطلاب ذوي الـ NFE المنخفض، يمكن إبقاء فئة النموذج وأخذ العينات ثابتة وتحسين المولد مباشرة من خلال هدف التدريب. تشير النتائج إلى أن هيكل الجذب-التنافر للانجراف المستمر ليس قابلاً للتطبيق على النصوص المنفصلة فحسب، بل هو ضروري للتنقية المستقرة، بشرط الحفاظ على الجسر القابل للتفاضل (الرفع الميزتي للرموز الناعمة).

تظل الورقة متواضعة فيما يتعلق بالقيود، حيث تشير إلى أن الفعالية تعتمد على جودة الفضاء الميزتي الدلالي المجمد، وأن التجارب الحالية محدودة بالتوليد غير المشروط. وقد تم تحديد توسيع الطريقة ليشمل التوليد الشرطي أو النماذج ذات النطاق الأكبر كعمل مستقبلي.