🤖 machine learning

Discrete Tilt Matching

تقدم هذه الورقة البحثية "مطابقة الميل المنفصل" (DTM)، وهي طريقة تعزيز تعلم قائمة على الاحتمالية الخالية من النموذج، تعمل على الضبط الدقيق لنماذج اللغات الكبيرة ذات الانتشار المقنع عبر مطابقة اللاحقات المحلية على مستوى الحالة تحت ميل المكافأة، مما يظهر استقراراً محسناً في التدريب وأداءً قوياً في مهام الاستدلال مثل سودوكو وكاونت داون.

المؤلفون الأصليون: Yuyuan Chen, Shiyi Wang, Peter Potaptchik, Jaeyeon Kim, Michael S. Albergo

نُشر 2026-04-22

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yuyuan Chen, Shiyi Wang, Peter Potaptchik, Jaeyeon Kim, Michael S. Albergo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم فنان موهوب للغاية ولكنه مرتبك قليلاً، كيف يرسم لوحة فنية رائعة. الفنان يعرف كيف يرسم بالفعل، لكنه يحتاج إلى تعلم كيفية رسم ما تريده أنت تحديداً (مثل غروب الشمس بدلاً من عاصفة).

تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لتعليم هذا الفنان، وتحديداً لنوع من الذكاء الاصطناعي يسمى نموذج الانتشار المقنع (Masked Diffusion Model).

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الصورة الكاملة"

تعمل معظم نماذج الذكاء الاصطناعي الحديثة (مثل تلك التي تكتب المقالات) مثل شخص يكتب جملة كلمة بكلمة. إذا أردت تعليمهم الكتابة بشكل أفضل، يمكنك النظر إلى الجملة بأكملها، وتقييمها، ثم قول: "عمل جيد!" أو "حاول مرة أخرى". هذا أمر سهل لأن يمكنك حساب مدى احتمالية كتابتهم لتلك الجملة المحددة بدقة.

ومع ذلك، تعمل نماذج الانتشار المقنعة بشكل مختلف. تخيل أنهم أُعطوا لوحة بيضاء بها بعض البقع المغطاة بطلاء أسود (أقنعة). عليهم تخمين ما يوجد تحت الطلاء الأسود. يمكنهم كشف البقع بأي ترتيب يختارونه — من اليسار إلى اليمين، أو من اليمين إلى اليسار، أو في حركة متعرجة عشوائية.

العائق: نظرًا لأنه يمكنهم كشف الصورة بمليارات الترتيبات المختلفة، فمن المستحيل رياضياً حساب "الاحتمالية" الدقيقة لإنشائهم لصورة نهائية معينة. تعتمد طرق التعليم التقليدية (التعلم المعزز) على معرفة هذه الاحتمالية الدقيقة. وبما أننا لا نستطيع معرفتها، فإن طرق التعليم القديمة تشبه محاولة تقييم مقال طالب بينما لا يمكنك قراءة المقال كاملاً في وقت واحد.

2. الحل: "مطابقة الميل المنفصل" (Discrete Tilt Matching - DTM)

لقد توصل المؤلفون، يويوان تشن وفريقه، إلى حيلة ذكية للالتفاف على هذا الأمر. فبدلاً من محاولة تقييم اللوحة بأكملها بعد انتهائها (وهو أمر صعب للغاية)، قرروا تقييم الفنان خطوة بخوة أثناء كشف الطلاء.

أطلقوا على طريقتهم اسم "مطابقة الميل المنفصل" (DTM). وإليك كيف تعمل:

تشبيه "الميل" (The Tilt)

تخيل أن الفنان لديه ميل طبيعي لرسم صور "آمنة" (مثل مرج مشمس). أنت تريد منه أن يرسم شيئاً مثيراً، مثل بركان.

الطريقة القديمة: تحاول إجباره على رسم البركان دفعة واحدة. هذا غالباً ما يربكه، وقد يتوقف عن الرسم أو يستمر في رسم نفس المرج الممل مراراً وتكراراً (وهذا ما يسمى "انهيار النمط" أو mode collapse).
طريقة DTM: أنت تقوم بـ "إمالة" تفضيلاته بلطف.
1. أولاً، تطلب منه رسم مرج يبدو أكثر قليلاً مثل البركان.
2. ثم، تطلب منه رسم مرج يبدو أكثر بركانية من السابق.
3. تستمر في إجراء هذه الإمالات الصغيرة واللطيفة حتى يصبح يرسم بركاناً كاملاً.

من خلال اتخاذ هذه الخطوات الصغيرة والمتدرجة، لا يشعر الفنان بالارتباك أبداً.

"الفحص المحلي" (مطابقة مستوى الحالة)

بدلاً من الانتظار حتى تنتهي اللوحة لإعطاء الملاحظات، تقدم DTM ملاحظات في كل مرة يكشف فيها الفنان بقعة واحدة.

السؤال: "لقد كشفت للتو هذه البقعة. بالنظر إلى بقية الصورة التي رسمتها بالفعل، هل اللون الذي اخترته هو الأفضل لبركان؟"
السبعة السحرية: تثبت الرياضيات أنه إذا نجحت في كل خطوة صغيرة، فإن الصورة النهائية ستكون هي البركان الذي أردته. لست بحاجة لمعرفة احتمالية اللوحة بأكملها؛ تحتاج فقط لمعرفة احتمالية البقعة التالية.

3. السر الخفي: "المتغير الضابط" (Control Variate)

عند تعليم الفنان، هناك خطر من أن يصاب بالارتباك بسبب الضوضاء العشوائية. تقدم الورقة البحثية ما يسمى بـ "المتغير الضابط"، وهو بمثابة شبكة أمان.

تخيل أنك تعلم الفنان رسم بركان.

بدون شبكة الأمان: قد تقول له "ارسم بركاناً!" فيشعر بالخوف ولا يرسم شيئاً.
مع شبكة الأمان: تقول له "ارسم بركاناً، ولكن تذكر، أنت بارع بالفعل في رسم المروج. فقط أضف القليل من الحمم البركانية إلى أسلوب رسم المروج الخاص بك".

هذا يحافظ على استقرار عملية التدريب. وتظهر الورقة البحثية أنه بدون هذه الشبكة، يميل الذكاء الاصطناعي إلى "الانهيار" ويتعلم فقط رسم نوع واحد ضيق ومتكرر من البراكين. أما مع شبكة الأمان، فإنه يتعلم رسم العديد من البراكين عالية الجودة والمتنوعة.

4. النتائج: من المتاهات إلى الرياضيات

اختبر الفريق عملهم على نوعين من المهام:

تخطيط المتاهة: علموا الذكاء الاصطناعي إيجاد مسارات عبر المتاهة. ووجدوا أن استخدام طريقة "الميل اللطيف" مع "شبكة الأمان" منعت الذكاء الاصطناعي من العلوق في الطرق المسدودة أو العثور على نفس المسار الممل في كل مرة.
الرياضيات والألغاز الصعبة: طبقوا ذلك على نموذج كبير يسمى LLaDA-8B.
- سودوكو: انتقل الذكاء الاصطناعي من كونه سيئاً جداً في السودوكو إلى كونه خبيراً (بدقة 99%).
- لعبة Countdown (لعبة الأرقام): أصبح الأفضل في حل ألغاز الأرقام.
- الرياضيات المعقدة: تحسن بشكل ملحوظ، رغم أنه لا يزال لديه مجال للنمو في المسائل الأكثر صعوبة.

الملخص

مطابقة الميل المنفصل (Discrete Tilt Matching) هي طريقة جديدة لتدريب الذكاء الاصطناعي تعمل من خلال:

تجاهل المستحيل: التوقف عن محاولة حساب احتمالية الإجابة بأكملها.
التركيز على الصغير: الاهتمام فقط بالحصول على الخطوة الصغيرة التالية بشكل صحيح.
التحرك ببطء: دفع الذكاء الاصطناعي نحو الهدف بخطوات صغيرة ولطيفة، بدلاً من إجباره على قفزة عملاقة.
استخدام شبكة أمان: استخدام خدعة رياضية للحفاظ على استقرار التدريب حتى لا ينسى الذكاء الاصطناعي كيف يكون مبدعاً.

الأمر يشبه تعليم طفل المشي من خلال الإمساك بيده واتخاذ خطوات صغيرة، بدلاً من إلقائه في سباق جري وتوقع أن يفهم الأمر فوراً. النتيجة هي ذكاء اصطناعي أكثر ذكاءً، واستقراراً، وقدرة.

إليك ملخص تقني مفصل لورقة البحث "Discrete Tilt Matching" (DTM).

1. بيان المشكلة

السياق: تبرز نماذج اللغات الكبيرة القائمة على الانتشار المقنع (Masked Diffusion Large Language Models - dLLMs) كبديل قوي للنماذج ذات الترتيب التلقائي (Autoregressive)، حيث توفر استنتاجاً متوازياً ومرناً لأي ترتيب. ومع ذلك، فإن الضبط الدقيق (Fine-tuning) لهذه النماذج باستخدام التعلم التعزيزي (RL) أو تحسين التفضيلات يواجه عقبة هيكلية جوهرية.

التحدي الجوهري:

الاحتمالات غير القابلة للحساب (Intractable Likelihoods): تعتمد أهداف التعلم التعزيزي القياسية (مثل PPO أو GRPO) على الاحتمالات الهامشية على مستوى التسلسل ( $\log p(x)$ ). في نماذج dLLM، يمكن توليد تسلسل نهائي واحد عبر عدد هائل من مسارات إزالة القناع (ترتيبات مختلفة للكشف عن الرموز). يتطلب حساب الاحتمال الهامشي الدقيق الجمع فوق كل هذه المسارات، وهو أمر مستعصٍ حاسوبياً.
محدودية الحلول الحالية: تعتمد المحاولات الحالية لتكييف التعلم التعزيزي مع dLLMs على بدائل احتمالية منحازة أو مقدرات عالية التباين، مما يؤدي إلى عدم استقرار التدريب وأداء دون المستوى الأمثل.

الهدف: تطوير طريقة للضبط الدقيق لنماذج dLLMs تتجاوز الحاجة إلى تقييم الاحتمالية على مستوى التسلسل، وتعتمد بدلاً من ذلك على كميات قابلة للحساب على مستوى الحالة (State-level).

2. المنهجية: مطابقة الميل المنفصل (Discrete Tilt Matching - DTM)

يقترح المؤلفون Discrete Tilt Matching (DTM)، وهو إطار عمل للضبط الدقيق خالٍ من الاحتمالية (Likelihood-free)، يعيد صياغة المشكلة كـ مطابقة التوزيع البعدي على مستوى الحالة تحت تأثير ميل المكافأة (Reward Tilting).

أ. الأساس النظري

ميل المكافأة (Reward Tilting): بدلاً من تحسين السياسة مباشرة، يهدف DTM إلى إزاحة التوزيع النهائي للنموذج $\rho_1$ إلى توزيع مائل بالمكافأة $\rho_{1,A}(x) \propto \rho_1(x)e^{Ar(x)}$ ، حيث $A$ هو عامل القياس و $r(x)$ هي المكافأة.
التلدين التدريجي (Incremental Annealing): بدلاً من محاولة إجراء ميل في خطوة واحدة (مما يسبب تباينًا عاليًا وانهيار النمط/Mode Collapse)، يقوم DTM بتلدين معامل الميل $a$ تدريجياً من $0 $إلى$ A $. الهدف في كل خطوة هو نقل التوزيع من$ \rho_{1,a} $إلى$ \rho_{1,a+h}$.
سلاسل ماركوف ذات الزمن المستمر (CTMC): ينمذج المؤلفون عملية توليد dLLM كعملية CTMC على تسلسلات منفصلة. وتُحكم عملية "إزالة القناع" بواسطة مصفوفات معدل مشتقة من التوزيعات البعدية المحلية لإزالة القناع.

ب. هدف DTM

الابتكار الأساسي هو اشتقاق دالة هدف قابلة للحساب تطابق التوزيع البدي المحلي لإزالة القناع مع التوزيع البعدي المائل دون الحاجة أبداً لحساب الاحتمالية الكاملة للتسلسل.

تحويل إيسشر (Esscher Transform) وإعادة الوزن الشرطي:
باستخدام خصائص تحويل إيسشر، يوضح المؤلفون أن التوزيع البعدي المائل $\pi_{a+h}(v | x_t, i)$ يمكن توصيفه كأمل متوقع موزون تحت المقياس الحالي (غير المائل) $P_a$ :
$\pi_{a+h}(v | x_t, i) \propto \mathbb{E}_a \left[ e^{hr(x_1)} \mathbb{I}(x_1^i = v) \mid x_t \right]$
وهذا يسمح بتقدير الهدف باستخدام عينات من النموذج الحالي، بوزن المكافأة.
المتغيرات الضابطة (Control Variates - لتقليل التباين):
يؤدي استخدام المؤشر أحادي الرمز $\mathbb{I}(x_1^i = v)$ مباشرة كهدف إلى تباين عالٍ. يقدم DTM متغيراً ضابطاً $T_c$ لتثبيت التدريب:
$T_c(v | x_t, i, x_1) = c \cdot \pi_a(v | x_t, i) + \frac{e^{hr(x_1)} - c}{e^{hr(x_1)}} \mathbb{I}(x_1^i = v)$

عندما تكون $c=1$ ، يصبح الهدف مزيجاً منخفض التباين من تنبؤ النموذج الحالي والمستند إلى المكافأة للحقائق الأرضية.
يثبت المؤلفون أن $c=1$ يقلل بشكل كبير من تباين التدرج مقارنة بـ $c=0$ (الوزن بالأهمية القياسي).

دالة الخسارة:
الهدف النهائي هو دالة خسارة الإنتروبيا المتقاطعة الموزونة:
$\mathcal{L}_{c\text{-DTM}} = \int_0^1 \lambda(t) \mathbb{E}_a \left[ \sum_{i: x_t^i=m} e^{hr(x_1)} \cdot \text{CE}\left( T_c(\cdot | x_t, i, x_1) \parallel \pi_\theta(\cdot | x_t, i) \right) \right] dt$
هذا الهدف له مُقلل فريد (Unique Minimizer) يتوافق مع التوزيع البعدي المائل الحقيقي، مما يوفر ضماناً نظرياً يفتقر إليه العديد من تقريبات التعلم التعزيزي.

ج. التكييفات العملية

المحاذاة شبه التلقائية (Semi-Autoregressive - SAR Alignment): تستخدم نماذج dLLM الحديثة غالباً فك تشفير SAR (توليد كتل من الرموز). يشتق المؤلفون مستقبلاً عشوائياً (Stochastic Interpolant) ومعدل خطر متوافق مع SAR، مما يضمن مطابقة توزيع التدريب لتوزيع الاستنتاج لمنع عدم التطابق بين التدريب والاختبار.
مخزن إعادة التشغيل (Replay Buffer): بما أن DTM يحسن الحالات الوسيطة ( $x_t$ ) بدلاً من الحالات النهائية فقط، يمكن إعادة استخدام عملية تشغيل واحدة لتوليد العديد من عينات التدريب، مما يقلل من تكلفة تقييم المكافآت المكلفة.

3. المساهمات الرئيسية

اشتقاق DTM: خوارزمية جديدة للضبط الدقيق لخالية من الاحتمالية لنماذج dLLMs، تصيغ ما بعد التدريب كـ مطابقة التوزيع البعدي على مستوى الحالة. وهي توفر دالة إنتروبيا متقاطعة ذات مُقلل فريد مضمون نظرياً.
تقليل التباين: تقديم آلية المتغير الضابط الذي يثبت التدريب ويمنع انهيار النمط (Mode Collapse)، وهو نمط فشل شائع في ضبط التعلم التعزيزي.
التوافق مع SAR: إطار عمل رسمي لمواءمة المستقبِل (Interpolant) الخاص بالتدريب مع استراتيجيات فك التشفير شبه التلقائي، مما يحسن الأداء العملي.
ចំនួន
الضمانات النظرية: إثبات أن تقليل خسارة DTM يحد من تباعد KL بين التوزيع النهائي للنموذج والتوزيع المائل بالمكافأة المطلوب.

4. النتائج التجريبية

قيم المؤلفون DTM باستخدام نموذج LLaDA-8B-Instruct عبر عدة اختبارات معيارية.

تخطيط المتاهة الاصطناعية (Synthetic Maze Planning):
- أظهر أن استخدام المتغير الضابط ( $c=1$ ) وخطوة تلدين معتدلة ( $h$ ) يمنع انهيار النمط.
- أدى إزالة المتغير الضابط أو استخدام $h$ كبيرة إلى تركيز النموذج على مسار واحد (انهيار النمط)، بينما حافظ DTM على حلول متنوعة وعالية المكافأة.
اختبارات الاستدلال والتخطيط:
- Sudoku: حقق DTM دقة 99.2% (لطول 256) و 99.4% (لطول 512)، متفوقاً بشكل كبير على النموذج الأساسي (27.7%) وعلى خطوط أساس قوية مثل SPG (94.0%).
- Countdown: حقق DTM أفضل أداء (81.6% عند طول 256)، متفوقاً على UniGRGRPO و SPG.
- الاستدال الرياضي (MATH500, GSM8K): أظهر DTM مكاسب قوية على النموذج الأساسي وظل منافساً لأعلى الخطوط المرجعية، رغم أن الفجوة كانت أصغر في مهام التخطيط الهيكلي. ويعزو المؤلفون ذلك إلى صعوبة ترجمة تحسينات التوزيع البعدي المحلي إلى تماسك استدلالي عالمي طويل الأمد.
الكفاءة: أظهرت مقارنات وقت التشغيل (Wall-clock) في Sudoku أن DTM يتقارب بشكل أسرع وإلى مكافأة أعلى من SPG على 8 وحدات H100.

5. الأهمية والتأثير

تحول في النموذج الفكري: يتحدى DTM الافتراض بأن التدريب اللاحق بأسلوب التعلم التعزيزي (القائم على احتمالية التسلسل) هو المسار الوحيد أو الأفضل لنماذج dLLMs. إنه يثبت أن المطابقة على مستوى الحالة هي إطار عمل أكثر طبيعية وقابلية للحساب لنماذج الانتشار.
الاستقرار: من خلال تجنب الاحتمالات غير القابلة للحساب والمقدرات عالية التباين، يوفر DTM ديناميكية تدريب أكثر استقراراً، وهو أمر بالغ الأهمية لتوسيع نطاق نماذج الانتشار.
القابلية للتوسع: يثبت النجاح في الضبط الدقيق لنموذج بـ 8 مليار معلمة (LLaDA-8B) في مهام الاستدلال المعقدة مدى قابلية تطبيق الطريقة على النماذج واسعة النط scale.
الاتجاهات المستقبلية: يفتح هذا العمل الباب أمام نماذج تدريب لاحقة بديلة مصممة خصيصاً للخصائص الهيكلية لنماذج الانتشار، مما قد يفتح آفاقاً لأداء أفضل في مهام التوليد الهيكلية (مثل الكود، الرياضيات، والتخطيط) حيث تواجه النماذج ذات الترتيب التالتي (Autoregressive) صعوبات في التوازي والمرونة.