💬 NLP

Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models

تقدم هذه الورقة البحثية TABOM، وهو إطار عمل للتدريب اللاحق يعتمد على التقطير الذاتي والوعي بالمسار، يعمل على سد الفجوة بين التدريب والاستدلال في نماذج اللغات الانتشارية من خلال نمذجة تفضيلات كشف القناع أثناء الاستدلال كتوزيع بولتزمان لاستخلاص هدف ترتيب زوجي، مما يعزز اكتساب المعرفة ويخفف من النسيان الكارثي مقارنة بالضبط الدقيق القياسي.

المؤلفون الأصليون: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Self-Distilled Trajectory-Aware Boltzmann Modeling" (TABOM)، باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "الفنان المرتبك"

تخيل أنك تعلم فنانًا موهوبًا (نموذج لغوي يعتمد على الانتشار - Diffusion Language Model) كيف يرسم لوحة فنية رائعة.

الطريقة القديمة (النماذج التوليدية المتسلسلة - Autoregressive Models): يرسم الفنان ضربة فرشاة واحدة تلو الأخرى، من اليسار إلى اليمين. هو لا ينظر أبدًا إلى الوراء.
الطريقة الجديدة (نماذج الانتشار - Diffusion Models): يبدأ الفنان بلوحة بيضاء مغطاة بضجيج (static noise). ثم يقوم ببطء بإزالة الضجيج، ليكشف عن الصورة خطوة بخطوة. هذا أمر رائع لأنه يمكنه رؤية اللوحة بأكملها في وقت واحد (وعي كلي - global awareness) ورسم أجزاء عديدة في آن واحد.

المشكلة:
عندما نحاول تعليم هذا الفنان مهارة جديدة (مثل البرمجة أو الرياضيات) باستخدام الطرق القياسية، فإننا نخلق عدم تطابق بين الممارسة والأداء.

الممارسة (التدريب): نقول للفنان، "إليك لوحة فوضوية. اختر عشوائيًا أي ثلاث نقاط وقم بإصلاحها جميعًا في وقت واحد". نحن نفعل ذلك عشوائيًا، دون الاهتمام بما إذا كانت النقاط سهلة أم صعبة.
الأداء (الاستنتاج): عندما يرسم الفنان لوحة بالفعل، فهو لا يعمل بشكل عشوائي. بل يتبع مسارًا ذكيًا: يقوم بإصلاح النقاط السهلة أولاً (حيث يكون متأكدًا بنسبة 100%)، ولا يتصدى للنقاط الصعبة (حيث يكون غير متأكد) إلا في النهاية تمامًا.

النتيجة: يصاب الفنان بالارتباك. لقد تدرب على إصلاح نقاط عشوائية، لكن يتعين عليه الأداء عبر إصلاح النقاط السهلة أولاً. يؤدي هذا إلى موقف إما ينسى فيه الفنان مهاراته القديمة (النسيان الكارثي - Catastrophic Forgetting) أو لا يتحسن كثيرًا في المهارة الجديدة.

المحاولة الفاشلة: "فقط أرني الإجابة"

حاول الباحثون إصلاح ذلك باستخدام ما يسمى التقطير الذاتي (Self-Distillation). بدلاً من الممارسة العشوائية، تركوا الفنان يشاهد نفسه وهو يرسم لوحة مثالية ("مسار" - trajectory) وحاولوا تقليدها.

التشبيه: الأمر يشبه عرض فيديو للفنان وهو يرسم لوحته المثالية وقول: "قلد هذا".
المشكلة: حتى لو كان الفنان يشاهد فيديو مثاليًا، فإذا تم تعليمه باستخدام قواعد "إصلاح النقاط العشوائية" القديمة، فلن يتعلم استراتيجية سبب إصلاح النقاط السهلة أولاً. هو فقط يحفظ البكسلات. يتحسن قليلاً، لكنه لا يفهم "إيقاع" (سهل-إلى-صعب).

الحل: TABOM (المدرب الذكي)

يقترح المؤلفون طريقة جديدة تسمى TABOM. فكر في TABOM كمدرب لا يكتفي بعرض الفيديو فحسب، بل يشرح إيقاع عملية الرسم.

1. رؤية "بولتزمان" (الخريطة الحرارية للثقة)

تجادل الورقة بأن قرار الفنان بشأن أي نقطة سيصلحها تاليًا ليس عشوائيًا؛ بل يتبع "خريطة حرارية" محددة للثقة.

النقاط السهلة (انخفاض عدم اليقين) تشبه المناطق الباردة والآمنة.
النقاط الصعبة (ارتفاع عدم اليقين) تشبه المناطق الساخنة والخطيرة.
الرسم ينجذب طبيعيًا نحو المناطق الباردة والآمنة أولاً.

نمذج TABOM هذا السلوك رياضيًا (باستخدام ما يسمى توزيع بولتزمان - Boltzmann distribution). إنه يعامل "تكلفة" الخطأ كحرارة. الهدف هو تعليم النموذج أن النقاط ذات الحرارة المنخفضة (الرموز السهلة) يجب اختيارها أولًا.

2. خدعة "التصنيف الزوجي" (لعبة "أ مقابل ب")

إن حساب الخريطة الحرارية المثالية لكل رسم ممكن هو أمر صعب جدًا (مستحيل حاسوبيًا). لذا، يستخدم TABOM اختصارًا ذكيًا: التصنيف الزوجي (Pairwise Ranking).

التشبيه: بدلًا من مطالبة الفنان بترتيب 100 نقطة من الأسهل إلى الأصعب، يختار المدرب نقطتين: النقطة (أ) والنقطة (ب).
القاعدة: يقول المدرب: "يجب أن تكون أكثر تأكدًا بشأن النقطة (أ) من النقطة (ب)".
التدريب: إذا قال الفنان: "أنا غير متأكد بنفس القدر من كليهما"، يعطيه المدرب عقوبة. وإذا قال: "النقطة (أ) سهلة، والنقطة (ب) صعبة"، يحصل على مكافأة.

من خلال القيام بذلك آلاف المرات مع أزواج من الرموز (tokens)، يتعلم الفنان الترتيب النسبي للصعوبة دون الحاجة إلى حساب الرياضيات العالمية المستحيلة. إنه يتعلم إيقاع "السهل-إلى-الصعب" بشكل طبيعي.

ماذا حدث في التجارب؟

اختبر الباحثون هذا على مهمتين صعبتين: الرياضيات والبرمجة.

الطريقة القديمة (التدريب القياسي): أصبح الفنان أفضل في الرياضيات/البرمجة، لكنه نسي كيفية كتابة الشعر أو اتباع التعليمات (النسيان الكارثي).
طريقة "المشاهدة فقط" (التقطير الذاتي بدون TABOM): تذكر الفنان مهاراته القديمة، لكنه لم يتحسن كثيرًا في المهارات الجديدة.
طريقة TABOM: أصبح الفنان أفضل بشكل ملحوظ في الرياضيات والبرمجة و حافظ على قدرته على أداء المهام الأخرى. لم ينسَ أي شيء.

"درجة تمييز المسار" (Trajectory Discrimination Score - TDS):
أنشأت الورقة اختبارًا لمعرفة ما إذا كان الفنان قد تعلم الإيقاع بالفعل.

النماذج القديمة: عندما طُلب منها الرسم، كانت تعامل كل نقطة على أنها مربكة بالتساوي.
نماذج TABOM: كانت تعرف بوضوح أي النقاط سهلة وأيها صعبة، مطابقة إيقاع "السهل-إلى-الصعب" تمامًا.

الملخص في جملة واحدة

يعلم TABOM نماذج لغة الانتشار التعلم من محاولاتهم الناجحة ليس عبر نسخ النتيجة بشكل أعمى، بل عبر تعليمهم إيقاع الثقة: حل الأجزاء السهلة دائمًا أولاً وترك الأجزاء الصعبة للنهاية، مما يضمن أن يصبحوا أكثر ذكاءً دون نسيان هويتهم.

ملخص تقني: نمذجة بولتزمان الواعية للمسار عبر التقطير الذاتي (TABOM)

1. بيان المشكلة

تقدم نماذج اللغة الانتشارية (DLMs) مزايا تفوق النماذج ذات التوليد الذاتي الانحداري (Autoregressive)، مثل الوعي العالمي الفائق وتوليد الرموز (Tokens) المتوازي عالي الكفاءة. ومع ذلك، تواجه عملية الضبط الدقيق الخاضع للإشراف (SFT) لنماذج DLM بعد التدريب فجوة حرجة بين التدريب والاستدلال (Training-Inference Discrepancy):

التدريب: يستخدم SFT القياسي هدف "الحد الأدنى للتبدل السلبي" (NELBO) مع قناع عشوائي موحد (Uniform Random Masking)، مما يتطلب من النموذج إعادة بناء جميع الرموز المقنعة في آن واحد وفي خطوة واحدة. هذا يفرض "تحيزاً استقرائياً موحداً"، حيث يعامل جميع الرموز على أنها متساوية في الصعوبة بغض النظر عن مدى قابليتها للتنبؤ المتأصلة.
الاستدلال: يتبع الاستدلال في نماذج DLM مساراً "من السهل إلى الصعب" متعدد الخطوات وموجهاً بالثقة. يتم كشف الأقنعة عن الرموز بشكل تكراري، بدءاً من تلك التي تمتلك أدنى إنتروبيا تنبؤية (أعلى درجة من اليقين) وصولاً إلى الرموز الأكثر عدم يقينًا.

المعضلة:
أدت المحاولات الأخيرة لسد هذه الفجوة باستخدام المسارات المقطرة ذاتياً (حيث يتعلم النموذج من آثار فك التشفير الخاصة به) إلى نتائج محدودة:

SFT على الحقيقة الأرضية (SFT-GT): يحسن الأداء داخل النطاق (In-domain)، ولكنه يتسبب في نسيان كارثي شديد للقدرات خارج النطاق (OOD).
SFT على البيانات المقطرة ذاتياً (SFT-SD): يحافظ على قدرات OOD (يتجنب النسيان) ولكنه يحقق فقط مكاسب طفيفة داخل النطاق.
تفترض الورقة أنه بينما توفر المسارات المقطرة ذاتياً حاجز تحسين أقل، فإن تطبيق أهداف NELBO القياسية عليها بشكل ساذج يفشل في استغلال المعلومات الهيكلية "من السهل إلى الصعب" المضمنة داخل المسارات، مما يؤدي إلى أداء دون المستوى الأمثل.

2. المنهجية: TABOM

يقترح المؤلفون التحسين المتوافق مع المسار عبر نمذجة بولتزمان (TABOM)، وهو إطار عمل للضبط الدقيق يعمل على مواءمة هدف التدريب مع ديناميكيات فك التشفيد أثناء الاستدلال.

2.1 الأساس النظري: توزيع بولتزمان غير المقنع

يبرهن المؤلفون نظرياً أن توزيع الرموز غير المقنعة تحت جدول فك تشفير "من السهل إلى الصعب" يمكن نمذجته كـ توزيع بولتزمان على الإنتروبيا التنبؤية المثالية للرموز.

الافتراض: احتمال مجموعة غير مقنعة $U$ يتناسب مع $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$ ، حيث $H_{ideal}$ هي الإنتروبيا التنبؤية.
الاستنتاج: تصيغ هذه المعادلة صراحة التحيز الاستقرائي الذي يفضل فيه النموذج كشف الرموز "السهلة" (منخفضة الإنتروبيا) أولاً. الهدف هو تقليل تباعد كولباك-ليبلر (KL) بين التوزيع المتوقع للنموذج وتوزيع بولتزمان المستهدف.

2.2 البديل القابل للحساب: التصنيف الزوجي (Pairwise Ranking)

إن تحسين تباعد KL مباشرة أمر مستعصٍ حسابياً بسبب الحاجة إلى أخذ عينات عالمية وحساب دالة التقسيم (Partition Function) عبر جميع الحالات غير المقنعة الممكنة. يقدم TABOM هدفاً بديلاً قابلاً للحساب يعتمد على التصنيف الزوجي:

الآلية: بدلاً من تعظيم الاحتمالية عالمياً، تفرض الطريقة ترتيبات نسبية بين أزواج الحالات غير المقنعة. إذا تم فك تشفير الرمز $r$ قبل الرمز $s$ في مسار ما (مما يعني أن $r$ "أسهل")، فيجب أن تكون الإنتروبيا التنبؤية لـ $r$ أقل من الإنتروبيا لـ $s$ .
دالة الخسارة: يتم تطبيق خسارة "هينج" (Hinge Loss) زوجية على نوافذ فك التشفير المحلية. بالنسبة لمجموعة من الرموز التي تم كشف القناع عنها حديثاً $\Delta$ ، تعاقب الخسارة الحالات التي لا تكون فيها إنتروبيا الرمز "الأسهل" أقل بكثير من إنتروبيا الرمز "الأصعب":
$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$
النافذة المحلية: لتجنب الضجيج الناتج عن مقارنة رموز ذات صعوبات متفاوتة جداً (مثل الأول مقابل الأخير)، يتم تطبيق التصنيف بصرامة ضمن حجم نافذة محلية ثابتة $W$ (مثلاً $W=32$ ).

2.3 الهدف النهائي

يجمع إجمالي خسارة TABOM بين:

إعادة البناء الواعي للمسار: خسارة تقاطع مستعرض (Cross-entropy) قياسية حيث يتنبأ النموذج بالرموز التي كُشف قناعها حديثاً $\Delta$ بناءً على سياق الرموز التي كُشف قناعها سابقاً (بدلاً من القناع الموحد).
تنظيم التصنيف الزوجي: خسارة "الهينج" المذكورة أعلاه لمواءمة مشهد الإنتروبيا مع مسار "السهل إلى الصعب".

$L_{TABOM} = L_{reconstruction} + \lambda L_{rank}$

3. المساهمات الرئيسية

الرؤية النظرية: تحدد الورقة رسمياً توزيع الرموز غير المقنعة أثناء الاستدلال كتوزيع بولتزمان عبر الإنتروبيا التنبؤية، وتحدد "التحيز الاستقرائي الموحد" لـ NELBO القياسي كسبب رئيسي لعدم التطابق بين التدريب والاستدلال.
الابتكار المنهجي: يقدم TABOM هدف تصنيف زوجي يوافق ترتيب اليقين للنموذج مع مسارات فك التشفير المرصودة دون الحاجة إلى حسابات دالة التقسيم المستعصية.
الحل التجريبي: يحل إطار TABOM معضلة "النسيان مقابل المكاسب الطفيفة". فهو يحقق تحسينات كبيرة في الأداء داخل النطاق مع الحفاظ على قدرات خارج النطاق (OOD)، مما يخفف بفعالية من النسيان الكارثي.
المقياس التشخيصي: يقدم المؤلفون درجة تمييز المسار (TDS) لقياس ما إذا كان النموذج يحافظ على فروق عدم اليقين على مستوى الرمز عبر مسار فك التشفير.

4. النتائج التجريبية

أُجريت التجارب على نموذجي DLM (Dream-7B و LLaDA-8B) عبر مجالات توليد الكود (HumanEval, MBPP) و الاستدلال الرياضي (GSM8K, MATH500).

مكاسب الأداء: تفوق TABOM باستمرار على النماذج المرجعية (SFT-GT, SFT-SD, dInfer, T3D).
- في نموذج Dream-7B (الكود)، حقق TABOM زيادة قدرها +7.70 في HumanEval و +2.60 في MBPP، مقارنة بمكاسب طفيفة لـ SFT-SD (+1.00, +1.20).
- والأهم من ذلك، حافظ TABOM على أداء OOD (على سبيل المثال، ظل GSM8K مرتفعاً عند 81.73 مقارنة بالهبوط إلى 52.33 في SFT-GT).
المتانة: تحت ظروف فك التشفير المتوازي لرمزين (2-token parallel decoding)، حافظ TABOM على أداء عالٍ، بينما عانى SFT-GT من تدهور شديد، مما يسلط الضوء على توافق TABOM مع توزيع الاستدلال الطبيعي للنموذج.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة خسارة التصنيف إلى مكاسب محدودة، مما أكد ضرورتها لمواءمة مشهد الإنتروبيا.
- تطبيق التصنيف عالمياً (بدون نوافذ محلية) أدى إلى إدخال الضجيج وتدهور الأداء، مما أثبت الحاجة إلى قيود النافذة المحلية.
تمييز المسار: أظهر تحليل TDS أن TABOM زاد بشكل كبير من تباين الإنتروبيا التنبؤية عبر خطوات فك التشفير (على سبيل المثال، ارتفع TDS لـ HumanEval من 0.035 في SFT-SD إلى 0.711 في TABOM)، مما يثبت أن النموذج نجح في تعلم التمييز بين الرموز السهلة والصعبة، على عكس SFT القياسي الذي يعاملها بشكل موحد.

5. الأهمية والادعاءات

تدعي الورقة أن TABOM يمثل تحولاً جوهرياً في كيفية استخدام المسارات المقطرة ذاتياً لنماذج DLM:

ما وراء الكفاءة: بينما ركزت الطرق السابقة القائمة على المسارات على ضغط خطوات أخذ العينات (التسريع)، يستخدم TABOM هذه المسارات لـ اكتساب المعرفة الحقيقية وتعزيز الأداء.
المواءمة بدلاً من الاختصار: من خلال نمذجة سلوك الاستدلال كتوزيع بولتزمان وفرض تصنيف قائم على الإنتروبيا، يقوم TABOM بمواءمة مشهد التحسين الخاص بالنموذج مع ديناميكيات التوليد الفعلية.
تخفيف النسيان الكارثي: نجحت الطريقة في توسيع حدود المعرفة الفعالة لنماذج DLM في مجالات جديدة دون التضحية بالقدرات المدربة مسبقاً، وهو نمط فشل شائع في SFT القياسي.

يخلص المؤلفون إلى أن TABOM يوفر حلاً قوياً لعدم التطابق بين التدريب والاستدلال في نماذج اللغة الانتشارية، مما يفتح مساراً لاستراتيجيات ضبط دقيق أكثر فعالية وكفاءة تحترم الهيكل الجوهري لعمليات التوليد (من السهل إلى الصعب).