💬 NLP

Time-Annealed Perturbation Sampling: Diverse Generation for Diffusion Language Models

تقدم هذه الورقة استراتيجية أخذ عينات الاضطراب الملدن زمنياً (TAPS)، وهي استراتيجية استدلال خالية من التدريب تستفيد من تقسيم العمل الزمني في نماذج اللغة الانتشارية لتعزيز تنوع المخرجات عبر تطبيق التفرع الدلالي في وقت مبكر من عملية التوليد مع تقليل الاضطرابات تدريجياً للحفاظ على الطلاقة والالتزام بالتعليمات.

المؤلفون الأصليون: Jingxuan Wu, Zhenglin Wan, Xingrui Yu, Yuzhe Yang, Yiqiao Huang, Ivor Tsang, Yang You

نُشر 2026-03-18

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingxuan Wu, Zhenglin Wan, Xingrui Yu, Yuzhe Yang, Yiqiao Huang, Ivor Tsang, Yang You

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة باستخدام روبوت ذكي جداً، ولكنه جامد بعض الشيء. تعطي الروبوت أمراً: "اكتب قصة عن فارس."

إذا سألت ذكاءً اصطناعياً عادياً (مثل تلك التي نستخدمها اليوم)، فقد يعطيك قصة آمنة ومملة للغاية عن فارس يدعى "سير رولاند" يقاتل تنيناً. وإذا سألته مرة أخرى، فقد يعطيك قصة عن فارس يدعى "سير آرثر" يقاتل تنيناً. القصص متشابهة، آمنة، ومتكررة بعض الشيء. الروبوت يخشى خوض المخاطر.

تقدم هذه الورقة البحثية طريقة جديدة للتحدث مع نوع خاص من الذكاء الاصطناعي يسمى نموذج لغة الانتشار (Diffusion Language Model). فكر في هذه النماذج ليس كآلات تكتب كلمة بكلمة، بل كفنانين يبدأون برسم تخطيطي ضبابي وفوضوي، ثم يقومون بتنقيحه ببطء حتى يصبح صورة واضحة.

إليك التبسيط لمفهوم فكرتهم، أخذ عينات الاضطراب المبرمج زمنياً (TAPS)، باستخدام بعض التشبيهات الإبداعية:

1. تشبيه "الرسم التخطيطي الضبابي"

تخيل أن الذكاء الاصطناعي هو فنان يرسم لوحة.

المرحلة المبكرة (الصورة الكبيرة): في البداية تماماً، يقوم الفنان فقط بتحديد الأشكال الكبيرة. هل هي منظر طبيعي؟ أم بورتريه؟ أم قلعة؟ هنا يتم تحديد معنى القصة.
المرحلة المتأخرة (التفاصيل): بينما تصبح اللوحة أكثر وضوحاً، يركز الفنان على التفاصيل الصغيرة: لون درع الفارس، ملمس العشب، والكلمات المحددة المستخدمة.

المشكلة في الذكاء الاصطناعي القياسي هي أنه بمجرد تحديد "الصورة الكبيرة" (مثلاً: "إنه فارس")، يظل الذكاء الاصطناعي عالقاً في هذا المسار. إنه لا يحاول أبداً تخيل فارس يركب دراجة، أو فارساً هو في الواقع إنسان آلي.

2. "المدرب الهامس" (الفكرة الجوهرية)

أدرك المؤلفون أنه لكي تجعل الذكاء الاصطناعي أكثر إبداعاً، فأنت بحاجة إلى دفعه مبكراً في العملية، ولكن التوقف عن دفعه لاحقاً.

لقد ابتكروا طريقة تسمى أخذ عينات الاضطراب المبرمج زمنياً (TAPS). فكر في الأمر كمدرب يهمس بالاقتراحات للفنان:

في البداية (مرحلة "الجموح"): عندما يكون الفنان لا يزال يرسم الخطوط العريضة الضبابية، يهمس المدرب: "مهلاً، ماذا لو كان الفارس فتاة؟" أو "ماذا لو كان التنين جروًا صغيرًا؟" يكون المدرب صاخباً ومشجعاً. هذا يجبر الذكاء الاصطناعي على التوسع وتجربة أفكار قصص مختلفة تماماً.
في المنتصف: يبدأ المدرب في الهمس بصوت أقل حدة. "حسناً، لقد قررنا أنها فارسة، الآن دعونا نتأكد من أنها تملك سيفاً."
في النهاية (مرحلة "التلميع"): عندما تقترب اللوحة من الانتهاء، يصمت المدرب. "فقط أنهِ التفاصيل. تأكد من أن القواعد اللغوية مثالية وأن القصة منطقية."

3. لماذا "المبرمج زمنياً"؟ (تشبيه تبريد المعدن)

كلمة "Annealed" (المبرمج زمنياً/المُلدن) تأتي من صناعة المعادن. عندما تسخن المعدن ثم تتركه يبرد ببطء، يصبح قوياً ومستقراً.

في طريقة الذكاء الاصطناعي هذه، يكون "الضجيج" (الاقتراحات المجنونة) ساخناً في البداية لإحداث حالة من التغيير والتنوع. ومع تقدم العملية، "يبرد" الضجيج (يصبح أهدأ فأهدأ) حتى يختفي تماماً. هذا يضمن أن تظل القصة متماسكة وتتبع تعليماتك، رغم أن الأفكار كانت جامحة.

4. النتيجة: راوٍ أفضل للقصص

اختبر الورقة البحثية هذا على نموذجين مختلفين من الذكاء الاصطناعي. وإليك ما حدث:

مزيد من التنوع: بدلاً من الحصول على 10 قصص عن نفس الفارس، حصلوا على 10 قصص عن فارس، وروبوت، وساحر، ومهرج يركب دراجة، وتنين هو في الواقع البطل.
لا فقدان في الجودة: عادةً، عندما تجعل الذكاء الاصطناعي أكثر إبداعاً، يبدأ في ارتكاب الأخطاء أو كتابة كلام غير مفهوم. ولكن لأنهم أوقفوا "الهمس" قبل النهاية، كانت القصص لا تزال صحيحة لغوياً وتتبع القواعد.
حل المشكلات بشكل أفضل: حتى أنهم اختبروا هذا على المسائل الرياضية. من خلال السماح للذكاء الاصطناعي بتجربة "مسارات" مختلفة لحل المشكلة في وقت مبكر، وجدوا الإجابة الصحيحة في كثير من الأحيان عندما نظروا إلى جميع المحاولات المختلفة معاً.

الملخص

TAPS يشبه إعطاء الذكاء الاصطناعي "شرارة إبداع" في بداية المهمة لاستكشاف العديد من الاحتمالات المختلفة، ثم توجيهه بلطف للعودة إلى الواقع أثناء إنهاء العمل. إنه الفرق بين روبوت يعرف طريقة واحدة فقط للقيام بالأشياء، وبين شريك مبدع يمكنه مفاجأتك بأفكار جديدة رائعة، مع الحفاظ على جودة العمل العالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "أخذ عينات الاضطراب المبرمج زمنياً: التوليد المتنوع لنماذج اللغات الانتشارية" (TAPS).

1. بيان المشكلة

ظهرت نماذج اللغات الانتشارية (Diffusion-LMs) كبديل قوي للنماذج ذات الترتيب التلقائي (Autoregressive)، حيث توفر تحكماً زمنياً صريحاً في توليد النصوص. ومع ذلك، فهي تعاني من قصور حرج وهو: تجانس المخرجات (Output Homogenization). فعلى الرغم من التعليمات بضرورة التنوع، غالباً ما تتقارب نماذج Diffusion-LMs نحو مسارات دلالية متكررة أو محافظة، بشكل مشابه للنماذج ذات الترتيب التلقائي.

تواجه طرق التحكم في التنوع الحالية مقايضات كبيرة:

طرق وقت التدريب (Training-time methods): (مثل تعديل دوال الخسارة) هي مكلفة، وتتطلب مجموعات بيانات منسقة، وتفتقر إلى المرونة.
طرق وقت فك التشفير (Decoding-time methods): (مثل قياس درجة الحرارة، وtop-p، وmin-p) غالباً ما تؤدي إلى تدهور جودة التوليد (الطلاقة، والتماسك) عند ضبطها بقوة لزيادة التنوع.
الطرق القائمة على الأوامر (Prompt-based methods): تعتمد بشكل كبير على القدرات الجوهرية للنموذج ويمكن أن تسبب انحرافاً دلالياً.

التحدي الجوهري هو تطوير استراتيجية استدلال خالية من التدريب تستفيد من الديناميكيات الزمنية الفريدة للنماذج الانتشارية لتشجيع التفرع الدلالي (التنوع) دون التضحية بجودة التوليد أو الالتزام بالأمر (Instruction Adherence).

2. الرؤية الجوهرية: تقسيم العمل الزمني

حدد المؤلفون خاصية أساسية في نماذج Diffusion-LMs تشبه نماذج انتشار الصور:

خطوات إزالة الضجيج المبكرة (Early Denoising Steps): تحدد في المقام الأول البنية الدلالية العالمية والتدفق السردي رفيع المستوى.
خطوات إزالة الضجيج المتأخرة (Later Denoising Steps): تركز على الصقل المعجمي المحلي، والطلاقة، والتفاصيل الأسلوبية.

تشير هذه الرؤية إلى أن حقن العشوائية في وقت مبكر من العملية يمكن أن يغير المسار الدلالي (التفرع)، بينما يضمن الحفاظ على الخطوات اللاحقة بقاء المخرجات متماسكة ومتوافقة مع الأمر الأصلي.

3. المنهجية: أخذ عينات الاضطراب المبرمج زمنياً (TAPS)

TAPS هي استراتيجية استدلال خالية من التدريب تقوم باضطراب إشارة التكييف (تضمينات الأوامر/Prompt Embeddings) أثناء عملية إزالة الضجيج. يكون مقدار الاضطراب معتمداً على الوقت، حيث يتلاشى مع تقدم عملية التوليد.

الآلية الأساسية

حقن الاضطراب (Perturbation Injection):
بدلاً من استخدام تضمين أمر ثابت $E$ ، يقدم TAPS ضوضاء عشوائية $\epsilon$ عند خطوة الاستدلال $t$ :
$\tilde{E}(t) = E + \sigma(t)\epsilon$
حيث $\sigma(t)$ هو جدول تبريد (Annealing Schedule) يتناقص رتيباً. يتم تطبيق اضطرابات قوية في الخطوات المبكرة ( $t_{start}$ ) لتشجيع الاستكشاف الدلالي، بينما تتلاشى الاضطرابات في الخطوات اللاحقة ( $t_{end}$ ) لضمان التوافق مع الأمر الأصلي.
آليات الحفاظ على الجودة:
لمنع الضوضاء المحقونة من التسبب في انحراف التوزيع أو تدهور الجودة، يستخدم TAPS تقنيتين للتثبيت:

إعادة القياس والخلط (Rescaling and Mixing): يتم إعادة قياس التضمين المضطرب ليتناسب مع المتوسط والانحراف المعياري للتضمينات الأصلية. ثم يتم دمجه مع التضمين الأصلي باستخدام معامل خلط $\psi$ :
$\hat{E} = \psi E' + (1-\psi)E$
هذا يضمن بقاء الإشارة المضطربة ضمن نطاق إحصائي صالح.
الإسقاط الحافظ للقيم الطبيعية (Norm-Preserving Projection): يمكن للضوضاء المضافة أن تغير مقدار (Norm) تضمينات الرموز (Tokens)، مما يخل بالهندسة التي تعلمها النموذج. يقوم TAPS بإسقاط التضمينات المضطربة مرة أخرى على الكرة الفائقة (Hypersphere) التي تحددها القيم الطبيعية للرموز الأصلية:
$E^*_i = \frac{\hat{E}_i}{\|\hat{E}_i\|_2} \cdot \|E_i\|_2$
هذا يحافظ على التباين الاتجاهي (التنوع) مع الحفاظ على المقادير الأصلية للتضمينات (الاستقرار).

4. المساهمات الرئيسية

الاكتشاف التجريبي: تحديد البنية الدلالية الزمنية في نماذج Diffusion-LMs، وإثبات أن الخطوات المبكرة تحكم الدلالات بينما تتعامل الخطوات اللاحقة مع الصقل المعجمي.
خوارزمية مبتكرة (TAPS): اقتراح استراتيجية استدلال بسيطة، وقابلة للتوسع، وخالية من التدريب تستغل هذه البنية الزمنية لإحداث تفرع دلالي دون الحاجة لإعادة التدريب.
التحقق الشامل: إثبات التحسينات المستمرة عبر مختلف النماذج الأساسية (LLaDA, TraDo) والمهام (الكتابة الإبداعية، اتباع التعليمات، والاستدلال الرياضي) مع تكلفة حسابية ضئيلة.

5. النتائج التجريبية

قيم المؤلفون TAPS على نماذج LLaDA-8B-Instruct و TraDo-8B-Instruct عبر أربعة اختبارات مرجعية: WritingPrompts، NoveltyBench، Arena-Hard-Auto، و GSM8K.

مكاسب التنوع: تفوق TAPS باستمرار على النماذج المرجعية (Top-k, Top-p, Min-p, Diverse Prompt, EDT) عبر المقاييس المعجمية (IntraDistinct, Div-Blue)، والدلالية (Sent-BERT)، ومستوى التضمين (EAD).
- مثال: في NoveltyBench، حقق TAPS درجة Sent-BERT بلغت 36.04 مقارنة بـ 25.80 للنموذج الأساسي في LLaDA، مما يشير إلى تباين دلالي أعمق بكثير.
الحفاظ على الجودة: على عكس طرق أخذ العينات القوية التي تضعف التماسك، حافظ TAPS على الجودة أو حسنها قليلاً (الإبداع، التماسك، جودة الكتابة) كما تم تقييمه بواسطة GPT-4o ونماذج تفضيل البشر.
متانة الاستدلال (GSM8K):
- Pass@1: أظهر TAPS انخفاضاً طفيفاً في دقة العينة الواحدة مقارنة بالنموذج الأساسي بسبب الاستكشاف.
- التصويت بالأغلبية (Majority Voting): تفوق TAPS بشكل كبير على جميع النماذج المرجعية في دقة التصويت بالأغلبية. المسارات الاستدلالية المتنوعة التي ولدها TAPS احتوت على أخطاء أقل ارتباطاً، مما سمح بالتجميع لاستعادة الإجابة الصحيحة بشكل أكثر فعالية.
دراسات الاستئصال (Ablation Studies):
- مقياس الضوضاء ( $\sigma$ ): تزيد الضوضاء الأعلى من التنوع ولكن يمكن أن تضر بالجودة إذا كانت عالية جداً؛ تم إيجاد التوازن الأمثل عند $\sigma=0.2$ .
- نافذة الحقن (Injection Window): كان حقن الضوضاء فقط في الخطوات المبكرة ( $t \in [0.9, 0.3]$ ) أمراً حاسماً للتنوع الدلالي؛ حيث أثرت الضوضاء في المراحل المتأخرة فقط على التنوع المعجمي.
- معامل الخلط ( $\psi$ ): وفرت القيمة $\psi=0.9$ أفضل مقايضة، حيث ثبتت الجودة دون التضحية بالتنوع.

6. الأهمية

تحول في النموذج (Paradigm Shift): يوضح TAPS أن نماذج Diffusion-LMs تمتلك "تقسيماً زمنياً للعمل" فريداً يمكن استغلاله للتوليد المتحكم به، وهي خاصية غير موجودة في النماذج ذات الترتيب التلقائي.
الفائدة العملية: كطريقة خالية من التدريب، يمكن تطبيق TAPS فوراً على نماذج Diffusion-LMs الحالية لتعزيز الإبداع واستكشاف الاستدلال دون تكلفة إعادة الضبط الدقيق (Fine-tuning).
المقايضة المتوازنة: نجح في حل المقايضة التقليدية بين التنوع والجودة، مبيناً أن الاستكشاف المنظم (عبر الضوضاء المبرمجة زمنياً) ينتج مخرجات متنوعة تظل متماسكة وملتزمة بالتعليمات.
الاتجاه المستقبلي: تسلط الورقة الضوء على نماذج Diffusion-LMs كاتجاه واعد لتوليد النصوص المتحكم به، وتقترح أن الأبحاث المستقبلية يجب أن تركز على استغلال الديناميكيات الزمنية لآليات تحكم أكثر تطوراً.