Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation

تخيل أنك تحاول حل لغز معقد، مثل الكلمات المتقاطعة أو أحجية الصور المقطوعة (jigsaw)، ولكن عليك القيام بذلك بطريقة محددة وغير عادية للغاية. بدلاً من وضع قطعة واحدة في كل مرة من اليسار إلى اليمين (مثل الذكاء الاصطناعي القياسي)، تبدأ بلوحة مليئة بالمربعات الفارغة والمغطاة. هدفك هو ملؤها جميعاً دفعة واحدة.

ومع ذلك، هناك عقبة: أنت لا تعرف الإجابة النهائية فوراً. عليك أن تقوم بـ "تخمين"، ثم تتحقق من مدى ثقتك، وإذا لم تكن متأكداً، عليك مسح تخمينك والمحاولة مرة أخرى. تكرر هذه العملية بأكملها (التخمين والمسح) للوحة بأكملها، مراراً وتكراراً، حتى يصبح كل مربع مثالياً.

المشكلة: إضاعة الوقت على القطع المكتملة
تشير الورقة البحثية إلى عدم كفاءة رئيسي في هذه العملية. تخيل أنك تملأ نموذجاً؛ تكتب اسمك، وأنت متأكد بنسبة 100% من صحته. ولكن لأن النظام يتطلب منك "إعادة التحقق" من النموذج بأكل، فإنك تعيد كتابة اسمك 49 مرة أخرى رغم أنه لم يتغير، رغم أنك كتبته مرة واحدة بالفعل. هذا يستهلك وقتاً وطاقة هائلين.

النماذج الحالية للذكاء الاصطناعي (تسمى نماذج Diffusion LLMs) تفعل هذا بالضبط: فهي تستمر في عملية "إزالة الضجيج" (إعادة التحقق) من الكلمات التي اكتملت بالفعل، لمجرد الاحتياط. كما أنها تعتمد على قواعد بسيطة مثل: "إذا كانت درجة الثقة فوق 90%، توقف". لكن الورقة توضح أن هذه القاعدة جامدة للغاية؛ فأحياناً تكون الكلمة مستقرة ولكن درجة الثقة لم تصل بعد إلى 90%، وأحياناً أخرى تبدو الكلمة مستقرة ولكنها على وشك التغيير.

الحل: مراقب حركة مرور ذكي
يقترح المؤلفون نظاماً جديداً يحتوي على أداتين رئيسيتين لإصلاح هذا الهدر، وهما: TSPD و CE.

1. TSPD: "مراقب حركة المرور" (فك التشفير المتوازي الزماني-المكاني)

تخيل عملية توليد الذكاء الاصطناعي كطريق سريع مزدحم بالسيارات (الكلمات) التي تحاول الوصول إلى وجهتها.

• الطريقة القديمة: شرطي مرور عند كل مخرج يفحص كل سيارة على حدة باستخدام ساعة توقيت. إذا بقيت السيارة هناك لمدة 5 ثوانٍ، يقول الشرطي: "حسناً، يمكنك المغادرة". هذه الطريقة بطيئة ولا تأخذ في الاعتبار سرعة حركة السيارات المختلفة.
• طريقة TSPD: هذا المراقب الجديد يشبه نظام مرور ذكي يراقب تاريخ كل سيارة. هو لا ينظر فقط إلى السيارة في اللحظة الحالية، بل ينظر إلى "مسارها":
  • الزماني (Time): يسأل: "هل كانت هذه الكلمة مستقرة لفترة؟ هل تتسارع نحو إجابة نهائية، أم أنها تتذبذب ذهاباً وإياباً؟"
  • المكاني (Position): يعرف أن الكلمات في نهاية الجملة غالباً ما تستغرق وقتاً أطول للاستقرار من الكلمات في بدايتها. لذا، فهو يعدل قواعده بناءً على مكان الكلمة.
  • النتيجة: يمكن للمراقب أن يقول: "هذه الكلمة مستقرة منذ ثلاث خطوات وهي تتحرك في خط مستقيم. على الرغم من أن درجة الثقة ليست مثالية بعد، إلا أنني سأعتمدها وأثبتها". هذا يمنع الذكاء الاصطناعي من إضاعة الوقت في إعادة فحص الكلمات التي انتهت بالفعل.

2. CE: "البلورة السحرية" (استكمال الثقة)

أحياناً، تكون الكلمة على مسار واضح لتكون صحيحة، لكنها لم تصل بعد إلى "خط النهاية" (درجة الثقة العالية).

• الطريقة القديمة: ينتظر الذكاء الاصطناعي بشكل سلبي. يستمر في تشغيل العملية الكاملة خطوة بخطوة، آملاً أن ترتفع الدرجة في النهاية.
• طريقة CE: هذه هي وحدة "البلورة السحرية". هي تنظر إلى الاتجاه الأخير لثقة الكلمة. إذا رأت أن الثقة ترتفع بشكل ثابت ومتوقع، تقول: "يمكنني رؤية المستقبل. في خطوتين إضافيتين، ستكون هذه الكلمة واثقة بنسبة 95% بالتأكيد. دعونا نتخطى الانتظار ونعتمدها الآن".
• فحص السلامة: هذا ليس تخميناً عشوائياً؛ فهي تحسب "عدم اليقين" في توقعها. إذا كان الاتجاه متذبذباً أو كان التاريخ قصيراً جداً، تظل البلورة السحرية صامتة، وينتظر الذكاء الاصطناعي بشكل طبيعي. هذا يضمن عدم ارتكاب أخطاء لمجرد السرعة.

النتائج: أسرع، وليس أقل ذكاءً
اختبر المؤلفون هذا النظام على نموذج ذكاء اصطناعي ضخم (LLaDA-8B) في مهام مثل المسائل الرياضية والبرمجة.

• السرعة: وجدوا أنه باستخدام هاتين الأداتين، أصبح الذكاء الاصطناعي أسرع بمقدار 5 إلى 58 مرة اعتماداً على طول النص.
• الجودة: على الرغم من كونها أسرع بكثير، إلا أن جودة الإجابات (الدقة) ظلت مطابقة تقريباً للنسخة الأصلية البطيئة.
• التوافق: يعمل هذا النظام كإضافة (plug-in). فهو لا يكسر الذكاء الاصطناعي الحالي، بل يجلس فوقه ويخبره متى يتوقف عن العمل. بل إنه يعمل بشكل أفضل عند دمجه مع حيل تسريع أخرى (مثل KV caching).

باخت ملخص
تقدم الورقة طريقة لجعل نماذج الذكاء الاصطناعي من نوع "الانتشار" (التي تولد النصوص عبر تحسين التخمينات بشكل متكرر) أسرع بكثير. فبدلاً من إعادة فحص كل كلمة بشكل أعمى حتى ينتهي مؤقت جامد، يستخدمون مراقباً ذكياً يراقب تاريخ كل كلمة و"متنبئاً" يتوقع متى ستنتهي الكلمة. هذا يسمح للذكاء الاصطناعي بالتوقف عن العمل في المهام المكتملة مبكراً، مما يوفر كميات هائلة من الوقت دون فقدان الدقة.