ملخص تقني: إيقاف ظاهرة "التقلب" (Flip-Flop): التحقق الحافظ للسياق من أجل فك تشفير الانتشار القابل للإلغاء السريع

بيان المشكلة

تقدم نماذج اللغات الكبيرة القائمة على الانتشار (dLLMs) بديلاً واعداً للنماذج ذات التوليد الذاتي الانحداري (Autoregressive) من خلال تمكين التوليد المتوازي للرموز عبر عملية إزالة الضجيج التكرارية. ومع ذلك، فإن عملية كشف الأقنعة المتوازية العدوانية غالباً ما تؤدي إلى تدهور جودة التوليد، مما يجبر النماذج على العودة إلى أسلوب فك التشفير المحافظ خطوة بخوة، مما يضحي بالسرعة. لسد هذه الفجوة، تقوم طرق فك التشفير "القابلة للإلغاء" الحديثة (مثل WINO وSaber) بصياغة عدة رموز بالتوازي ثم التحقق منها لاحقاً، مع إمكانية إلغاء (إعادة قناع) الرموز غير الصحيحة.

يحدد المؤلفون عدم كفاءة حرج في المخططات القابلة للإلغاء الحالية (مثل WINO وSaber) يُسمى "تذبذبات التقلب" (flip-flop oscillations). في هذه السيناريوهات، يتم وضع قناع للرمز ثم إعادة كشفه فوراً إلى نفس الرمز تماماً في خطوة لاحقة. يخلق هذا السلوك نوعين من عدم الكفاءة المترابطة:

1. إضعاف السياق: عملية إعادة وضع القناع تستبدل التمثيل الشعوري (embedding) الحامل للمحتوى برمز [MASK]، مما يجرد السياق من الإشارات الدلالية المستخدمة من قبل المواضع الأخرى أثناء عملية الصياغة المتوازية.
2. هدر الميزانية: كل عملية إعادة وضع قناع غير فعالة تستهلك خطوة فك تشفير وميزانية كشف قناع لمجرد استعادة رمز كان صحيحاً بالفعل، مما يبطئ تقدم إزالة الضجيج دون تحسين الجودة.

يكشف التحليل التجريبي أنه في النماذج المرجعية الحالية، ما يصل إلى 99% من عمليات الإلغاء (ReMask) هي عمليات غير فعالة، مما يساهم في السلوك التذبذبي بدلاً من التصحيح الهادف.

المنهجية: COVER

يقترح البحث COVER (التحقق عبر تجاوز ذاكرة KV للحفاظ على السياق من أجل المراجعة الفعالة)، وهو آلية تحقق تحافظ على السياق وتتم في تمريرة واحدة، مصممة للقضاء على تذبذبات "التقلب" مع الحفاظ على استقرار الصياغة المتوازية.

1. عرض التغذية الأمامية المزدوج عبر تجاوز ذاكرة KV

يقوم COVER بعملية التحقق والصياغة ضمن تمريرة أمامية واحدة من خلال إنشاء عرضين مختلفين للانتباه (Attention):

• عرض التحقق (ترك واحد خارج الحساب - Leave-One-Out): بالنسبة لمجموعة مختارة من مواضع "البذور" (الرموز التي تم كشف القناع عنها سابقاً والمجدولة لإعادة الفحص)، يتم وضع قناع للرموز المدخلة لتصبح [MASK]. هذا يجبر النموذج على إعادة التنبؤ بهذه الرموز بناءً على السياق المحيط فقط.
• عرض الصياغة (الحفاظ على السياق): لمنع وضع القناع على البذور من إضعاف السياق للمواضع الأخرى، يقوم COVER بتجاوز ذاكرة المفتاح-والقيمة (KV cache). وتحديداً، بالنسبة لمواضع البذور، يقوم النموذج بحقن حالات $K$ و $V$ المخزنة من الخطوة السابقة ($t-1$) في آلية الانتباه.
  • بالنسبة لاستعلامات (Queries) غير البذور، تظل أعمدة الذاكرة المقابلة للبذور هي القيم المخزنة من $t-1$، مما يضمن انتباهها إلى سياق مستقر وغير مقنع.
  • بالنسبة لاستعلامات البذور، يتم تطبيق تصحيح قطري (diagonal correction). بما أن رمز البذرة مغطى بقناع في المدخلات، فإن درجة الانتباه الذاتي (self-attention) القطرية قد تسرب الرمز المخزن. يقوم COVER باستعادة العمود القطري إلى القيم المحسوبة من المدخلات المقنعة ويعيد ضبط أوزان الانتباه لضمان التحقق من موقع البذرة بأسلوب "ترك واحد خارج الحساب" دون تسريب ذاتي.

2. اختيار البذور الواعي بالاستقرار

لضمان موثوقية تجاوز ذاكرة KV، لا يقوم COVER بالتحقق من جميع الرموز، بل يختار مجموعة بذور صغيرة ومتكيفة بناءً على درجة استقرار توازن بين ثلاثة عوامل:

• عدم اليقين ($u$): إنتروبيا تعيين الرمز الحالي.
  يدعى التأثير ($d_{in}$): مدى اعتماد المواضع المتبقية المقنعة على هذا الرمز كـسياق.
• حساسية الانجراف ($d_{out}$): مدى قوة انتباه الرمز للمواضع التي تمت صياغتها حديثاً. يشير $d_{out}$ المرتفع إلى أن تمثيل الرمز من المرجح أن يتغير (ينجرف) بعد الصياغة الحالية، مما يجعل حالته المخزنة غير مستقرة لإعادة الاستخدام.

يتم حساب الدرجة كالتالي: $Score = u \cdot \frac{1 + d_{in}}{1 + d_{out}}$. هذه الطريقة تعطي الأولوية للرموز غير اليقينية والمؤثرة، بينما تتجنب تلك التي من المرجح أن تعاني من عدم استقرار الذاكرة المخزنة.

3. نتائج المراجعة التكيفية

عند التحقق، يطبق COVER قاعدة ثلاثية لتجنب الدورات غير الفعالة:

• الاحتفاظ (KEEP): إذا تطابق الرمز المعاد التنبؤ به مع التعيين الحالي، يتم الاحتفاظ به (لا يتم إعادة وضع القناع).
• الاستبدال (REPLACE): إذا اختلف الرمز المعاد التنبؤ به وكان واثقاً، يتم تحديثه في مكانه.
• إعادة القناع (REMASK): فقط إذا كان الرمز غير يقيني ومن المرجح أن يكون غير صحيح.
  هذا المنطق يمنع صراحة سلوك "التقلب" حيث يتم وضع قناع للرمز ثم استعادته فوراً.

المساهمات الرئيسية

1. تحديد تذبذبات التقلب (Flip-Flop Oscillations): يوضح المؤلفون أن طرق فك التشفير القابلة للإلغاء الحالية تهدر جزءاً كبيراً من ميزانية الحوسبة في دورات إعادة وضع قناع غير فعالة تفشل في تصحيح الأخطاء، بل وتعمل على زعزعة استقرار سياق الصياغة.
2. تجاوز ذاكرة KV في المكان (In-Place KV Cache Override): آلية تحقق مبتكرة تتيح فحص "ترك واحد خارج الحساب" بأمان مع الحفاظ على سياق الشرط (conditioning context) للصياغة المتوازية ضمن تمريرة أمامية واحدة، باستخدام تصحيح قطري لمنع التسريب الذاتي.
3. اختيار البذور الواعي بالاستقرار: استراتيجية تكيفية تختار أهداف التحقق بناءً على عدم اليقين والتأثير مع تجنب الرموز ذات التمثيلات المخزنة غير المستقرة، مما يضمن إعادة استخداماً قوياً للذاكرة المخزنة.
4. التحقق التجريبي: يحقق الأسلوب تسريعاً كبيراً (يصل إلى 11.64 ضعفاً في Dream-Ins-7B) مع الحفاظ على الدقة أو تحسينها عبر اختبارات الاستدلال الرياضي وتوليد الأكواد.

النتائج

قيم المؤلفون COVER على أربعة نماذج dLLM (وهي LLaDA-Base-8B, LLaDA-Ins-8B, LLaDA-1.5-8B, Dream-Ins-7B) عبر أربعة اختبارات معيارية (HumanEval, MBPP, GSM8K, MATH500).

• الدقة: يحافظ COVER عموماً على أداء المهمة أو يحسنه مقارنة بفك التشفير الجشع القياسي والأساليب القابلة للإلغاء الأخرى (WINO, Saber). على سبيل المثال، في LLaDA-Ins-8B (بطول 512)، حسن COVER دقة HumanEval من 46.95% (الأساس) إلى 48.17%، مع تقليل خطوات فك التشفير من 512 إلى 132.
• الكفاءة: يقلل COVER عدد خطوات فك التشفير بشكل كبير. في Dream-Ins-7B لاختبار MBPP (بطول 512)، حقق تسريعاً قدره 11.64 ضعفاً مقارنة بالأساس، حيث قلل الخطوات من 512 إلى 35.84.
• تقليل التقلب: أهم نتيجة هي تقليل المراجعات غير الفعالة. بينما كانت نسب المراجعة الفعالة للنماذج المرجعية مثل Saber وأقل من 1% و Wino حوالي 11% على التوالي (بمعنى أن أكثر من 90% من عمليات إعادة وضع القناع كانت تقلبات)، حقق COVER نسب مراجعة فعالة تترا-وح 76–77%. وهذا يؤكد أن COVER ينفق ميزانية المراجعة على التصحيحات الفعلية بدلاً من الدورات التذبذبية.
• التوافق: أظهرت الدراسة أن الطريقة متوافقة مع تسريع تخزين البادئة (Prefix-caching acceleration) (Fast-dLLM)، مما يوفر تسريعاً إضافياً دون تدهور في الدقة.

الأهمية والادعاءات

يدعي البحث أن COVER يعالج خللاً جوهرياً في فك التشفيد بالانتشار القابل للإلغاء: وهي المقايضة بين التوازي واستقرار السياق. من خلال استبدال إعادة وضع القناع الصريح بتجاوزات ذاكرة KV الحافظة للسياق، يمكن COVER تمكين صياغة متعددة الرموز عدوانية دون تدهور الجودة المرتبط عادةً بذلك.

يضع المؤلفون COVER ليس كحل لإعادة تدريب النموذج، بل كتحسين للاستدلال بدون إعادة تدريب (training-free inference optimization) يعمل على:

1. القضاء على عبء "التقلب" الذي يعاني منه طرق الإلغاء الحالية.
2. السماح لنماذج dLLM بتحقيق إمكانات السرعة النظرية (الانتشار المتوازي) مع الحفاظ على جودة التشفير المحافظ.
3. توفير إطار عمل قوي للتحقق يتكيف مع استقرار التمثيلات الداخلية للنموذج، مما يضمن أن إعادة استخدام الذاكرة المخزنة لا تضر بجودة التوليد.

تشير الدراسة إلى أن التسريع المستقبلي لنماذج dLLM يجب أن يركز على الحفاظ على السلامة السياقية أثناء التحقق بدلاً من مجرد زيادة عدد المسودات المتوازية أو الاعتماد على كتل مساعدة مكلفة.