ملخص تقني: عندما تضلل الثقة: تثبيت اللاحقة وتعديل الثقة القائم على القرب من المثبت لنماذج لغة الانتشار

بيان المشكلة

تقوم نماذج لغة الانتشار (DLMs) بتوليد النصوص عن طريق إزالة الضجيج بشكل تكراري من تسلسلات الرموز (tokens) المقنعة، مما يسمح بفك التشفير المتوازي لعدة مواضع. ويتمثل أحد التحديات المركزية في وقت الاستدلال في فك التشفير غير المتسلسل بالكامل (fully non-AR) في تحديد المواضع المقنعة التي يجب كشفها في كل خطوة. تعتمد معظم الاستراتيجيات الخالية من التدريب على ثقة النموذج كإشارة للاختيار، وذلك تحت افتراض أن المواضع ذات الثقة العالية جاهزة لفك التشفير.

تحدد هذه الورقة نمطين حرجين للفشل حيث يؤدي هذا الافتراض إلى توليد دون المستوى الأمثل:

1. الثقة المفرطة في رمز نهاية النص (EOT): غالبًا ما تمنح النماذج الموجهة بالتعليمات (instruction-tuned) ثقة عالية لرموز نهاية النص (EOT) في مراحل مبكرة من عملية فك التشفير. وتؤدي استراتيجيات قائمة على الثقة إلى كشف هذه الرموز قبل أوانها، مما ينتج عنه توليدات ناقصة أو قصيرة للغاية.
2. الثقة المحلية المفرطة الناجمة عن المثبت: إن أحد الحلول البسيطة للمشكلة الأولى هو تثبيت اللاحقة (suffix anchoring) — أي إدراج إشارة هيكلية قصيرة (مثل "الإجابة هي") بالقرب من منطقة الاستجابة لتشجيع الاستمرار. ومع ذلك، فإن هذا يقدم نمط فشل جديدًا: حيث يتسبب المثبت في ثقة عالية مضللة في الرموز المجاورة له مباشرة قبل توليد السياق السابق الكافي. وبناءً على ذلك، تقوم عملية فك التشفير القائمة على الثقة بكشف هذه الرموز المجاورة للمثبت في وقت مبكر جدًا، مما يؤدي إلى مخرجات غير دقيقة (على سبيل المثال، توليد الإجابات النهائية قبل اكتمال خطوات الاستدلال).

المنهجية

يقترح المؤلفون تعديل الثقة المثبت باللاحقة (Suffix-Anchored Confidence Modulation)، وهو أسلوب يعمل مباشرة (plug-and-play) وخالٍ من التدريب، يجمع بين تثبيت اللاحقة وآلية ديناميكية لإعادة وزن الثقة. تتكون الطريقة من مكونين رئيسيين:

1. تثبيت اللاحقة (Suffix Anchoring)

قبل بدء فك التشفير، يتم إدراج لاحقة مثبتة قصيرة بالقرب من نهاية منطقة الاستجابة (على سبيل المثال، عند الموضع 20 من النهاية). يعمل هذا كإشارة خفيفة لاستمرار الاستجابة، مما يمنع التوليد المبكر لرمز EOT دون الحاجة صراحةً إلى قمع رموز EOT أو طلب إعادة تدريب النموذج.

2. تعديل الثقة القائم على القرب من المثبت

لمعالجة الثقة المحلية المفرطة الناجمة عن المثبت، تقوم الطريقة بتعديل درجات الثقة بناءً على عاملين: القرب المكاني من المثبت وتقدم فك التشفير.

• وزن القرب من المثبت ($w_i$): يتم تخصيص وزن لكل موضع رمز $i$ بناءً على مسافته من مجموعة المثبت $A$. المواضع الأقرب للمثبت تتلقى أوزانًا أعلى، مما يشير إلى أنها أكثر عرضة لفك التشفير المبكر.
  $$w_i = \min\left\{1, \beta \max_{a \in A} \exp\left(-\frac{|i - a|}{\kappa}\right)\right\}$$
  هنا، يتحكم $\kappa$ في التلاشي المكاني، ويتحكم $\beta$ في قوة التعديل.

• إعادة الوزن المعتمدة على التقدم: يتم إعادة وزن درجة الثقة $c_i^{(t)}$ إلى $\tilde{c}_i^{(t)}$ باستخدام تقدم فك التشفير $p(t)$، المعرف كنسبة الرموز التي تم كشفها:
  $$\tilde{c}_i^{(t)} = c_i^{(t)} \left(1 - w_i (1 - p(t))^\gamma\right)$$

  • فك التشفير المبكر: عندما يكون $p(t)$ منخفضًا (المراحل المبكرة)، يكون المصطلح $(1 - p(t))^\gamma$ كبيرًا. وهذا يقلل بشكل كبير من وزن المواضع القريبة من المثبت، مما يمنع كشفها المبكر.
  • فك التشفء المتأخر: مع اقتراب $p(t)$ من $1$، يقترب عامل تقليل الوزن من الصفر، مما يسمح لدرجات الثقة بالعودة إلى قيمها الأصلية. وهذا يضمن أنه بمجرد توليد سياق كافٍ، يتم استعادة سلوك الاختيار القياسي القائم على الثقة.

لا تتطلب الطة أي تدريب للنموذج، أو وحدات إضافية، أو تغييرات هيكلية.

النتائج الرئيسية

تم تقييم الطريقة على مهام الاستدلال النصي فقط، والاستدلال في الرؤية واللغة، ومعايير توليد الكود باستخدام نماذج مثل LLaDA 8B-Instruct و Dream 7B-Instruct و LaViDa-Instruct.

• مكاسب الأداء: حسنت الطريقة باستمرار فك التشفير غير المتسلسل بالكامل (fully non-AR) عبر جميع المعايسات.
  • في GSM8K (الاستدلال الرياضي) مع نموذج LLaDA وفك التشفير القائم على الاحتمالية القصوى، ارتفعت الدقة من 14.94% (الأساس) إلى 76.88%.
  • في MATH-500، كانت التحسينات كبيرة أيضًا (على سبيل المثال، من 14.60% إلى 29.00%).
  • في مهام الرؤية واللغة (MathVista, ChartQA)، حسنت الطريقة فك التشفកម្ម القائم على الاحتمالية القصوى من 25.56% إلى 40.26% في المتوسط.
• المقارنة مع البدائل:
  • مقابل قمع EOT: تتفوق الطريقة المقترحة على قمع EOT الصريح (الذي يضبط ثقة رمز EOT إلى $-\infty$) عبر جميع المعايسات، مما يشير إلى أن التوجيه الهيكلي مع تعديل الثقة أكثر فعالية من القمع الصلب.
  • مقابل فك التشفير شبه المتسلسل (Semi-AR): تتفوق الطريقة على فك التشفير شبه المتسلسل (الذي يولد في كتل) عبر ميزانيات خطوات مختلفة. ومن الجدير بالذكر أنه تحت ميزانيات خطوات محدودة (مثل $T=32$)، حققت طريقة فك التشفير غير المتسلسل بالكامل مع التعديل دقة بلغت 57.70% في GSM8K، متفوقة بشكل كبير على أفضل تكوين لـ semi-AR (36.32%)، مما يبرز قيمة الاختيار المتوازي المرن للمواضع.
• الكفاءة: تقدم الطريقة عبئًا حسابيًا ضئيلًا. تظل الإنتاجية وزمن الاستجابة مقاربة للنموذج الأساسي (حوالي 25.0 رمزًا في الثانية و10.2 ثانية لكل عينة).

الأهمية والادعاءات

يدعي البحث أن اختيار المواضع القائم على الثقة في نماذج لغة الانتشار (DLMs) غير المتسلسلة بالكامل ليس إشارة أحادية الجانب؛ إذ يمكن أن يكون مضللاً في سياقات محددة (رموز EOT والمناطق المجاورة للمثبت). تكمن أهمية هذا العمل في:

1. تحديد نمط فشل محدد: يسلط الضوء على أن مجرد إضافة مثبتات هيكلية (تثبيت اللاحقة) ليس كافيًا ويمكن أن يؤدي إلى أخطاء جديدة (الثقة المحلية المفرطة) إذا لم يقترن بمعالجة ديناميكية للثقة.
2. حل بسيط وخالٍ من التدريب: يوفر "تعديل الثقة المثبت باللاحقة" تحسينًا قويًا وجاهزًا للاستخدام يحافظ على مزايا فك التشفير المتوازي لتوليد غير المتسلسل بالكامل دون التضحية بجودة التوليد أو طلب تعديل النموذج.
3. قابلية التطبيق الواسعة: الطريقة فعالة عبر مهام متنوعة (الرياضيات، الاستدلال المنطقي، الرؤية واللغة، الكود) ونماذج أساسية مختلفة، مما يشير إلى أن التفاعل بين الإشارات الهيكلية وديناميكيات الثقة يمثل تحديًا جوهريًا في توليد النصوص القائم على الانتشار.

يشير المؤلفون إلى بعض القيود، حيث يقرون بأن الطريقة لا تصحح الأخطاء الناجمة عن نقص معرفة النموذج أو قدرته على الاستدلال، بل تعمل على تحسين اختيار الرموز عندما تكون ثقة النموذج عالية ولكنها قد تكون سابقة لأوانها. كما يقترحون أنه بينما تعد الطريقة قوية تجاه مختلف خيارات ومواضع المثبتات، فإن العمل المستقبلي يمكن أن يستكشف استراتيجيات تكيفية لاختيار المثبت.