ملخص تقني: الاتساق الذاتي عبر التسنيد الهامشي (Self-Consistency via Marginal Sharpening)

بيان المشكلة

تعمل نماذج اللغات الحديثة بشكل متزايد على حل المهام المعقدة من خلال توليد مسارات استدلال وسيطة (مثل الاشتقاقات، أو مخططات الكود، أو خطوط عريضة للبراهين) قبل إصدار الإجابة النهائية. وبينما تثير طرق الاستدلال القياسية مثل "سلسلة الأفكار" (Chain-of-Thought) هذا السلوك، إلا أنها تعتمد غالباً على أخذ عينات من مسار واحد أو استخدام التصويت بالأغلبية اللاحق (الاتساق الذاتي) لاختيار الإجابة النهائية.

يحدد المؤلفون قصوراً جوهرياً في طرق التسنيد الحالية المستخدمة أثناء الاستدلال، وتحديداً أخذ عينات القدرة (power sampling). يقوم أخذ عينات القدرة بتسنيد التوزيع على التسلسلات المولدة الكاملة (التوزيع المشترك لمسار الاستدلال $z$ والإجابة $a$). ويجادل البحث بأن هذا هو المستوى الخاطئ من التجريد لعملية الاستدلال:

1. تشابك المتغيرات الكامنة: مسار الاستدلال هو عملية حسابية كامنة. يمكن للعديد من المسارات المتميزة أن تؤدي إلى نفس الإجابة الصحيحة.
2. التنافس مقابل الدعم: يعامل تنيد التسلسل (Sequence-level sharpening) الاشتقاقات أو التنفيذات البديلة لنفس الحل كمتنافسين، مما يركز الاحتمالية على نصوص كاملة محددة بدلاً من التركيز على الإجابة نفسها.
3. هشاشة التصويت: يتطلب الاتساق الذاتي القياسي (التصويت بالأغلبية) مطابقة نصية دقيقة. في المجالات المهيكلة مثل الكود أو البراهين، يمكن لنفس الحل الأساسي أن يظهر في أشكال سطحية عديدة (أسماء متغيرات مختلفة، تدفقات تحكم، أو ترتيب استنتاجات)، مما يؤدي إلى تشتيت الدعم عبر تنويعات صالحة.

المشكلة الجوهرية هي كيفية الاستفيد من مسارات الاستدلة المتعددة لتضخيم احتمال الإجابة الصحيحة دون اشتراط المطابقة النصية الدقيقة أو تحمل التكلفة الحسابية للبحث عبر مسارات كاملة.

المنهجية: التسنيد الهامشي (Marginal Sharpening)

يقترح المؤلفون التسنيد الهامشي، وهو هدف أثناء الاستدلال ينقل الهدف من التوزيع المشترك $\pi(z, a | x)$ إلى هامش الإجابة المسند (sharpened answer marginal) $p_{\alpha}^{marg}(a | x)$.

الإطار النظري

1. التفكيك: يتم تحليل إكمال النموذج $y$ إلى مسار استدلال $z$ وجزء الإجابة النهائية $a$. يستحث النموذج هامش إجابة طبيعي $m(a | x) = \sum_z \pi(z, a | x)$.
2. التوزيع المستهدف: بدلاً من تسنید التوزيع المشترك، تحدد الطريقة توزيع قدرة على هامش الإجابة:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   حيث $\alpha > 1$ هو قوة التسنيد. ومع اقتراب $\alpha$ من $\infty$، فإن هذا يتقارب مع الإجابة ذات الدعم الهامشي الأقصى (هدف الاتساق الذاتي المثالي).
3. تمثيل قوة العدد الصحيح: لقوة التسنيد كعدد صحيح $K$، يشتق المؤلفون تفكيكاً دقيقاً باستخدام $K$ من مسارات الاستدلال المستقلة. يمكن التعبير عن التوزيع المستهدف كقيمة متوقعة لـ $K$ من مسارات الاستدلال التي تم أخذ عينات منها بشكل مستقل $z_{1:K}$:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   يربط هذا الصيغة بين الاتساق الذاتي وأخذ العينات من توزيع مستهدف على مستوى الإجابة.

الخوارزمية: فك التشفير التلقائي المتوازي (Parallel Autoregressive Decoding)

إن أخذ العينات مباشرة من التوزيع المستمد أمر غير قابل للتطبيق لأنه يتطلب الجمع عبر جميع الاستمرارات المستقبلية الممكنة ("المُطبع المستمر" أو continuation normalizer). يقترح المؤلفون خوارمة فك تشفير تلقائي متوازية خفيفة الوزن (الخوارزمية 1) تقرب هذا الهدف:

1. توليد المسارات: توليد $M = K \times S$ من مسارات الاستدلال، مقسمة إلى $S$ من المجموعات، كل مجموعة تضم $K$ من المسارات.
2. التقريب على مستوى الرمز (Token-Level): بدلاً من حساب احتمال التسلسل الكامل، تقوم الخوارزمية بفك تشفير الإجابة رمزاً تلو الآخر. عند كل خطوة $t$، تحسب توزيعاً موزوناً على المفردات:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • أوزان البادئة ($w_s$): تتتبع هذه الأوزان احتمالية بادئة الإجابة المولدة بالفعل تحت كل مجموعة من $K$ مسار. ويتم تحديثها عبر الإنترنت (online) أثناء أخذ عينات الرموز.
   • التقريب المحلي: تتجاهل الخوارزمية "المُطبع المستمر" غير القابل للحساب (احتمالية الرموز المستقبلية)، حيث تعامله كعامل مشترك يلغي نفسه أثناء التطبيع المحلي.
3. أخذ العينات: تقوم الخوارزمية بأخذ عينة للرمز التالي من هذا التوزيع، وتحدث أوزان البادئة، وتكرر العملية حتى تنتهي الإجابة.

تسمح هذه الطريقة للنموذج بتوليد إجابة واحدة "مدعومة" بعدة مسارات استدلال، مما يحقق فعلياً اتساقاً ذاتياً "ناعماً" أثناء التوليد بدلاً من كونه خطوة تصويت لاحقة.

المساهمات الرئيسية

1. صياغة التسنيد الهامشي: يحدد البحث هدفاً أثناء الاستدال يعامل مسارات الاستدلال كمتغيرات كامنة ويسند توزيع الإجابة الناتج، بدلاً من التوزيع المشترك للمسارات والإجابات.
2. تفكيك تعدد المسارات: يثبت المؤلفون أنه بالنسبة لقوى التسنيد الصحيحة، فإن هامش الإجابة المسند يقبل التفكيك إلى توقع فوق $K$ من مسارات الاستدلال المستقلة، مما يربط نظرياً الاتساق الذاتي بأخذ العينات على مستوى الإجابة.
3. خوارزمية فك تشفير فعالة: يقترحون خوارزمية تلقائية متوازية تقرب من أخذ العينات من هذا التوزيع المسند. وهي عملية تلقائية بالكامل، ولا تتطلب أي أدوات توحيد خارجية، وتتجنب التكلفة التربيعية لتوليد الرموز المرتبطة بأخذ عينات القدرة على مستوى التسلسل.
4. التحقق التجريبي: تم تقييم الطريقة باستخدام نماذج عائلة Qwen (1.7B, 4B, 8B) عبر ثلاثة معايير اختبار.

النتائج

استخدمت التجارب نماذج عائلة Qwen عبر ثلاثة معايير:

• الأداء مقابل أخذ عينات القدرة: يتفوق التسنيد الهامشي بشكل كبير على أخذ عينات القدرة القياسي في معايير توليد الكود (HumanEval+ و LiveCodeBench). وفي MATH-500، كان أداؤه مقارباً أو أقل قليلاً من التصويت بالأغلبية (وهو خط أساس قوي في الرياضيات بسبب مساحات الإجابات الصغيرة والتحقق الرمزي).
• الكفاءة: الطريقة أسرع بعدة مراتب من أخذ عينات القدرة في التوليدات الطويلة. بالنسبة لـ $L=8192$، كان التسنيد الهامشي أسرع بـ 38 مرة من أخذ عينات القدرة في معيار HumanEval+ مع تحقيق دقة أعلى. يتطلب أخذ عينات القدرة توليد رموز بتعقيد $O(L^2)$، بينما يتطلب التسنيد الهامشي $O(L)$.
• المعلمات الفائقة (Hyperparameters):
  • قوة التسنيد ($K$): يؤدي زيادة $K$ عموماً إلى تحسين الأداء من خلال تركيز الاحتمالية على الإجابات المدعومة بمسارات متعددة، وإن كان ذلك يزيد من الحوسبة.
    est. عدد العينات ($S$): تؤدي زيادة $S$ (عدد مجموعات المسارات) إلى تحسين جودة التقريب على مستوى الرمز، مما يعطي مكاسب متسقة، خاصة عند ميزانيات التوليد المنخفضة.
  • تخصيص الميزانية: تحت ميزانية حوسبة إجمالية ثابتة ($K \times S = \text{const}$)، تعطي التخصيصات المختلفة بين قوة التسنيد وعدد العينات نتائج متقاربة، مما يشير إلى وجود مقايضة حيث يعوض كل من التسنيد القوي وجودة التقريب الجيدة بعضهما البعض.

الأهمية والادعاءات

يدعي البحث أن الاتساق الذاتي يجب أن يُفهم كأصل استدلال على مستوى الإجابة وليس مجرد آلية تصويت لاحقة.

• تغيير التركيز: من خلال استهداف هامش الإجابة، تقوم الطريقة بتجميع الدعم بشكل صحيح عبر مسارات استدلال متنوعة (مثل تنفيذات برمجية مختلفة أو استراتيجيات برهان مختلفة) والتي تعاملها طرق مستوى التسلسل كأجزات متميزة ومتنافسة.
• القابلية للتوسع: تتيح الخوارزمية المقترحة الاستفادة من مزايا الاتساق الذاتي في المجالات ذات مساحات المخرجات المهيكلة الكبيرة (مثل الكود) حيث تفشل المطابقة النصية الدقيقة، دون التكلفة الحسابية الباهظة للبحث في المسارات الكاملة أو إعادة أخذ العينات.
• العملية: الطريقة هي نسخة "ناعمة" من الاتساق الذاتي يمكن تنفيذها باستخدام نماذج تلقائية قياسية وفك تشفير متوازٍ، مما يجعلها بديلاً عملياً لأخذ عينات درجة الحرارة (temperature sampling) وأخذ عينات القدرة لمهام الاستدلال.

يخلص المؤلفون إلى أن حوسبة وقت الاختبار تُستغل بشكل أكثر فعالية في صقل الاعتقاد بالإجابة المستحث من الاستدلال الكامن بدلاً من اختيار النص الكامل الأكثر احتمالاً.