ملخص تقني: NoisyCoconut: الإجماع عبر الواقع المضاد عبر الاستدلال في الفضاء الكامن

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في البيئات عالية المخاطر، ومع ذلك فهي تفتقر إلى آليات جوهرية للإشارة إلى عدم اليقين، مما يؤدي غالباً إلى إنتاج مخرجات واثقة ولكن خاطئة (الهلوسة). وبينما يُعد التنبؤ الانتقائي (Selective Prediction) — الذي يسمح للنماذج بالامتناع عن الإجابة عند عدم اليقين — استراتيجية راسخة لتحسين الموثوقية في مهام التصنيف، إلا أنه من الصعب تطبيقه على النماذج اللغوية الكبيرة التوليدية. فاحتمالات مستوى الرمز (Token-level probabilities) غالباً ما تعكس عدم يقين لغوي بدلاً من الصحة الواقعية، كما أن الأساليب الحالية أثناء الاستدلال (مثل الاتساق الذاتي عبر أخذ عينات الرموز) تقتصر على التنوع الموجود في توزيع الرموز السطحي. علاوة على ذلك، فإن طرق الاستدلال في الفضاء الكامن التي تعمل مباشرة على الحالات الخفية المستمرة تتطلب عادةً تدريباً متخصصاً وتفتقر إلى آليات مدمجة لتقدير الثقة.

المنهجية

يقدم البحث NoisyCoconut، وهو طريقة تعمل أثناء الاستدلال ولا تتطلب تدريباً، تعمل على تعزيز موثوقية النماذج اللغوية الكبيرة من خلال التلاعب بالتمثيلات الداخلية في الفضاء الكامن المستمر. وبالبناء على إطار عمل سلسلة الأفكواب المستمرة (Coconut) (Hao et al., 2025)، الذي يتيح الاستدلال عبر تغذية الحالة الخفية الأخيرة كمدخل تمثيل (Embedding) تالٍ، يختلف NoisyCoconut بتركيزه على تقييم الثقة بدلاً من تدريب النماذج على الاستدلال في الفضاء الكامن.

تتمثل الآلية الجوهرية في حقن الضجيج المتحكم فيه في المسارات الكامنة لنموذج مدرب مسبقاً:

1. حقن الضجيج: لكل استعلام مدخل، تولد الطريقة مسارات استدلال متعددة ($K$) عن طريق حقن ضجيج غاوسي مستقل ($\eta_t$) في الحالات الخفية أثناء عملية التمرير الأمامي (Forward Pass). يتلاشى مقياس الضجيج $\sigma_t$ أسياً بمرور الخطوات الزمنية، ويتم قياسه تكيفياً بناءً على معيار الحالة الخفية لضمان حدوث تباعد ذي معنى مع الحفاظ على التماسك.
2. استكشاف المسارات: يؤدي هذا الاضطراب إلى إحداث تفرع إلى مسارات استدلال بديلة داخل الفضاء التمثيلي المستمر، مما يسمح باستكشاف مناطق مختلفة من فضاء الحل دون توليد رموز وسيطة.
3. التجميع والامتناع: يتم تجميع مخرجات المسارات الـ $K$. يستخدم النظام استراتيجية التصويت بالأغلبية لتحديد مخرج الإجماع. والأهم من ذلك، يمكن للنظام الامتناع (يُرمز له بـ $\perp$) إذا قل الاتفاق بين المسارات عن عتبة محددة (على سبيل المثال، اشتراط الإجماع الكامل 5/5).
4. إشارة الثقة: يعمل درجة الاتفاق بين المسارات المتأثرة بالضجيج كوكيل لثقة التنبؤ. يشير الاتفاق العالي إلى أن النموذج موجود في "حوض جاذب" (Attractor Basin) مستقر حيث يكون الحل قوياً تجاه الاضطرابات، بينما يشير الاتفاق المنخفض إلى عدم استقرار تمثيلي وعدم يقين عالٍ.

المساهمات الرئيسية

يقدم المؤلفون أربع مساهمات رئيسية:

1. إطار عمل NoisyCoconut: طريقة مبتكرة للاستدلال لا تتطلب تدريباً، تولد مسارات استدلال متنوعة من خلال حقن الضجيج المتحكم فيه في الفضاء الكامن المستمر، مما يتيح تقدير الثقة القائم على الاتفاق مباشرة على الحالات الخفية.
2. التحقق من اتفاق المسارات: إثبات تجريبي بأن اتفاق المسارات يوفر وكيلاً موثوقاً لثقة التنبؤ، مما يسمح بمقايضات فعالة بين التغطية والدقة.
3. توصيف العلاقة بين الضجيج والدقة: تحليل يظهر نمط تدهور سيجمويدي (Sigmoid) ثابتاً في دقة النموذج مع زيادة مقاييس الضجيج، مما يؤكد أن حقن الضجيج ينتج آثاراً يمكن التنبؤ بها واستغلالها عبر البنى المختلفة.
4. أداء المعايير المرجعية: أدلة على أن NoisyCoconut يحقق مقايضات كبيرة بين التغطية والدقة عبر ثلاثة معايير مرجعية للاستدلال (GSM8K, GSM-Symbolic, MMLU) وخمسة نماذج لغوية متميزة (بما في ذلك متغيرات Qwen, Llama, Mixtral, وDeepSeek).

النتائج

أسفرت التجار تجرى على خمسة نماذج لغوية وثلاثة معايير مرجعية عن النتائج التالية:

• تقليل الخطأ: يقلل الإجماع التام (5/5) بين المسارات المتأثرة بالضجيج معدلات الخطأ من خط أساس يتراوح بين 40-70% إلى أقل من 15%.
• الدقة العالية عبر الامتناع: من خلال الامتناع الانتقائي عن التنبؤات ذات الثقة المنخفضة (حيث يكون اتفاق المسارات منخفضاً)، تحقق النماذج دقة تزيد عن 95% في مهام الاستدلال الرياضي (مثل GSM8K). على سبيل المثال، حسّن نموذج DeepSeek-R1-Distill-Qwen-7B الدقة من خط أساس قدره 62.0% إلى 95.2% عند عتبة الإجماع التام، وإن كان ذلك مع انخفاض في التغطية (31.4%).
• تأثير المساواة: أظهرت النماذج الأساسية الأضعف أكبر تحسينات مطلقة في الدقة تحت تصفية الاتفاق العالي، مما يشير إلى أن NoisyCoconut يمكن أن يساعد النماذج الأضعف على الاقتراب من موثوقية النماذج الأقوى في مجموعة الأسئلة التي تظهر فيها ثقة عالية.
• الحساسية للضجيج: كشف التقييم المنهجي عن تدهور سيجمويدي ثابت في الدقة مع زيادة مقاييس الضجيج، مع معاملات $R^2 \ge 0.94$ عبر جميع النماذج، مما يشير إلى مرحلة انتقالية في سلوك النموذج من الاستدلال القوي إلى الأداء القريب من العشوائي.

الأهمية والادعاءات

يزعم البحث أن NoisyCoconut يوفر مساراً عملياً لتحسين موثوقية النماذج اللغوية الكبيرة دون التكلفة الحسابية لإعادة التدريب أو الضبط الدقيق. ومن خلال توسيع نطاق تقدير الثقة القائم على الاتفاق ليشمل الفضاء الكامن، تستفيد الطريقة من الفضاء التمثيلي المستمر للكشف عن عدم اليقين الذي لا يكون مرئياً في توزيعات الرموز.

يفترض المؤلفون أن الارتباط بين اتفاق المسارات والصحة يشير إلى أن عدم اليقين في النماذج اللغوية الكبيرة مرئي في الفضاء الكامن. فعندما تؤدي اضطرابات الضجيج إلى مسارات متباعدة، يكون من المرجح أن النموذج يعمل في منطقة من عدم الاستقرار التمثيلي؛ وعلى العكس من ذلك، فإن التقارب نحو نفس الإجابة يشير إلى حل مستقر وقوي تجاه الاضطرابات. يسمح هذا النهج بنشر النماذج اللغوية الكبيرة في القطاعات المنظمة حيث تكون الدقة والقابلية للتدقيق أمراً بالغ الأهمية، مما يوفر آلية للمقايضة بين التغطية والدقة العالية الموثوقة.

يقر البحث بالقيود، بما في ذلك الحاجة إلى الوصول إلى الحالات الداخلية للنموذج (مما يحد من إمكانية التطبيق على النماذج مفتوحة الأوزان)، والتركيز الحالي على المهام ذات الإجابات المنفصلة أو المحددة جيداً، والأعباء الحسابية لتوليد مسارات متعددة. ومع ذلك، فإنه يصيغ هذه القيود كفرص للعمل المستقبلي في مجالات مثل مقياس الضجيج التكيفي، والتجميع الدلالي للتوليد مفتوح النهايات، والتكامل مع التشفير التخميني (Speculative Decoding) لتقليل التكاليف.