ملخص تقني: تحسين عدم اليقين القائم على الاتساق في النماذج اللغوية الكبيرة عبر البحث الشعاعي (Beam Search)

بيان المشكلة

أثبت تقدير عدم اليقين (UQ) القائم على الاتساق أنه وسيلة قوية لتقييم موثوقية مخرجات النماذج اللغوية الكبيرة (LLMs)، لا سيما في سيناريوهات الصندوق الأسود (black-box). تعتمد هذه الطرق عادةً على تقدير عدم اليقين من خلال قياس مستوى التوافق بين عدة عمليات توليد ناتجة عن العينات متعددة الحدود (multinomial sampling).

ومع ذلك، يحدد المؤلفون قيودًا حرجة في تطبيق العينات متعددة الحدود على مهام الإجابة على الأسئلة القصيرة (QA):

1. التكرار العالي: نظرًا للتوزيعات الاحتمالية الحادة للإجابات القصيرة، تنتج العينات متعددة الحدود غالبًا توليدات مكررة أو متطابقة تقريبًا. ويشير العمل إلى أنه بالنسبة للمخرجات القصيرة (2-4 توكنات)، يمكن أن تصل معدلات التكرار إلى 30-50%، مما يؤدي إلى هدر الموارد الحسابية.
2. التباين العالي: بما أن كل عملية أخذ عينات تولد مجموعة مختلفة من المرشحين، فإن تقديرات عدم اليقين الناتلة تظهر تباينًا كبيرًا عبر الجولات، مما يقوض متانتها.
3. عدم الكفاءة: يتطلب تحقيق تقديرات مستقرة عددًا كبيرًا من العينات، وهو أمر مكلف حسابيًا.

تكمن المشكلة الجوهرية في أن العينات متعددة الحدود تفشل في استكشاف فضاء مخرجات النموذج بفعالية في السيناريوهات ذات المخرجات القصيرة، مما يؤدي إلى تقديرات ثقة مشوشة وتقدير غير مثالي لعدم اليقين.

المنهجية

يقترح العمل عائلة جديدة من طرق تقدير عدم اليقين (UQ) التي تستبدل العينات متعددة الحدود بـ البحث الشعاعي (Beam Search) لتوليد المخرجات المرشحة. تعتمد المنهجية على ثلاث رؤى رئيسية:

1. المرشحون المتنوعون: يحافظ البحث الشعاعي بطبيعته على أكثر $k$ تسلسل جزئي احتمالية، مما يضمن وجود مخرجات مرشحة متميزة ويقلل التكرار.
2. التقدير الموزون بالاحتمالية: إن معاملة مرشحي البحث الشعاعي كعينات موحدة سيؤدي إلى المبالغة في تقدير المخرجات ذات الاحتمالية المنخفضة. بدلاً من ذلك، يقدم المؤلفون مقدرًا موزونًا (weighted estimator). يقومون بتطبيع احتمالات التسلسل لمرشحي البحث الشعاعي ($b^{(i)}$) لتشكيل أوزان $w_i$:
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   تُستخدم هذه الأوزان بعد ذلك لحساب مقاييس الاتساق (مثل: التباين/Dissimilarity، واللامركزية/Eccentricity) بدلاً من استخدام المتوسط البسيط.
3. التبرير النظري: يشتق المؤلفون حدًا أدنى نظريًا لكتلة الاحتمال ($m_B$) لمجموعة البحث الشعاعي المطلوبة لكي يحقق المقدر الموزون شعاعيًا خطأً متوسط المربعات (MSE) أقل من مقدر مونت كارلو القياسي (متعدد الحدود). لقد أثبتوا أنه إذا غطت مجموعة البحث الشعاعي جزءًا كافيًا من كتلة الاحتمال (تحديدًا $m_B > 1 - \frac{1}{2\sqrt{M}}$ في حالة شرطية مبسطة)، فإن نهج البحث الشعاعي يعطي خطأً أقل.

الطرق المعدلة

يقوم المؤلفون بتكييف العديد من طرق الاتساق الحالية لاستخدام البحث الشعاعي:

• التباين (Dissimilarity): يقيس الفرق الدلالي المتوقع بين الإجابة الأساسية ومرشحي البحث الشعاعي، بوزن $w_i$.
• اللامركزية (Eccentricity): يستخدم "لابلاسيان الرسم البياني" (graph Laplacian) على مصفوفة التشابه لجميع العينات (بما في ذلك الإجابة الأساسية). قام المؤلفون بتعديل حساب التضمين (embedding) لاستخدام المراكز الموزونة.
• تباين المتجه الذاتي (Eigenvector Dissimilarity): يقيس مسافة تضمين الإجابة الأساسية إلى المتوسط الموزون لتضمينات العينات في فضاء لابلاسيان.
• CoCoA: طريقة هجينة تجمع بين احتمالات مستوى التوكن (token-level) واتساق العينات. استبدل المؤلفون إشارة الاتساق بالمقدر الموزون شعاعيًا.

المساهمات الرئيسية

1. تحديد القيود: يوضح العمل تجريبيًا أن العينات متعددة الحدود تؤدي إلى تكرار وتباين عاليين في مهام الإجابة على الأسئلة القصيرة، مما يجعلها خيارًا غير مثالي لتقدير عدم اليقين القائم على الاتساق في هذه السياقات.
2. المقدرات الموزونة شعاعيًا: اقتراح عائلة جديدة من طرق تقدير عدم اليقين (UQ) التي تستخدم مرشحي البحث الشعاعي مع أوزان الأهمية لتقريب توزيع النموذج بشكل أفضل دون توليد مكررات.
3. التحليل النظري: اشتقاق شرط كافٍ غير معتمد على التوزيع (Theorem 1) يضمن تفوق المقدر الموزون شعاعيًا على مقدر مونت كارلو متعدد الحدود عندما تلتقط مجموعة البحث الشعاعي كتلة احتمالية كافية.
4. التحقق التجريبي: تقييم شامل عبر ست مجموعات بيانات للأسئة والأجوبة (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) وستة نماذج (Gemma 3, Llama 3.1, Qwen 3).

النتائج

تظهر التجارب أن استبدال العينات متعددة الحدود بالبحث الشعاعي يحسن باستمرار أداء طرق تقدير عدم اليقين القائمة على الاتساق:

• أداء الحالة الراهنة (SOTA): تحقق النسخ الموجهة بالبحث الشعاعي من Dissimilarity و Eccentricity و Eigenvector Dissimilarity و CoCoA أفضل أو ثاني أفضل درجات نسبة التنبؤ-الرفض (PRR) عبر جميع تركيبات النماذج ومجموعات البيانات تقريبًا.
• المتانة: تظهر طرق البحث الشعاعي تباينًا أقل بكثير في تقديرات عدم اليقين مقارنة بالعينات متعددة الحدود.
• كفاءة العينات: تظهر التحسينات بشكل أوضح مع ميزانيات عينات صغيرة ($M \ge 2$). يحقق البحث الشعاعي درجات PRR عالية بعدد أقل من المرشحين (يصل إلى مرحلة التشبع عند $M=5$ للمهام مفتوحة النهاية و $M=2$ لمهام الاختيار من متعدد)، بينما يتحسن أداء العينات متعددة الحدود ببطء أكبر.
• الميزة للمخرجات القصيرة: الفجوة في الأداء بين البحث الشعاعي والعينات متعددة الحدود هي الأكبر للمخرجات القصيرة (حيث يكون التكرار في أعلى مستوياته) وتضيق مع زيادة طول المخرج.

الأهمية والادعاءات

يزعم العمل أن البحث الشعاعي لا ينبغي استبعاده كاستراتيجية فك ترميز (decoding) لتقدير عدم اليقين. فعلى الرغم من ارتباطه غالبًا بالتوليد الحتمي عالي الجودة، يرى المؤلفون أن البحث الشعاعي، مقترنًا بوزن الاحتمالية، يوفر آلية أكثر كفاءة واستقرارًا لاستكشاف فضاء المخرجات في مهام الإجابة على الأسئلة القصيرة مقارنة بالعينات متعددة الحدود العشوائية.

تكمثل أهمية هذا العمل في:

• الكفاءة العملية: يوفر طريقة لتحسين أداء تقدير عدم اليقين في سيناريوهات الصندوق الأبيض "مجانيًا تقريبًا"، حيث يتم تنفيذ البحث الشعاعي بالفعل أو يمكن تنفيذه بتكلفة إضافية ضئيلة مقارنة بتوليد $M$ من العينات مستقلة متعددة الحدود.
• الأساس النظري: يقدم شرطًا رسميًا يكون فيه البحث الشعاعي متفوقًا بشكل مثبت لتقدير عدم اليقين، متجاوزًا التحسينات التجريبية (Heuristic).
• القابلية الواسعة للتطبيق: تحسن الطريقة كلاً من مقاييس الاتساق الصرفة والطرق الهجينة (مثل CoCoA) التي تجمع بين الاتساق واحتمالات التوكن، مما يشير إلى تحسين عام في تقدير عدم اليقين لمهام توليد النصوص القصيرة.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن تقييمهم يقتصر حاليًا على سيناريوهات الصندوق الأبيض (التي تتطلب الوصول إلى احتمالات النموذج) و مجموعات بيانات مهام الإجابة على الأسئلة القصيرة. كما يقرون بأن القدرة على التعميم على التوليد طويل النص وسيناريوهات الصندوق الأسود (التي تتطلب تقدير الاحتمالية التجريبية) تظل مسألة مفتوحة.