💬 NLP

Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs

تقدم الورقة البحثية BeyondUncertainty، وهي طريقة لتوليد النصوص المعزز بالاسترجاع تستفيد من الثقة اللفظية من النماذج اللغوية لتوجيه الاستعلامات بشكل انتقائي إلى عملية الاسترجاع، مما يحقق دقة محسنة وتقليلاً في استخدام الرموز (tokens) مقارنة بالنماذج المرجعية التي تعتمد دائماً على الاسترجاع أو لا تعتمد عليه أبداً، وذلك رغم تحمل عبء إضافي طفيف ناتج عن فحص الثقة الأولي.

المؤلفون الأصليون: Chandan Kumar Sah, Xiaoli Lian, Li Zhang

نُشر 2026-07-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chandan Kumar Sah, Xiaoli Lian, Li Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة آلي فائق الذكاء، قرأت كل كتاب تقريبًا في الكون. يمكنك الإجابة على الأسئلة فورًا لأنك حفظت الكثير من المعلومات. ومع ذلك، قد يتغير العالم أحيانًا، أو قد تنسى تفصيلًا صغيرًا، أو قد تحتاج فقط إلى التحقق من حقيقة تتعلق بشخص أو مكان معين. إذا أخطأت في التخمين، فقد تبدو واثقًا ولكنك ستكون غير دقيق تمامًا. وهنا يأتي دور "التوليد المعزز بالاسترجاع" (RAG). فكر في RAG كقاعدة تقول: "إذا لم تكن متأكدًا بنسبة 100%، اذهب وابحث عن المعلومة في المكتبة قبل أن تجيب".

ومع ذلك، هناك عقبة. فالذهاب إلى المكتبة يستغرق وقتًا وطاقة. إذا ذهبت إلى المكتبة لكل سؤال، حتى الأسئلة السهلة التي تعرفها بالفعل، فستضيع الكثير من الوقت والوقود. ومن ناحية أخرى، إذا لم تذهب إلى المكتبة أبدًا، فقد تقدم إجابات خاطئة في الأسئلة الصعبة. السؤال الكبير الذي يحاول العلماء حله هو: كيف يمكن للروبوت أن يعرف بالضبط متى يحتاج إلى التوقف والبحث عن معلومة، دون إضاعة الطاقة في الأشياء السهلة؟ يستكشف هذا البحث ما إذا كان بإمكان الروبوت ببساطة أن "يقول" مدى شعوره بالثقة تجاه إجابة ما، واستخدام هذا الشعور لتقرير ما إذا كان سيذهب إلى المكتبة أم سيتحدث فحسب.

تجربة "فحص الثقة"

في هذه الدراسة، حاول الباحثون تشاندان كومار ساح، وشياولي ليان، ولي تشانغ من جامعة بهاينغ، بناء أمين مكتبة أكثر ذكاءً باستخدام نظام يسمونه BeyondUncertainty. أرادوا معرفة ما إذا كان بإمكان ذكاء اصطناعي "صندوق أسود" (نموذج لا يمكنك رؤية تروسه الداخلية، بل ترى إجاباته فقط) استخدام ثقته اللفظية لتقرير متى يجلب معلومات إضافية.

إليك كيف سارت تجربتهم، خطوة بخطوة:

المسبار (The Probe): أولاً، طرحوا سؤالاً على الذكاء الاصطناعي وطلبوا منه تقديم إجابة سريعة ومنظمة مع "درجة ثقة" (رقم بين 0 و1 يوضح مدى تأكده). لم يطلبوا من الذكاء الاصطعي شرح عمله أو التفكير بصوت عالٍ؛ بل طلبوا منه فقط تخمينًا سريعًا وتقييمًا للثقة.
القرار: وضعوا "عتبة" (خط ثقة محدد) لكل نموذج ذكاء اصطناعي.
- إذا قال الذكاء الاصطناعي: "أنا واثق جدًا (فوق الخط)"، يقبل النظام تلك الإجابة فورًا. لا داعة لرحلة إلى المكتبة!
- إذا قال الذكاء الاصطناعي: "لست متأكدًا تمامًا (تحت الخط)"، يرسل النظام السؤال إلى محرك بحث (باستخدام طريقة تسمى TF-IDF) للعثور على أفضل 5 فقرات ذات صلة. بعد ذلك، يقرأ الذكاء الاصطناعي تلك الفقرات ويقدم إجابة نهائية وأفضل.
الاختبار: قاموا بتشغيل هذا على 27,000 سؤال مختلف عبر ست مجموعات بيانات مختلفة من المعلومات العامة والمعرفية، باستخدام ثلاثة نماذج مختلفة من نماذج الذكاء الاصطناعي الشهيرة.

ما وجدوه: الجيد، والسيئ، والمكلف

كانت النتائج مزيجًا من النجاح والمقايضة المفاجئة.

الأخبار الجيدة: بحث أذكى
نجح النظام بشكل جيد في تحديد أي الأسئلة تحتاج إلى مساعدة. عندما شعر الذكاء الاصطناعي بعدم اليقين، كان محقًا عادةً في أنه يحتاج للبحث عن أشياء.

إجابات أفضل: حقق نظام "توجيه الثقة" (Confidence Routing) متوسط درجة 0.483 (مقياس لجودة الإجابة يسمى F1). كان هذا أفضل من مجرد التخمين دون البحث عن أي شيء (0ato1)، وحتى أفضل قليلاً من البحث عن كل سؤال (0.467).
توفير رحلات المكتبة: نظرًا لأن النظام تجاوز الأسئلة السهلة، فقد استرجع 20.4% أقل من النصوص مقارنة بطريقة "البحث دائمًا". لقد كان أكثر انتقائية.
التفوق على التخمينات العشوائية: حتى عندما أجبروا النظام على البحث عن نفس عدد الأسئلة التي يستخدمها برنامج كمبيوتر عشوائي، حصل النظام القائم على الثقة على إجابات أفضل في 17 من أصل 18 حالة. أثبت هذا أن "شعور" الذكاء الاصطناعي بعدم اليقين كان مفيدًا بالفعل في اختيار الأسئلة الصحيحة للبحث عنها.

الأخبار السيئة: تكلفة "المسبار"
هنا تكمن المفاجأة. بينما وفر النظام الوقت في البحث (عدد رحلات أقل للمكتبة)، إلا أنه استخدم في الواقع قوة حوسبة إجمالية أكبر.

للحصول على درجة الثقة، كان على الذكاء الاصطناعي تشغيل خطوة "مسبار" إضافية أولاً. أضافت هذه الخطوة الإضافية 28.2% أكثر إلى العدد الإجمالي لـ "الرموز" (Tokens - وهي الوحدات الأساسية للنص التي يعالجها الذكاء الاصطناعي).
لذا، بينما كان النظام موفرًا للاسترجاع (لم يجلب مستندات كثيرة)، فإنه لم يكن موفرًا للرموز (استخدم طاقة حوسبة إجمالية أكبر). الأمر يشبه استئجار محقق للتحقق مما إذا كنت بحاجة إلى خريطة قبل القيام برحلة؛ المحقق يوفر عليك شراء الخريطة الخاطئة، لكنك لا تزال مضطرًا لدفع أتعاب المحقق.

واقع "عدم التأكد"
وجد الباحثون أيضًا أن ثقة الذكاء الاصطناعي لم تكن مثالية.

معايرة سيئة: الأرقام التي قدمها الذكاء الاصطناعي للثقة لم تكن احتمالات رياضية مثالية. إذا قال الذكاء الاصطناعي "أنا متأكد بنسبة 90%"، فلم يكن صحيحًا بنسبة 90% من المرات فعليًا.
اختلاف النماذج: تصرف النظام بشكل مختلف تمامًا اعتمادًا على نموذج الذكاء الاصطناعي المستخدم. أحد النماذج (OpenAI) كان واثقًا جدًا لدرجة أنه أراد دائمًا البحث عن الأشياء على أي حال، مما جعل "التوجيه الذكي" أقل فائدة. أما نموذج (Gemini) فكان أكثر انتقائية.
ليس حلاً سحريًا: لم يكن التحسن ضخمًا أو مثاليًا. في بعض الحالات المحددة، كانت طريقة "البحث دائمًا" أفضل من التوجيه الذكي. النظام هو تحسن متوسط، وليس حلاً عالميًا.

الخلاصة

تشير هذه الورقة البحثية إلى أن سؤال الذكاء الاصطناعي "ما مدى تأكدك؟" هو طريقة ذكية لتقرير متى يقوم ببحث إضافي. فهو يساعد الذكاء الاصطناعي على تجنب إضاعة الوقت في البحث عن أشياء يعرفها بالفعل، ويؤدي إلى إجابات أفضل قليلاً بشكل عام. ومع ذلك، فإن تكلفة طرح هذا السؤال في المقام الأول مرتفعة. النظام يوفر عليك عناء جلب الكثير من المستندات، لكن الخطوة الإضافية المتمثلة في طلب الثقة تجعل العملية برمتها أكثر تكلفة من حيث قوة الحوسبة الإجمالية.

إنها خطوة واعدة نحو مساعدات ذكاء اصطناعي أكثر ذكاءً وكفاءة، لكنها تظهر أنه لا يوجد غداء مجاني: يمكنك أن تكون أكثر انتقائية بشأن ما تبحث عنه، ولكن قد تظل مضطرًا لدفع الثمن لاتخاذ هذا القرار.

ملخص تقني: ما وراء المعرفة الذاتية: نشر عدم اليقين عبر الاستدلال والاسترجاع في النماذج اللغوية الكبيرة

بيان المشكلة

يعمل التوليد المعزز بالاسترجاع (RAG) على تحسين الإجابة على الأسئلة التي تتطلب معرفة كثيفة من خلال ترسيخ الاستجابات في أدلة خارجية. ومع ذلك، فإن الاسترجاع غير المدروس يؤدي إلى عدم كفاءة كبيرة: فهو يزيد من طول السياق وزمن الاستجابة، كما أن الفقرات غير ذات الصلة أو المتضاربة يمكن أن تضعف جودة الإجابة. وبينما توجد استراتيجيات RAG تكيفية، إلا أن العديد منها يعتمد على حالات داخلية للنموذج (اللوجيتس، أو التنشيطات) أو آليات انعكاس معقدة يصعب الوصول إليها في إعدادات واجهة برمجة التطبيقات (API) "الصندوق الأسود".

السؤال البحثي المركزي الذي يتم تناوله هو ما إذا كان الثقة المعلنة لفظياً (verbalized confidence) من نماذج الصندوق الأسود يمكن أن تعمل كإشارة قابلة للتنفيذ لاتخاذ قرارات التوجيه. وتحديداً، هل يمكن لمسبار (probe) مهيكل قبل عملية الاسترجاع أن يستخلص تقديراً لعدم اليقين يحدد بفعالية أي الأسئلة تستفيد من الأدلة الخارجية، مما يحسن المقايضة بين جودة الإجابة، وتكرار الاسترجاع، وكفاءة الرموز (tokens)؟

المنهجية: BeyondUncertainty

يقترح المؤلفون BeyondUncertainty، وهو إطار عمل للتوجيه مستقل عن النموذج ويعمل بنظام الصندوق الأسود، يقوم بنشر إشارة ثقة قابلة للملاحظة إلى قرار اكتساب الأدلة الخارجية. يعمل النظام دون الوصول إلى سلسلة الأفكื้อ (chain-of-thought) الخفية، أو اللوجيتس، أو التنشيطات الداخلية، ولا يتطلب أي ضبط دقيق (fine-tuning) للنموذج.

سير العمل

المسبار المهيكل: لكل سؤال $q$ $q$ ، يتم توجيه النموذج لإنشاء كائن JSON مدمج يحتوي على:
- إجابة مؤقتة ( $\hat{a}_0$ ).
- تقدير ثقة معلن لفظياً ( $c_0 \in [0, 1]$ ).
- ملخص حالة موجز ( $m_0$ ).
- إجراء مقترح ( $d_0$ )، يتم تسجيله ولكن لا يُستخدم في التوجيه.
قرار التوجيه: يحدد عتبة خاصة بالنموذج ( $\tau_m$ $τ_{m}$ )، يتم اختيارها بناءً على بيانات التحقق المحجوزة وتجميدها قبل الاختبار، لتحديد المسار:
- ثقة عالية ( $c_0 \geq \tau_m$ ): يعيد النظام الإجابة المؤقتة $\hat{a}_0$ مباشرة (لا استرجاع).
- ثقة منخفضة ( $c_0 < \tau_m$ ): يحفز النظام خطوة استرجاع. يقوم مسترجع متفرق حتمي (TF-IDF) بجلب أفضل 5 فقرات من مجموعة بيانات ثابتة. ثم يقوم النموذج باستدعاء ثانٍ مع السؤال والسياق المسترجع لتوليد إجابة نهائية.
- ملاحظة: يتم تعيين حالات الثقة المفقودة أو غير القابلة للتحليل برمجياً إلى "الاسترجاع" بشكل تحفظي.

التصميم التجريبي

النطاق: التقييم عبر 27,000 حالة سياسة تتضمن 3,000 سؤال فريد من ستة معايير للأسئلة والأجوبة (Natural Questions, HotpotQA, 2WikiMultiHopQA, SQuAD, TriviaQA, MuSiQue) وثلاث عائلات من النماذج (OpenAI, Gemini, Claude).
المقارنات المرجعية (Baselines):
- لا استرجاع: استدعاء إجابة واحدة بدون سياق.
- استرجاع دائم: استرجاع أفضل 5 فقرات يليه استدعاء إجابة واحدة.
- التحكم العشوائي المطابق: تحكم لاحق (post-hoc) يوجه نفس عدد الأسئلة إلى الاسترجاع مثل BeyondUncertainty ولكنه يختارها عبر هاش (hash) مستقر بدلاً من الثقة.
- الأوراكل (Oracle): حد نظري أعلى يختار النتيجة الأفضل بين "لا استرجاع" و"استرجاع دائم" لكل حالة.
المقاييس: F1 الموحد على مستوى الرموز (المقياس الأساسي)، المطابقة التامة (Exact Match)، عدد الفقرات المسترجعة، وإجمالي استخدام الرموز (المدخلات + المخرجات).

المساهمات الرئيسية

واجهة توجيه مستقلة عن النموذج: تقديم طريقة لنشر إشارات الثقة الملحوظة من الصندوق الأسود إلى قرارات الاسترجআ دون الحاجة للوص เข้า إلى النموذج داخلياً أو إجراء ضبط دقيق.
تقييم مزدوج واسع النطاق: دراسة شاملة لـ 27,000 حالة سياسة عبر مجموعات بيانات ونماذج متنوعة، مع الاحتفاظ بإخفاقات واجهة برمجة التطبيقات والمخرجات المهيكلة في مقام الكسر لضمان المتانة.
عزل قيمة التخصيص: إثبات أن التوجيه الموجه بالثقة يوفر قيمة تخصيص على مستوى السؤال تتجاوز مجرد تقليل تكرار الاسترجاع، وهو ما تم التحقق منه عبر التحكم العشوائي المطابق لعدد المسارات.

النتائج

1. الفائدة التنبؤية للثقة (RQ1)

الترتيب مقابل القيمة المطلقة: الثقة المعلنة لفظياً ضعيفة المعايرة كاحتمالية مطلقة (خطأ المعايرة المتوقع $E_{5} \approx 0.43\text{--}0.53$ ). ومع ذلك، فهي تعمل كإشارة ترتيبية متسقة، ترتبط إيجابياً بجودة الإجابة النهائية ( $\rho \approx 0.28\text{--}0.31$ ).
فائدة الاسترجاع: يتنبأ عدم اليقين ( $u = 1 - c_0$ ) بشكل متواضع بما إذا كان الاسترجاع سيحسن الإجابة ( $\text{AUROC} = 0.628$ ).

2. مقايضات الجودة والكفاءة (RQ2)

جودة الإجابة: يحقق BeyondUncertainty أعلى متوسط F1 تجميعي (0.483)، متفوقاً على "لا استرجاع" (0.401) و"استرجاع دائم" (0.467).
توفير الفقرات: يقلل من الفقرات المسترجعة بنسبة 20.4% مقارنة بـ "الاسترجاع الدائم" (3.952 مقابل 4.966 فقرة لكل حالة).
تكلفة الرموز (Tokens): خلافاً لأهداف توفير الرموز، تزيد عملية المسبار الإضافية من إجمالي استخدام الرموز بنسبة 28.2% (1,539.8 مقابل 1,201.5 رمز لكل حالة). الطريقة هي موفرة للاسترجاع وليست موفرة للرموز.
التباين: التحسينات فوق "الاسترجاع الدائم" ليست موحدة. فبينما يتفوق توجيه الثقة على "الاسترجاع الدائم" في 16 من أصل 18 خلية (مجموعة بيانات-نموذج)، فإن الأهمية الإحصائية (بعد تصحيح Holm) محدودة بإعدادات معينة (مثل NQ–OpenAI، SQuAD–Claude). في بعض الحالات (مثل Gemini على 2Wiki)، يؤدي الاسترجاع إلى تدهور الأداء، والمنهج التكيفي يتجنب ذلك بنجاح.

3. التخصيص مقابل العشوائي (RQ3)

عند المطابقة في عدد الأسئلة الموجهة للاسترجاع، يتفوق BeyondUncertainty على التخصيص العشوائي في 17 من أصل 18 خلية (مجموعة بيانات-نموذج)، بمتوسط ربح قدره 0.024 F1. وهذا يؤكد أن إشارات الثقة تحدد بفعالية أي الأسئلة تستفيد من الأدلة، بدلاً من مجرد تقليل حجم الاسترجاع.

الأهمية والادعاءات

يدعي البحث بتواضع أن الثقة المعلنة لفظياً من الصندوق الأسود هي إشارة مفيدة لتخصيص الاسترجاع في ظل ظروف الإجابة على الأسئلة الخاضعة للرقابة، حتى وإن كانت ضعيفة المعايرة.

النتيجة الأساسية: نجحت الطريقة في تحسين تخصيص الأدلة الخارجية، مما قلل من الاسترجاع غير الضروري مع الحفاظ على جودة الإجابة أو تحسينها.
القيد الحرج: التنفيذ الحالي لا يحقق كفاءة الرموز (tokens) من البداية إلى النهاية. تكلفة مسبار الثقة الأولي تفوق توفير الرموز الناتج عن تخطي الاسترجاع في حالات الثقة العالية.
الفوارق السياقية: فعالية التوجيه تعتمد بشدة على النموذج. بالنسبة للنماذج ذات تشبع الثقة العالي (مثل OpenAI الذي يوجه أكثر من 95% من الاستعلامات)، تتضاءل الفائدة التكيفية، لتصبح مشابهة لـ "الاسترجاء الدائم".
الاتجاهات المستقبلية: يقترح المؤلفون أن ينصب التركيز في العمل المستقبلي على مقدرات ثقة أقل تكلفة، وضوابم عشوائية مطابقة لمسار التنفيذ، وبيئات استرجاع مفتوحة المصدر لتحقيق كفاءة حقيقية في الرموز.

تخلص الدراسة إلى أنه بينما يحسن BeyondUncertainty عملية اكتساب الأدلة، فإنه حالياً يقايض كفاءة الرموز الإجمالية بجودة إجابة أعلى وتقليل عبء الاسترجاع.