🤖 machine learning

When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost

تقترح هذه الورقة إطار تقييم شامل وواعٍ بالميزانية لأنظمة التوليد المعزز بالاسترجاع النشط (Active RAG)، يعالج الخلط بين الدقة وميزانيات الاسترجاع من خلال تقديم حدود المنفعة، ومعايرة العتبات، ومقاييس تفكيك التكلفة، ليكشف أن الموجهات المتعلمة غالباً ما يكون أداؤها أدنى من النماذج المرجعية البسيطة وأن الاسترجاع قد يتسبب أحياناً في الضرر.

المؤلفون الأصليون: Pin Qian, Su Wang, Chong Peng, Junxian You, Lifei Liu, Haoran Yu, Yihang Chen, Xiaochong Jiang

نُشر 2026-07-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pin Qian, Su Wang, Chong Peng, Junxian You, Lifei Liu, Haoran Yu, Yihang Chen, Xiaochong Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما. تمتلك ذاكرة رائعة (عقلك)، ولكنك تدرك أحيانًا أنك نسيت تفصيلًا حاسمًا. أمامك خيار: إما التخمين بناءً على ما تتذكره، أو استهلاك الوقت والطاقة في الركض إلى المكتبة للعثور على الكتاب الصحيح. هذا هو المأزق اليومي لـ "المحققين من الذكاء الاصطناعي" المعاصرين، المعروفين بنماذج اللغات الكبيرة. لقد تم تدريب هذه النماذج على كميات هائلة من النصوص، لذا فهي تمتلك مكتبة داخلية ضخمة في "ذاكرتها البارامترية". ولكن عندما تواجه سؤالًا صعبًا، فإنها غالبًا ما تحتاج إلى البحث عن حقائق جديدة من قاعدة بيانات خارجية. تُسمى هذه العملية "التوليد المعزز بالاسترجاع"، أو RAG.

السؤال الكبير ليس فقط "كيف" نبحث عن الحقائق، بل "متى" نفعل ذلك. فإذا بحثت عن الحقائق لكل سؤال، ستضيع الوقت والمال. وإذا لم تبحث عنها أبدًا، فقد تخطئ في الإجابة. هذا هو عالم "الـ RAG النشط" (Active RAG)، حيث يحاول الذكاء الاصطناعي أن يكون ذكيًا في اتخاذ القرار: "هل أحتاج للتحقق من المكتبة الآن؟". التحدي يكمن في أن البحث عن الحقائق يكلف مالًا (قدرة حوسبية) ووقتًا. لذا، يريد الباحثون معرفة: هل يمكننا تعليم الذكاء الاصطناعي البحث عن الحقائق فقط عندما يساعد ذلك بالفعل، وكيف نضمن التزامه بميزانية صارمة؟

هذه الورقة البحثية، التي تحمل عنوان "متى يجب على الـ RAG النشط الاسترجاع؟"، تغوص في هذه المشكلة تحديدًا. يجادل المؤلفون بأن العديد من الاختبارات الحالية لهذه الأنظمة من الذكاء الاصطناعي مضللة لأنها لا تأخذ "الميزانية" في الاعتبار بشكل صحيح. وجدوا أن مجرد القول بأن "هذا النظام دقيق بنسبة 50%" ليس كافيًا إذا كان النظام يخمن بعشوائية أو يبحث عن الحقائق بشكل متكرر للغاية. بدلًا من ذلك، يقترحون طريقة جديدة لاختبار هذه الأنظمة تعامل قرار البحث عن الحقائق كأنها ميزانية مالية دقيقة.

اكتشف الباحثون أن البحث عن الحقائق ليس دائمًا أمرًا جيدًا. فأحيانًا، يؤدي العثور على كتاب إلى إرباك الذكاء الاصطناعي، مما يجعل التخمين الصحيح خاطئًا. هم يطلقون على هذا "ضرر الاسترجاع" (retrieval harm). وفي تجاربهم مع نماذج ذكاء اصطناعي مختلفة، وجدوا أنه بالنسبة لبعض الأسئلة، ساعد البحث عن الحقائق، ولكن بالنسبة لأسئلة أخرى، جعل الأمور أسوأ. الأمر يشبه المحقق الذي، عندما يُعطى دليلًا جديدًا، يحل القضية أسرًا أحيانًا، ولكنه يتشتت أحيانًا أخرى بسبب "خيط أحمر" (إشارة مضللة) ويخطئ الجاني الحقيقي.

اختبرت الورقة أيضًا "المحفزات" (triggers) المختلفة — وهي الإنذارات الداخلية التي يستخدمها الذكاء الاصطناعي لتقرير متى يركض إلى المكتبة. بعض المحفزات تتحقق من مدى عدم تأكد الذكاء الاصطناعي (اليقين)، بينما يتحقق البعض الآخر من مدى تعقيد السؤال. وجد المؤلفون أنه لا يوجد محفز واحد هو البطل المثالي. في الواقع، أظهرت الطرق البسيطة مثل التحقق من مدى عدم تأكد الذكاء الاصطناعي أنها غالبًا ما تؤدي أداءً يضاهي الأنظمة المعقدة التي تم تعلمها لتكون أكثر ذكاءً. ومع ذلك، كانت المفاجأة الحقيقية تتعلق بـ "المعايرة" (calibration). أظهر المؤلفون أنه حتى لو تم ضبط النظام للبحث عن الحقائق في 50% من الأسئلة، فإنه غالبًا ما ينتهي به الأمر بالقيام بذلك في 60% أو 70% من الحالات في الواقع. إنه يشبه ضبط منظم الحرارة (الثرموستات) على 70 درجة، لكن المنزل يسخن فعليًا ليصل إلى 75 درجة لأن المستشعر ليس معايرًا بدقة.

أخيرًا، نظر الفريق في التكلفة الحقيقية. أدركوا أن مجرد عدّ المرات التي بحث فيها الذكاء الاصطناعي عن حقيقة لا يخبر القصة كاملة. فبعض الطرق تتطلب من الذكاء الاصطناعي القيام بعمل إضافي قبل اتخاذ القرار بالبحث عن حقيقة، وهو ما يستهلك طاقة أكثر من غيرها. قاموا بمحاكاة هذه التكاليف ووجدوا أن النظام قد يبدو فعالًا لأنه يسترجع الحقائق كثيرًا، ولكن إذا كان جزء "اتخاذ القرار" ثقيلًا، فإنه في الواقع أكثر تكلفة من نظام أبسط.

باختًا، تشير الورقة إلى أننا بحاجة للتوقف عن مجرد النظر إلى النتيجة النهائية للذكاء الاصطناعي والبدم في النظر إلى الصورة الكاملة: كم مرة استخدم ميزانيته بالفعل، وكم مرة أضر بنفسه بالبحث عن الحقائق، وكم من الطاقة أنفق لاتخاذ قرار البحث. لم يجدوا مفتاحًا سحريًا يحل كل شيء، لكنهم قدموا خريطة أفضل للتنقل بين المقايضات بين الدقة والتكلفة والموثوقية.

ملخص تقني: متى يجب استرجاع المعلومات في نظام RAG النشط؟ تقييم مدرك للميزانية للجدوى، والمعايرة، والتكلفة

بيان المشكلة

تهدف أنظمة التوليد المعزز بالاسترجاع النشط (Active RAG) إلى اتخاذ قرار ديناميكي بشأن متى يتم استرجاع المعرفة الخارجية أثناء توليد النص. ومع ذلك، تعاني التقييمات الحالية غالبًا من "نقطة تشغيل غير محددة بدقة". قد يدعي نظامان امتلاك نفس ميزانية استخدام الأدلة (على سبيل المثال، 50%)، ومع ذلك يحققان معدلات استخدام فعلية مختلفة على البيانات المحجوزة للاختبار بسبب عدم تطابق المعايرة. وبناءً على ذلك، فإن الدقة الأعلى في أحد الأنظمة قد تعكس ببساطة ميزانية فعالة أكثر تساهلاً بدلاً من كونها سياسة استرجاع متفوقة. علاوة على ذلك، تخلط التقييمات القياسية بين ثلاثة أسئلة متميزة: جودة التصنيف (هل يرتب الدرجة الحالات المفيدة بشكل صحيح؟)، وموثوقية العتبة (هل تلبي العتبة المعايرة الميزانية المستهدفة في البيانات الجديدة؟)، والتكلفة الحقيقية للنشر (هل تترتب على آليات التحفيز المختلفة تكاليف حوسبة مختلفة؟).

المنهجية

يقترح المؤلفون إطار تقييم مدرك للميزانية يعيد صياغة الاسترجاع النشط كعملية تقدير للجدوى (Utility Estimation).

1. تعريف الجدوى

تُعرف الجدوى الصافية ( $u_i$ ) لاسترجاع الأدلة لمثال محدد بأنها التغير الهامشي في الصحة مقارنة بالإجابة بدون استرجاع:
$u_i = \text{correct}(a^R_i, y_i) - \text{correct}(a^0_i, y_i)$
حيث أن $u_i \in \{-1, 0, +1\}$ تمثل الاسترجاع الضار، أو المحايد، أو المفيد، على التوالي. هذا الصياغة تقر بأن الاسترجاع ليس مفيدًا دائمًا؛ بل يمكن أن يؤدي إلى تدهور الأداء.

2. بروتوكول التقييم: ثلاثة آفاق (Frontiers)

لفصل جودة التصنيف عن معايرة العتبة، يقدم البحث ثلاثة كائنات تقييم متميزة:

الأفق الدقيق (Exact Frontier): يقوم بترتيب الأمثلة المحجوزة حسب درجة الموجه (router score) ويسترجع أعلى $\lfloor \rho n \rfloor$ مثال عند ميزانية محددة $\rho$ . هذا يشخص جودة التصنيف تحت استخدام متطابق، ولكنه ليس عتبة قابلة للنشر.
الأفق القابل للنشر (Deployable Frontier): يختار عتبة على مجموعة تقسيم المعايرة ويطبقها دون تغيير على المدخلات المحجوزة. هذا يقيس انتقال العتبة ويسجل معدل الاستخدام الفعلي.
الأفق المتحفظ (Conservative Frontier): يستخدم عتبة أكثر صرامة يتم اختيارها مع هامش خطأ للعينات المحدودة (بناءً على حد من نوع DKW) لضمان تقليل انتهاكات الميزانية، مما يقيس تكلفة الدقة مقابل الالتزام الصارم بالميزانية.

3. محاسبة التكلفة

يميز الإطار بين معدل استخدام الأدلة وإجمالي تكلفة النشر. يقوم بتفكيك التكاليف بناءً على عائلة التحفيز (trigger family):

موجهات الاستعلام فقط (Query-only routers): تدفع تكلفة ميزة رخيصة قبل اتخاذ القرار.
موجهات عدم اليقين (Uncertainty routers): تستخدم عملية التوليد بدون استرجاع كحوسبة ما قبل القرار.
موجهات درجة الاسترجاع (Retrieval-score routers): تدفع مقابل "استرجاع تجريبي" قبل اتخاذ القرار.
الموجهات ذات الميزات الكاملة (Full-feature routers): تجمع بين التوليد والاسترجاع التجريبي.
هذا التفكيك يسمح بمحاكاة مكافئة للرموز (token-equivalent cost simulation) لتقييم ما إذا كان ميزانية أدلة معينة يعد مؤشرًا صالحًا للتكلفة الحوسبية الإجمالية.

4. الإعداد التجريبي

مجموعات البيانات: HotpotQA، و2WikiMultiHopQA، وMuSiQue.
النماذج: Qwen2.5-1.5B (أساسي)، وSmolLM2-1.7B، وGranite-3.1-2B.
الاسترجاع: BM25 على الفقرات المرشحة (إعداد متحكم به) ومجمعات مرشحة عالمية (إعداد أكثر ضجيجًا).
المحفزات التي تم تقييمها: نمط Adaptive-RAG (تعقيد الاستعلام)، والاعتلاج (Entropy)، وثقة الحد الأدنى للرموز (Minimum Token Confidence)، ودرجات BM25، وموجهات الجدوى الميزانية المتعلمة (BUR-linear و BUR-GBM).

النتائج الرئيسية

1. جدوى الاسترجاع غير متجانسة

الاسترجاع ليس تصاعديًا (monotonic). فبينما يحسن "الاسترجاع الدائم" الدقة في HotpotQA (من 15.4% إلى 43.4%)، فإنه يسبب ضررًا في 8.8% من الحالات في 2Wiki و4.0% في HotpotQA. وفي MuSiQue، يعد الاسترجاع ضروريًا ولكنه لا يزال يعطي دقة مطلقة منخفضة (11.9% مقابل 2.2% بدون استرجاع). تتفاوت توزيعات الجدوى بشكل كبير عبر مجموعات البيانات ومصادر الأدلة (مثل الاسترجاع العالمي مقابل استرجاع المرشحين).

2. جودة التصنيف مقابل المعايرة

التصنيف: لا توجد عائلة موجهات واحدة تهيمن باستمرار. في HotpotQA، تحقق موجهات BUR المتعلمة، والحد الأدنى لثقة الرموز، ونماذج الاعتلاج الأساسية دقة قابلة للنشر متشابهة (~33%) عند ميزانية 50%. غالبًا ما تضاهي النماذج الأساسية البسيطة الموجهات المتعلمة.
فشل المعايرة: العتبات الاسمية التي تمت معايرتها لميزانية مستهدفة بنسبة 50% تفشل كثيرًا في احترام تلك الميزانية في البيانات المحجوزة. في تجربة 2Wiki/Qwen، انتهكت 28.6% من تركيبات الموجه/التقسيم الميزانية المستهدفة؛ وفي HotpotQA، ارتفعت هذه النسبة إلى 65.7%.
المعايرة المتحفظة: تطبيق قاعدة عتبة متحفظة يقلل من انتهاكات الميزانية بشكل كبير ولكنه يتسبب في عقوبة على الدقة (على سبيل المثال، الانخفاض من 33.8% إلى 32.0% في HotpotQA).

3. متانة النموذج والأدلة

تستمر ظاهرة الجدوى غير التصاعدية وفشل المعايرة عبر عائلات النماذج (Qwen, SmolLM2, Granite). وبينما يتغير الموجه الأفضل تحديدًا عبر النماذج (مثل BUR-GBM لـ SmolLM2 مقابل BUR-linear لـ Qwen)، فإن بروتوكول تقييم الآفاق ينتقل بوضوح. بالإضافة إلى ذلك، فإن مصادر الأدلة الأكثر ضجيجًا (BM25 العالمي) تزيد من ضرر الاسترجاع وتغير تصنيفات الموجهات.

4. تأثير محاسبة التكلفة

استخدام الأدلة وحده هو مؤشر غير مكتمل للتكلفة. تظهر المحاكاة أن الموجهات التي تتطلب حوسبة ما قبل القرار (مثل BUR-linear الذي يستخدم الاسترجاع التجريبي) يمكن أن تكون أكثر تكلفة بكثير من موجهات الاستقتصار فقط، حتى لو حققت دقة مماثلة عند نفس ميزانية استخدام الأدلة.

الأهمية والادعاءات

يجادل البحث بأن RAG النشط يجب تقييمه كعملية اتخاذ قرار بميزانية محددة وليس كمجرد مشكلة دقة عند نقطة واحدة. يدعي المؤلفون أن:

التحول المنهجي: يجب أن تبلغ التقييمات المستقبلية عن الآفاق الدقيقة (جودة التصنيف)، والآفاق القابلة للنشر (انتقال العتبة)، والاستخدام الفعلي، وخطأ انتقال العتبة، ومعدلات الضرر، وتفكيك التكاليف جنبًا إلى جنب مع الدقة.
لا يوجد فائز عالمي: لا توجد عائلة موجهات "أفضل" واحدة؛ فالأداء يعتمد بشدة على مجموعة البيانات، والنموذج، وقيود الميزانية المحددة.
الضرر ليس مهملًا: يمكن للاسترجاع أن يضر بالأداء فعليًا، ويجب تدقيق ذلك، وليس فقط النظر في الفوائد.
المعايرة أمر بالغ الأهمية: الميزانية المستهدفة الاسمية ليست ميزانية مرصودة؛ يجب تقييم الأنظمة بناءً على قدرتها على الالتزام بالقيود في البيانات المستقبلية غير المرئية.

لا تقترح الدراسة موجهًا عالميًا جديدًا، بل تقدم بروتوكولًا صارمًا لمقارنة أنظمة RAG النشطة الحالية والمستقبلية عند نقاط تشغيل صريحة وقابلة لإعادة الإنتاج. ويظل المؤلفون متواضعين، مشيرين إلى أن تجاربهم تستخدم نماذج صغيرة واسترجاعًا قائمًا على المرشحين، مما يجعلها تشخيصات محكومة وليست تصنيفات نهائية لأنظمة النطاق المفتوح واسعة النطاق.