💻 computer science

Context Attribution with Multi-Armed Bandit Optimization

تقترح هذه الورقة إطار عمل جديدًا لعزو السياق في التوليد المعزز بالاسترجاع، والذي يصيغ المشكلة كمسألة "مقامر متعدد الأذرع توافقي"، مستخدمًا خوارزمية "ثومبسون الخطية" لتحديد أجزاء السياق المؤثرة بكفاءة مع تقليل استعلامات النموذج بنسبة تصل إلى 30% مع مطابقة أو تجاوز جودة العزو للطرق الحالية.

المؤلفون الأصليون: Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh Chawla

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh Chawla

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما. لديك خزانة ملفات ضخمة مليئة بآلاف الوثائق (السياق)، ولديك مساعد ذكي ولكن مرتبك أحياناً (الذكاء الاصطناعي) يكتب تقريراً بناءً على تلك الملفات.

مهمتك هي معرفة: أي الصفحات المحددة في خزانة الملفات تلك ساعدت المساعد فعلياً في كتابة التقرير؟

هذه هي مشكلة عزو السياق (Context Attribution). إذا ارتكب المساعد خطأً، فأنت بحاجة لمعرفة ما إذا كان ذلك بسبب صفحة سيئة معينة، أم أنه مجرد اختلق الأمور من خياله.

الطريقة القديمة: نهج "الرشاش" (Shotgun Approach)

تقليدياً، حاول الباحثون حل هذه المشكلة عبر لعب لعبة "ماذا لو؟":

"ماذا لو أزلنا الصفحة 1؟ هل سيتغير التقرير؟"
"ماذا لو أزلنا الصفحة 2؟ هل سيتغير التقرير؟"
"ماذا لو أزلنا الصفحة 3؟"

للحصول على إجابة جيدة، كان عليهم اختبار كل التشكيلات الممكنة من الصفحات تقريباً. إذا كان لديك 100 صفحة، فهناك مليارات التشكيلات. هذا يشبه محاولة العثور على إبرة في كومة قش عن طريق سحب كل قطعة قش واحدة تلو الأخرى. هذا يستغرق وقتاً طويلاً جداً، ويكلف الكثير من المال (لأن طلب إعادة كتابة التقرير من الذكاء الاصطناعي أمر مكلف)، وغالباً ما يكون مستحيلاً للوثائق الطويلة.

الطريقة الجديدة: CAMAB (المحقق الذكي)

تقدم الورقة البحثية طريقة جديدة تسمى CAMAB. بدلاً من اختبار الصفحات عشوائياً، فإنها تعامل المشكلة كأنها آلة حظ (Slot Machine) (أو "مقامر متعدد الأذرع" - Multi-Armed Bandit).

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. تشبيه آلة الحظ

تخيل أنك في كازينو به 100 آلة حظ (كل آلة تمثل صفحة نصية). لديك عدد محدود من العملات المعدنية (ميزانية) للعب.

الهدف: العثور على الآلات التي تدفع أكثر (الصفحات الأكثر أهمية لإجابة الذكاء الاصطناعي).
المشكلة: لا يمكنك لعب كل الآلات. يجب أن تكون ذكياً.

2. استراتيجية "المحقق الذكي" (Thompson Sampling)

تستخدم CAMAB استراتيجية ذكية تسمى Linear Thompson Sampling. فكر فيها كمحقق يتعلم أثناء عمله:

الجولة الأولى: يختار المحقق مجموعة عشوائية من الصفحات للاختبار.
الجولة الثانية: بناءً على النتائج، يفكر المحقق: "همم، يبدو أن الصفحتين 5 و12 كانتا مفيدتين حقاً. لنحاول تجربتهما مرة أخرى، ولكن ربما نخلطهما مع الصفحة 3 لنرى ما إذا كانت ستساعد أيضاً".
الجولة الثالثة: يتوقف المحقق عن إضاعة الوقت في الصفحات التي تبدو بوضوح غير مهمة ويركز بشدة على الصفحات التي تبدو وكأنها "الفائزة".

بدلاً من اختبار كل شيء، تتعلم CAMAB أي الصفحات مهمة بسرعة كبيرة وتتوقف عن إضاعة الوقت في الصفحات غير المجدية.

لماذا يعد هذا أمراً مهماً؟

إنها سريعة ورخيصة: لأنها تتوقف عن اختبار الصفحات غير المجدية مبكراً، فهي تستخدم عدد أسئلة (استعلامات) أقل بنسبة تصل إلى 30% للحصول على نفس الإجابة. في العالم الحقيقي، طرح سؤال على الذكاء الاصطناعي يكلف مالاً ووقتاً. توفير 30% هو أمر ضخم.
تعمل مع "الصندوق الأسود" للذكاء الاصطناعي: لا تحتاج لرؤية الدماغ الداخلي للذكاء الاصطناعي (والذي غالباً ما يكون مخفياً). تحتاج فقط لرؤية الإجابة النهائية ومدى ثقة الذكاء الاصطناعي في كلماته.
تكتشف "العمل الجماعي": أحياناً، لا تبدو الصفحتان منطقيتين إلا عند قراءتهما معاً. CAMAB ذكية بما يكفي لتلاحظ أن "الصفحة أ والصفحة ب تعملان جيداً معاً" حتى لو لم تبدوا مهمتين بمفردهما.

النتيجة

اختبر الباحثون هذه الطريقة على ثلاثة أنواع مختلفة من المهام (الإجابة على أسئلة عامة، تلخيص الأخبار، وإيجاد الحقائق بلغات مختلفة).

النتيجة: وجدت CAMAB الصفحات المهمة تماماً مثل الطرق القديمة والبطيئة، لكنها فعلت ذلك بسرعة أكبر بكثير وبـ محاولات أقل.
التشبيه: إذا كانت الطريقة القديمة تشبه قراءة كل كتاب في المكتبة للعثور على اقتباس واحد تحتاجه، فإن CAMAB تشبه وجود أمين مكتبة يعرف بالضبط أي رف يجب أن يذهب إليه، ويأخذ الكتاب المناسب، ويسلمه لك في ثوانٍ.

باخت-صريح (In a Nutshell)

CAMAB هي طريقة ذكية وفعالة لمعرفة ما يقرأه الذكاء الاصطناعي بالفعل. إنها تمنع الذكاء الاصطناعي من إضاعة الوقت في التخمين وتساعدنا على الثقة في إجاباته من خلال تحديد الحقائق التي استخدمها بالضبط لبناء قصته. إنه الفرق بين التخمين في الظلام واستخدام مصباح يدوي يزداد سطوعه كلما نظرت أكثر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نسب السياق باستخدام تحسين المخطط متعدد الأذرع" (CAMAB).

1. بيان المشكلة

في أنظمة التوليد المعزز بالاسترجاع (RAG)، غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs) بتوليد إجابات بناءً على سياقات خارجية مسترجعة. ومع ذلك، فإن ضمان كون هذه الإجابات مستندة حقًا إلى السياق المقدم أمر صعب، حيث تقع النماذج كثيرًا في فخ الهلوسة أو الاعتماد على معلومات غير مستندة إلى السياق.

التحدي الجوهري:

النسب (Attribution): تحديد أي أجزاء من السياق المسترجع (جمل أو فقرات) ساهمت بالضبط في توليد رمز (token) معين أو إجابة محددة.
التكلفة الحسابية: تعتمد طرق النسب اللاحقة الموجودة (مثل SHAP وLIME وContextCite) على نهج التغيير (perturbation-based). وهي تتطلب حجب أو إزالة أجزاء من السياق بشكل منهجي وإعادة استعلام النموذج لقياس التأثير على احتمالية المخرجات.
القابلية للتوسع: بالنسبة للسياقات الطويلة التي تحتوي على $N$ من الأجزاء، فإن عدد المجموعات الفرعية الممكنة هو أسي ( $2^N$ ). ويعد أخذ العينات الموحد أو الشامل أمرًا مستحيلاً من الناحية الحسابية، خاصة مع النماذج "الصندوق الأسود" (black-box) التي يتم الوصول إليها عبر واجهات برمجة التطبيقات (APIs) حيث تكون تكاليف الاستعلام وزمن الاستجابة مرتفعين.

2. المنهجية: إطار عمل CAMAB

يقترح المؤلفون إطار عمل CAMAB (نسب السياق باستخدام المخطط متعدد الأذرع)، وهو إطار يعيد صياغة نسبة السياق كمسألة مخطط متعدد الأذرع توافقي (Combinatorial Multi-Armed Bandit - CMAB) لتحسين كفاءة الاستعلام.

أ. صياغة المشكلة

الأذرع (Arms): يُعامل كل جزء من السياق $s_i$ كـ "ذراع".
الأفعال (الأذرع الفائقة - Super-arms): يتكون الفعل من اختيار مجموعة فرعية من الأجزاء $S \subseteq C$ .
المكافأة (Reward): تُعرف المكافأة $V(S)$ بأنها متوسط لوغاريتم احتمالية رموز الاستجابة الأصلية $R$ بشرط المجموعة الفرعية $S$ :
$V(S) = \frac{1}{T} \sum_{t=1}^{T} \log P_M(r_t | Q, S, r_{1:t-1})$
يقيس هذا مدى دعم المجموعة الفرعية $S$ لتوليد الإجابة الأصلية. تشير الاحتمالية اللوغاريتمية الأعلى إلى دعم أفضل.

ب. أخذ العينات بـ ثومبسون الخطي (Linear Thompson Sampling - LinTS)

للتنقل في الفضاء التوافقي بكفاءة دون بحث شامل، يستخدم CAMAB أخذ عينات ثومبسون الخطي:

الافتراض الخطي: يتم نمذجة المكافأة كدالة خطية للأجزاء المدرجة في المجموعة الفرعية:
$V(S) = \mathbf{w}^\top \mathbf{x} + \epsilon$
حيث $\mathbf{x}$ هو متجه ثنائي يشير إلى تضمين الجزء، ويمثل $\mathbf{w}$ أوزان المساهمة الكامنة لكل جزء.
الاستدلال البايزي: تحافظ الخوارزمية على توزيع خلفي (posterior distribution) لمتجه الأوزان $\mathbf{w}$ . وتستخدم مصفوفة الدقة $B_t$ لتتبع الارتباطات بين الأجزاء.
الاستكشاف التكيفي:
- في كل جولة $t$ ، تقوم الخوارزمية بأخذ عينة لمتجه أوزان $\tilde{\mathbf{w}}^{(t)}$ من التوزيع الخلفي الحالي.
- تقوم بإنشاء مجموعة فرعية $S_t$ عن طريق تضمين جميع الأجزاء حيث $\tilde{w}_j > 0$ .
- تستعلم من النموذج اللغوي الكبير باستخدام $S_t$ لمراقبة المكافأة وتحديث التوزيع الخلفي.
نمذجة التفاعل الضمني: على الرغم من أن النموذج يفترض الخطية، إلا أن مصفوفة الدقة $B_t$ تلتقط ضمنيًا التفاعلات (التآزر) بين الأجزاء من خلال الارتباطات خارج القطر، مما يسم يسمح للنموذج بتعلم أن بعض الأجزاء تعمل بشكل أفضل معًا دون نمذجة غير خطية صريحة.

ج. المخرجات

بعد ميزانية استعلام ثابتة ( $T_{max}$ )، تعمل أوزان المتوسط الخلفي $\hat{\mathbf{w}}$ كدرجات النسب النهائية. يتم ترتيب الأجزاء حسب هذه الدرجات لتحديد السياق الأكثر تأثيرًا.

3. المساهمات الرئيسية

صياغة مبتكرة: أول عمل يصيغ نسبة السياق على مستوى الجزء كمسألة مخطط متعدد الأذرع توافقي.
خوارزمية فعالة: تقديم CAMAB، الذي يستخدم أخذ عينات ثومبسون الخطي لاستكشاف فضاء المجموعات الفرعية للسياق بشكل تكيفي، مما يقلل بشكل كبير من عدد استعلامات النموذج مقارنة بأخذ العينات الموحد.
التوافق مع الصندوق الأسود: تعتمد الطريقة فقط على لوغاريتم احتمالية الرموز (المتاحة عبر معظم واجهات برمجة التطبيقات التجارية)، مما يجعلها قابلة للتطبيق على كل من النماذج مفتوحة المصدر والخاصة "الصندوق الأسود" دون الحاجة إلى الوصول إلى التفاصيل الداخلية للنموذج (التدرجات/اللوجيت).
التقاط التفاعل الضمني: توضح أن مصفوفة الدقة في LinTS يمكنها التقاط تبعيات الأجز والقدرة على الإحلال ضمنيًا، مما يتغلب على قيود الافتراضات الخطية البسيطة.

4. النتائج التجريبية

قيم المؤلفون CAMAB على ثلاثة اختبارات متنوعة (HotpotQA و CNN/DailyMail و TyDi QA) باستخدام LLaMA-3.1-8B و Qwen2.5-7B.

كفاءة الاستعلام: يحقق CAMAB انخفاضًا يصل إلى 30% في استعلامات النموذج مقارنة بالطرق الموجودة مع مطابقة أدائها أو تجاوزها.
- في مهام البحث عن المعلومات (HotpotQA، TyDi QA)، غالبًا ما يتفوق CAMAB عند ميزانية $s=40$ على SHAP عند ميزانية $s=60$ .
- يقترب CAMAB من الأداء الأمثل بسرعة أكبر بكثير من SHAP أو ContextCite.
جودة النسب:
- انخفاض لوغاريتم الاحتمالية: يحقق CAMAB باستمرار انخفاضات أعلى عند إزالة الأجزاء ذات التصنيف الأعلى، مما يشير إلى أنه يحدد الأدلة الحرجة بشكل صحيح.
- درجة BERTScore: يحقق CAMAB درجة BERTScore أقل (اتساق دلالي أفضل) عند إزالة الأجزاء المنسوبة، مما يؤكد الدقة العالية.
- المواءمة مع الحقائق الذهبية: في HotpotQA، يتفوق CAMAB على SHAP في درجات Precision@1 و F1 عند مقارنته بالحقائق الداعمة الموثقة بشريًا.
المتانة: تظل الطريقة فعالة حتى في ظل ميزانيات ضيقة للغاية ( $s=20$ )، حيث يتدهور أداء SHAP بشكل كبير.

5. الأهمية والأثر

القابلية للتوسع لـ RAG: يوفر CAMAB حلاً قابلًا للتوسع لتفسير أنظمة RAG في البيئات محدودة الموارد (مثل استدعاءات API عالية التكلفة أو التطبيقات في الوقت الفعلي).
الموثوقية: من خلال تحديد أجزاء السياق المحددة المسؤولة عن الإجابة بكفاءة، فإنه يعزز قابلية التفسير والموثوقية للنماذج اللغوية الكبيرة، مما يساعد في اكتشاف الهلوسة.
العملية: على عكس الطرق التي تتطلب الوصول الكامل إلى اللوجيت (logits) أو موارد حسابية هائلة، تم تصميم CAMAB لواقع "الصندوق الأسود" لنشر النماذج اللغوية الكبيرة الحديثة، مما يجعله قابلًا للتطبيق الفوري في الأنظمة التجارية.

القيود: تفترض الطة هيكل مكافأة خطي (رغم التقاط التفاعلات ضمنيًا) وتتطلب الوصول إلى لوغاريتم احتمالية الرمونات، وهو أمر غير متوفر عالميًا من جميع مزودي واجهات برمجة التطبيقات. في السيناريوهات التي لا توجد فيها قيود على الميزانية، قد تعطي الطرق الشاملة التقليدية نتائج أكثر منطقية قليلاً.