ملخص تقني: MAXSHAPLEY

بيان المشكلة

تعمل محركات البحث التوليدية، التي تستخدم النماذج اللغوية الكبيرة (LLMs) لاسترجاع المستندات وتوليد إجابات مباشرة، على زعزعة الهياكل التحفيزية التقليدية لمزودي المحتوى. فخلافاً للبحث التقليدي الذي يوجه المستخدمين إلى المواقع المصدرية، غالباً ما تقدم عمليات البحث التوليدي الإجابات داخل الواجهة نفسها، مما يقلل من حركة المرور والإيرادات لمبدعي المحتوى الأصليين. علاوة على ذلك، فإن الأساليب الحالية لنسب الإجابات المولدة إلى مصادر محددة غالباً ما تكون غير موثوقة، أو سهلة التلاعب، أو غامضة.

يتمثل التحدي الجوهري الذي يعالجه هذا البحث في تحديد آلية عادلة ومتوافقة مع الحوافز لنسب الفضل إلى مصادر المعلومات بناءً على مساهمتها في الإجابة المولدة. يجب أن يستوفي هذا النسب بديهيات العدالة القياسية (الكفاءة، التماثل، اللاعب الصفري، والجمعية) مع البقاء قابلاً للتنفيذ حاسوبياً في خطوط أنابيب البحث الحساسة لزمن الاستجابة. إن الحلول الحالية القائمة على قيمة شابلي (Shapley value)، وهي المعيار الذهبي للتوزيع العادل، غير قابلة للتنفيذ حاسوبياً في هذا السياق لأنها تتطلب عادةً تعداداً أسياً لمجموعات المصادر الفرعية أو تجارب استئصال متكررة، مما يؤدي إلى تكالوف tokens (وحدات نصية) وزمن استجابة باهظين.

المنهجية: MAXSHAPLEY

يقترح المؤلفون MAXSHAPLEY، وهو خوارزمية مبتكرة لحساب نسب الفضل العادل عبر نمذجة التفاعل بين المصادر المسترجعة والإجابة المولدة كـ "لعبة تعاونية". تعمل هذه الطريقة في بيئة "الصندوق الأسود" (black-back box)، حيث تتطلب فقط الاستعلام، والمصادر المسترجعة، والإجابة النهائية المولدة كمدخلات، دون الحاجة إلى الوصول إلى احتمالات أو الـ logits الداخلية للنموذج اللغوي الكبير المستخدم في البحث.

تتكون المنهجية من ثلاث مراحل رئيسية:

1. تفكيك النقاط الجوهرية (Keypoint Decomposition): يقوم نموذج لغوي للنسب ($\Psi_A$) بتفكيك الإجابة المولدة $a$ إلى مجموعة من $n$ من النقاط الجوهرية $P = \{p_1, \dots, p_n\}$ مع أوزان مرتبطة بها $w_j$.
2. تسجيل الدعم (Support Scoring): يقوم النموذج اللغوي للنسب بتقييم مدى دعم كل مصدر $s_i$ لكل نقطة جوهرية $p_j$، مما ينتج عنه درجة دعم $v_{i,j}$. تتطلب هذه الخطوة $n \times m$ من التقييمات (أو أقل عبر التجميع/batching)، حيث $m$ هو عدد المصادر.
3. منفعة المجموع-الأقصى (Max-Sum Utility) وحساب شابلي الدقيق:
   • يحدد المؤلفون دالة منفعة جديدة $U_{MAXSHAPLEY}$ تعتمد على هيكل المجموع-الأقصى (sum-max). بالنسبة لمجموعة فرعية من المصادر $I$، تكون المنفعة هي المجموع الموزون لـ الدرجة القصوى لكل نقطة جوهرية يوفرها أي مصدر في تلك المجموعة الفرعية:
     $$U_{MAXSHAPLEY}(I) = \sum_{j=1}^{n} w_j \cdot \max_{i \in I} v_{i,j}$$
   • تنمذج دالة المنفعة هذه الطبيعة التعاونية للمصادر (تقديم معلومات تكميلية) والطبيعة التنافسية للمعلومات المتداخلة (حيث يساهم أفضل مصدر لنقطة معينة فقط في المنفعة).
   • بشكل حاسم، يسم عملية حسابية تسمح بـ حساب قيمة شابلي الدقيقة في وقت حدودي (polynomial time). تنقسم هذه العملية إلى $n$ من "ألعاب الماكس" المستقلة. لكل نقطة جوهرية، يتم حساب قيم شابلي عن طريق فرز درجات الدعم وإجراء مسح خطي، وهي عملية ذات تعقيد $O(m \log m)$. وهذا يتجنب تكلفة $O(2^m)$ الناتجة عن البحث الشامل (brute-force) أو تباين العينات في تقريبات مونت كارلو.

المساهمات الرئيسية

1. الابتكار الخوارزمي: يقدم البحث MAXSHAPEY، وهي خوارزمية نسبة قائمة على شابلي مصممة خصيصاً للبحث التوليدي. توفر خوارزمية دقيقة وفعالة بتعقيد $O(m \log m)$ لمشكلة فرعية لـ "دالة الماكس" (max-function)، والمستمدة من فئة عامة من ألعاب التغطية.
2. كفاءة الصندوق الأسود: على عكس طرق نسبة السياق السابقة (مثل ContextCite و KernelSHAP) التي تعتمد على استئصال السياق المتكرر أو الوصول إلى احتمالية الـ log-likelihood، يتطلب MAXSHAPLEY فقط وصولاً لـ "صندوق أسود" إلى نموذج لغوي للنسب ويتجنب تجارب التوليد المتكررة.
3. التحقق التجريبي: أثبت المؤلفون أن MAXSHAPLEY يحقق جودة نسبة تضاهي حساب شابلي الدقيق (FullShapley) وتوافقاً قوياً مع التوصيفات البشرية.
4. الموارد المفتوحة: يطلق المؤلفون كوداً مفتوح المصدر، ومجموعات فرعية معاد توصيفها يدوياً من HotPotQA و MuSiQUE و MS-MARCO، وعرضاً توضيحياً تعليمياً.

النتائج التجريبية

قيم المؤلفون MAXSHAPLEY على ثلاث مجموعات بيانات للأسئلة والأجوبة متعددة الخطوات (multi-hop QA): HotPotQA و MuSiQUE و MS-MARCO.

• المفاضلة بين الكفاءة والجودة: يحقق MAXSHAPLEY مؤشر جاكارد (Jaccard index) قدره 0.88 على MuSiQUE (مما يجعله مقارباً لـ FullShapley) بينما يستخدم فقط 5.4% من الـ tokens المطلوبة من قبل FullShapley. مقارنة بـ KernelSHAP، وهو أقوى أساس مقارن لتقريب شابلي، يحقق MAXSHAPLEY توافقاً مماثلاً مع التوصيفات البشرية بإنفاق أقل من 7% من تكلفة الـ tokens.
• الارتباط بالحقيقة الأرضية (Ground Truth): يظهر MAXSHAPLEY ارتباطاً رتبوياً قوياً (Kendall's $\tau_b$) مع FullShapley في HotPotQA و MuSiQUE. وفي MS-MARCO، حقق ارتباطاً متوسطاً، وإن كانت جميع طرق شابلي قد أظهرت تراجعاً في هذه المجموعة، ويرجع ذلك على الأرجح إلى الطبيعة الأكثر ضجيجاً لمحتوى المصدر.
• الاستقرار: من خلال استخدام أحكام دلالية محلية (تسجيل درجات أزواج المصدر-النقطة الجوهرية) بدلاً من عمليات استئصال الإجابة الكاملة المتكررة، يقلل MAXSHAPLEY من عدم استقرار التسجيل الذي يُلاحظ غالباً في تقييمات "النموذج اللغوي كحكم" (LLM-as-a-judge)، حيث تتلقى الإجابات المتكافئة دلالياً درجات مختلفة بناءً على الصياغة أو ترتيب المصادر.
• القابلية للتوسع: ينمو استهلاك الـ tokens في MAXSHAPLEY بشكل خطي مع عدد المصادر، بينما يظهر KernelSHAP نمواً فوق خطي.

الأهمية والادعاءات

يزعم البحث أن MAXSHAPLEY يقدم مساراً عملياً نحو بحث توليدي متوافق مع الحوافز. ومن خلال توفير طريقة فعالة حاسوبياً، وتعمل بنظام الصندوق الأسود، وتنسب الفضل بشكل عادل، فإنه يعالج "حدث الانقراض" الذي يواجه مزودي المحتوى في عصر الإجابات المولدة بالذكاء الاصطناعي.

يضع المؤلفون عملهم كتطور ضروري في النظام البيئي، منتقلين من مزادات البحث الممولة (التي تفيد المعلنين لا المزودين الأصليين) إلى نموذج يمكن فيه تعويض مزودي المحتوى بناءً على مساهمتهم الفعلية في منفعة الإجابة المولدة. تلبي الطريقة المتطلبات البديهية للعدالة (قيم شابلي) مع التغلب على العوائق الحاسوبية التي جعلت مثل هذا النسب غير ممكن سابقاً في إعدادات البحث في الوقت الفعلي. ويظل المؤلفون متواضعين في طرحهم، مشيرين إلى أنه رغم قوة الطريقة، إلا أنها تعمل تحت فرضية الصندوق الأسود، وأن العمل المستقبلي يمكن أن يستكشف النسب "البيضاء" (white-box) أو دوال المنفعة التي تكافئ صراحةً الأدلة المؤيدة من مصادر مستقلة متعددة.