🤖 AI

Owen-Shapley Policy Optimization: A Principled RL Algorithm for Generative Search LLMs

تقدم هذه الورقة "تحسين سياسة أوين-شابلي" (OSPO)، وهو إطار عمل مبدئي للتعلم التعزيزي يعالج فجوة تخصيص الائتمان في نماذج اللغات الكبيرة للبحث التوليدي عن طريق إعادة توزيع المكافآت على مستوى التسلسل إلى رموز متماسكة دلاليًا باستخدام عزوات "شابلي-أوين"، مما يؤدي إلى تحسين الأداء والمتانة دون الحاجة إلى نماذج قيمة معلمية.

المؤلفون الأصليون: Abhijnan Nath, Alireza Bagheri Garakani, Tianchen Zhou, Fan Yang, Yan Gao, Nikhil Krishnaswamy

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Abhijnan Nath, Alireza Bagheri Garakani, Tianchen Zhou, Fan Yang, Yan Gao, Nikhil Krishnaswamy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تحسين سياسة أوزن-شابلي" (OSPO) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: خطأ "الدرجة الجماعية"

تخيل أنك معلم تقوم بتقييم مقال كتبه طالب. في الطريقة القديمة لتدريب الذكاء الاصطناوي (وتحديداً طريقة تسمى GRPO)، يكتفي المعلم بإعطاء الطالب درجة واحدة فقط في نهاية المقال.

السيناريو: يكتب الطالب فقرة طويلة. يقرأها المعلم ويقول: "عمل رائع! +10 نقاط".
العيب: لا يخبر المعلم الطالب أي الجمل هي التي استحقّت تلك النقاط. هل كانت الجملة الافتتاحية هي التي أنقذت الموقف؟ هل كانت الفقرة الوسطى؟ أم كانت الخاتمة؟
النتيجة: يعتقد الطالب أن كل كلمة كتبها كانت عبقرية بنفس القدر. قد يستمر في كتابة جمل طويلة ومملة لا تفيد، أو قد يحذف بالخطأ الجملة المثالية الوحيدة التي كتبها ظناً منه أنها لم تكن مهمة. إنه "يخمن" ما الذي نجح لأن لديه درجة واحدة للمجموعة كاملة، وليس لكل جزء على حدة.

في عالم مساعدي التسوق بالذكاء الاصطناعي، يعني هذا أن الذكاء الاصطناعي لا يعرف أي كلمات محددة في استعلام البحث الخاص به ساعدت بالفعل في العثور على المنتج الصحيح. هو يعرف فقط أن الاستعلام بأكمله حصل على تقييم "جيد" أو "سيئ".

الحل: OSPO (حاسبة "الحصة العادلة")

قدم المؤلفون طريقة جديدة تسمى OSPO. بدلاً من إعطاء المقال بأكمله درجة واحدة، يعمل OSPO كمحاسب فائق العدالة يقوم بتفكيك وتحديد مقدار مساهمة كل جملة بالضبط في الدرجة النهائية.

إنهم يستخدمون مفهوماً رياضياً من نظرية الألعاب يسمى قيم أوزن-شابلي (Owen-Shapley values). إليك التشبيه:

تخدّل مجموعة من الأصدقاء (الكلمات أو العبارات في جملة الذكاء الاصطناعي) يحاولون الفوز بجائزة (العثور على المنتج الصحيح).

التجربة: يجرب الذكاء الاصطناعي تركيبات مختلفة من هؤلاء الأصدقاء. أحياناً يرسل الصديق الأول فقط. وأحياناً يرسل أول صديقين. وأحياناً يرسل المجموعة كاملة.
القياس: في كل مرة ينضم فيها صديق جديد إلى المجموعة، يتحقق الذكاء الاصطناعي: "هل تحسنت الجائزة بسبب انضمام هذا الصديق تحديداً؟"
الحساب: إذا كانت عبارة "فستان أزرق" تجعل نتيجة البحث تقفز من "متوسط" إلى "مثالي"، فإن هذه العبارة تحصل على حصة كبيرة من الائتمان. أما إذا كانت عبارة "ممم، ربما" لا تغير أي شيء، فإنها تحصل على صفر من الائتمان.

هذا يشبه عشاء "البوتلاك" (وجبة يشارك فيها الجميع بطبق). إذا أحضرت طبق "كاسرول" لذيذاً جعل الحفلة بأكملها ناجحة، فستحصل على أكبر قدر من الثناء. أما إذا أحضرت وعاءً من البسكويت السادة الذي لا يلاحظه أحد، فلن يتم لومك، لكنك لن تحصل على أي ائتمان أيضاً. يحدد OSPO بالضبط من الذي أحضر طبق الكاسرول اللذيذ.

كيف يعمل في الواقع (التسوق)

لنفترض أنك قلت للذكاء الاصطناعي: "أحتاج إلى معطف أسود للشتاء."

الطريقة القديمة (GRPO): يولد الذكاء الاصطناعي جملة طويلة ومنمقة. يحصل على درجة جيدة لأنه وجد معطفاً. يفكر الذكنا الاصطناعي: "أنا بارع في كتابة الجمل الطويلة!" ويستمر في فعل ذلك، حتى لو لم يكن الطول مفيداً.
الطريقة الجديدة (OSPO): يقوم الذكاء الاصطناعي بتفكيك جملته إلى أجزاء: "أسود"، "معطف"، "شتاء"، "دافئ"، "سترة".
- يختبر: "ماذا لو قلت 'أسود' فقط؟" (نتيجة سيئة).
- يختبر: "ماذا لو قلت 'معطف أسود'؟" (نتيجة جيدة).
- يختبر: "ماذا لو قلت 'معطف أسود شتاء'؟" (نتيجة رائعة).
- الحكم: يدرك OSPO أن كلمة "شتاء" أضافت قيمة كبيرة، بينما كانت كلمة "سترة" مجرد ضجيج زائد. فهو يعطي الكلمات "الفائزة" المزيد من "النقاط" (تحديثات التدرج/gradient updates) ويخبر الذكاء الاصطناعي بالتركيز على تعلم كيفية استخدام كلمة "شتاء" بشكل أفضل، مع تجاهل الحشو الزائد.

لماذا هذا مهم؟

تعلم أسرع: بما أن الذكاء الاصطناعي يعرف بالضبط أي الكلمات نجحت، فإنه يتعلم بشكل أسرع بكثير. تُظهر الورقة أنه يصل إلى الأداء العالي في نصف الوقت الذي تستغرقه الطريقة القديمة تقريباً.
لا توجد "شفرات غش": أحياناً يصبح الذكاء الاصطناعي "ذكياً" بطريقة سيئة. قد يتعلم أن كتابة فقرة طويلة ومربكة تخدع النظام ليعطيه درجة عالية (وهذا ما يسمى "اختراق المكافأة" أو reward hacking). يمنع OSPO ذلك لأنه يفحص كل قطعة صغيرة؛ فإذا كانت الكلمات الإضافية لا تساعد فعلياً في العثور على المنتج، فلن تحصل على أي ائتمان، لذا يتوقف الذكاء الاصطناعي عن كتابتها.
يعمل بدون "ناقد": عادةً، لتقديم ملاحظات مفصلة، تحتاج إلى ذكاء اصطناعي ثانٍ ("ناقد") يراقب الأول. OSPO ذكي لأنه يستنتج توزيع الائتمان باستخدام نتائج البحث نفسها، لذا فهو لا يحتاج إلى ذلك الذكاء الاصطناعي الثاني المكلف.

لمسة "العمل الجماعي" (التحالفات)

تذكر الورقة أن الكلمات تعمل بشكل أفضل عندما تكون في تحالفات متصلة (كلمات بجانب بعضها البعض).

فكر في الأمر كسباق تتابع.

جيد: يتم تمرير العصا بسلاسة من العداء 1 إلى العداء 2 إلى العداء 3. إنهم يعملون كفريق.
سيء: إذا تخطيت العداء 2 ومررت العصا من 1 إلى 3، فإن الفريق ينهار.

ينظر OSPO فقط إلى الكلمات التي تقف بجانب بعضها البعض (مثل "معطف أسود") بدلاً من كلمات عشوائية مبعثرة عبر الجملة. هذا يحافظ على وضوح المعنى ويضمن أن يتعلم الذكاء الاصطناعي بناء عبارات منطقية ومتماسكة.

الملخص

OSPO هو طريقة أذكى لتدريب الذكاء الاصطناعي لمهام مثل توصيات التسوق. بدلاً من إعطاء الذكاء الاصطناعي درجة واحدة لإجابته الكاملة، فإنه يعمل كمحقق، يكتشف بالضبط أي الكلمات هي التي استحقّت المكافأة. يساعد هذا الذكاء الاصطناعي على التعلم بشكل أسرع، وتجنب كتابة كلام غير مفهوم لمجرد الحصول على النقاط، ويصبح أفضل بكثير في فهم ما تريد شراءه حقاً.

ملخص تقني: تحسين سياسة أون-شابلي (OSPO)

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في أنظمة التوصية التوليدية، حيث تقوم بتخليق تفضيلات المستخدم وتحسين استعلامات البحث لتكييف عمليات الاسترجاع والترتيب اللاحقة. وبينما تتيح طرق التعلم المعزز (RL) مثل "تحسين السياسة النسبي للمجموعة" (GRPO) التدريب دون نماذج قيم معلمية (parametric value models) باستخدام مكافآت تسلسلية نهائية (مثل NDCG من مسترجع)، إلا أنها تعاني من فجوة حرجة في تخصيص الائتمان (credit assignment gap).

في التعلم المعزز القياسي الخالي من نموذج القيمة، يتم تعيين ميزة (advantage) عددية واحدة بشكل موحد لجميع الرموز (tokens) في التسلسل المولد. هذا الأمر يحجب حقيقة أي العبارات أو الأجزاء الدلالية المحددة هي التي ساهمت فعليًا في المخرجات عالية الجودة. هذا القصور يكون حادًا بشكل خاص في مهام التوصية حيث يجب على النماذج استنتاج مقاصد المستخدم الكامنة من لغة غير محددة بدقة دون وجود تسميات (labels) حقيقية. علاوة على ذلك، يجعل تخصيص الائتمان الموحد النماذج عرضة لـ "اختطاف المكافأة" (reward hacking)، حيث يفرط النموذج في التكيف مع الإشارات السطحية أو يستغل الاختصارات في المسترجعات "الصندوق الأسود" بدلاً من تعلم تمثيلات استعلام قوية ومتماسكة دلاليًا. الحلول الحالية مثل نماذج مكافأة العمليات (PRMs) تتطلب خطوات وسيطة مصنفة، بينما غالبًا ما تخلط الطرق القائمة على الانتباه (attention-based) بين الارتباطات الزائفة.

المنهجية: تحسين سياسة أون-شابلي (OSPO)

يقدم المؤلفون OSPO، وهو إطار عمل يعيد توزيع الميزات على مستوى التسلسل بناءً على المساهمات الهامشية لقطاعات الرموز المتماسكة دلاليًا (التحالفات) للنتيجة النهائية. يعمل OSPO في نظام خالٍ من الناقد (critic-free)، ولا يتطلب شبكات قيمة خارجية.

الآلية الجوهرية

التقسيم والتحالفات: يتم تفكيك الاستجابات المولدة إلى $N$ من القطاعات ذات المعنى الدلالي (مثل العبارات أو الجمل). وبدلاً من تقييم جميع المجموعات الفرعية البالغ عددها $2^N$ (وهو أمر غير قابل للتطبيق)، يقيد OSPO التقييم بـ التحالفات المتصلة (القطاعات المتتالية). هذا يحافظ على التماسك الدلالي ويقلل التعقيد الحسابي من أسي إلى خطي $O(N \cdot w_{max})$ ، حيث $w_{max}$ هو أقصى عرض للتحالف.
إسناد أون-شابلي (Owen-Shapley Attribution): باستخدام نظرية الألعاب التعاونية، يحسب OSPO قيم أون (Owen values) لكل قطاع. قيمة $\phi_j$ للقطاع $j$ هي مساهمته الهامشية المتوقعة للمكافأة عند إضافته إلى تحالفات متصلة مختلفة $S$ :
$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$
هنا، $v(S)$ هي المكافأة التي يتم الحصول عليها عن طريق استعلام المسترجع (أو نموذج المكافأة) بالتسلسل الجزئي المكون من دمج قطاعات التحالف $S$ .
إعادة توزيع الميزة: يتم إعادة توزيع الميزة على مستوى التسلسل $\hat{A}^{(g)}$ (المحسوبة عبر التقييس النسبي للمجموعة في GRPO) إلى الرموز الفردية. تُحسب الميزة على مستوى الرمز $A_t^{(g)}$ كالتالي:
$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$
حيث $\tilde{\phi}_t$ هي قيمة أون المقيّسة للرمز، و $T$ هو طول التسلسل. تضمن عملية الضرب في $T$ ثبات الطول (length invariance)، مما يمنع التسلسلات الأطول من تلقي إشارات تدرج أضعف بشكل غير متناسب مقارنة بالتسلسلات الأقصر.
الهدف: يتم تحديث السياسة باستخدام هدف بديل مقيد (مشابه لـ PVO/GRPO) ولكن باستخدام هذه الميزات الموزونة بـ "أون" على مستوى الرموز.

المتغيرات

يُقيم البحث ثلاث استراتيجيات لإعادة التوزيع:

OSPO-PROP: إعادة توزيع تناسبي بناءً على قيم أون المقيّسة.
OSPO-RANK: يعيد التوزيع بناءً على الترتيب الترتيبي لقيم أون للتعامل مع التقديرات المشوبة بالضجيج.
OSPO-CLIP: يقيد الميزات المعاد توزيعها ضمن نطاق بناءً على مبرهنة تشيبيشيف لضمان الاستقرار.

المساهمات الرئيسية

تخصيص ائتمان مبدئي بدون نماذج قيمة: يجسّر OSPO الفجوة بين المكافآت النهائية المتفرقة وتحديثات الرموز دقيقة التفاصيل من خلال الاستفادة من قيم أون-شابلي، مما يلغي الحاجة إلى نقاد متعلمين أو نماذج مكافأة عمليات.
الدلالات القائمة على التحالف: من خلال معاملة العبارات المتماسكة دلاليًا كلاعبين في لعبة تحالف، يحدد OS-PO الأجزاء التي تقود المنفعة اللاحقة (مثل نجاح الاسترجاع)، مما يوفر تفسيرية أفضل من التخصيص الموحد.
الكفاءة والقابلية للتوسع: يجعل قيد التحالف المتصل حساب OSPO قابلاً للتطبيق في التدريب عبر الإنترنت، حيث يتوسع خطيًا مع عدد القطاعات، على عكس التقريبات التربيعية في الأعمال السابقة القائمة على شابلي.
المتانة تجاه تغير التوزيع: يتعلم النموذج تمثيلات استعلام مستقلة عن المسترجع وتعمم بشكل جيد على المسترجعات وفضاءات التضمين غير المرئية.

النتائج التجريبية

قام المؤلفون بتقييم OSPO على مجموعتي بيانات للتجارة الإلكترونية: Amazon ESCI (تحسين استعلام بحث المنتجات) و H&M Fashion (تلخيص سياق البحث وملفات تعريف المستخدم).

مكاسب الأداء: تفوق OSPO-PROP باستمرار على النماذج المرجعية (SFT, DPO, GRPO) في جميع المقاييس (NDCG, AP, MRR, Recall). في مجموعة بيانات ESCI، حقق نموذج OSPO-PROP (7B) درجة NDCG بلغت 0.522، متفوقًا على نموذج 32B (0.496) ونموذج 72B (0.543، رغم تراجع 72B في H&M). وفي H&M، وصل OSPO-PROP (7B) إلى 0.436 في NDCG، متفوقًا على GRPO (0.379) ومقتربًا من أداء GPT-4o (0.433) بجزء ضئيل من عدد المعلمات.
كفاءة العينات: وصل OSIFO إلى الأداء المستهدف في حوالي 50% خطوات تدريب أقل من GRPO.
التعميم: في تقييمات المسترجع المتقاطع (التدريب على نموذج تضمين واحد والاختبار على آخر)، حافظ OSPO على أداء قوي، بينما تدهور أداء GRPO والطرق غير المتصلة (DPO, SFT) بشكل كبير. يشير هذا إلى أن OSPO يتعلم إشارات محاذاة أكثر قابلية للنقل.
الاستقرار: أظهر OSPO تباينًا أقل في المكافأة وتجنب انهيار "اختطاف المكافأة" (مثل توليد تسلسلات فارغة أو دنيا) الذي لوحظ في GRPO خلال مراحل التدريب المتأخرة.
دراسات الاستبعاد (Ablation Studies): وجد المؤلفون أن التحالفات المتصلة ذات العرض المتوسط (مثل $w_{max}=4$ إلى $8$) مع أخذ عينات كافية توفر أفضل توازن بين السياق المحلي والاستكشاف. أدت التحالفات غير المتصلة إلى انهيار الأداء، بينما تسببت التحالفات الضيقة جدًا في الإفراط في التكيف مع الأنماط السطحية.

الأهمية والادعاءات

يزعم البحث أن OSPO يوفر نهجًا مبدئيًا خاليًا من الناقد لحل مشكلة تخصيص الائتمان في التوصية التوليدية. ومن خلال الانتقال من التوحيد على مستوى الرمز إلى الإسناد الهامشي على مستوى القطاع، يمكّن OSPO النماذج من تعلم لماذا كانت الاستجابة ناجحة، مع التركيز على تحديثات التدرج للوحدات الدلالية ذات المساهمة العالية.

يؤكد المؤلفون أن هذا النهج يسمح للنماذ الأصغر (مثل 7B) بمنافسة أو حتى تجاوز النماذج الأكبر بكثير (32B, 72B) ونماذج الصفر (zero-shot) الرائدة (GPT-4o) في مهام استرجاع محددة. علاوة على ذلك، فإن قدرة الطريقة على التعميم عبر مسترجعات وفضاءات تضمين غير مرئية تسلط الضوء على إمكانات استخدامها في بيئات التوصية الديناميكية حيث تكون التفضيلات الحقيقية كامنة والتغذية الراجعة متفرقة. يشير العمل إلى أن الإسنادات القائمة على التحالف تعمل كمنظم ذاتي، مما يعزز سلوكيات مستقرة، وقابلة للنقل، وقابلة للتفسير دون العبء الحسابي لتدريب دالات القيمة.