ملخص تقني: SAPO (تحسين السياسة المتوافق مع الخطوات)

1. بيان المشكلة

تعامل التوصية التوليدية التنبؤ بالعنصر التالي كمهمة توليد ذاتية الانحدار (autoregressive generation)، حيث يتم ترميز العناصر كمعرفات دلالية (SIDs)—وهي تسلسلات رمزية (tokens) قصيرة من الخشن إلى الناعم (على سبيل المثال، $K=3$ مستويات) ناتجة عن مكمم متجه هرمي. تقوم النهج الحديثة بتعزيز هذه الأنظمة عبر مسارات استدلال صريحة (كتل التفكير/thinking blocks) وتحسينها باستخدام التعلم المعزز من المكافآت القابلة للتحقق (RLVR)، وعادةً ما تستخدم تحسين المجموعة النسبي (GRPO) مع تغذية راجعة للمكافأة الناتجة (outcome-reward).

تتمثل المشكلة الجوهرية المحددة في عدم التوافق في دقة العمليات (action granularity) بين إشارة المكافأة الناتجة وطبيعة فك ترميز الـ SID المهيكلة:

• التغذية الراجعة الخشنة على مستوى المسار (Rollout-Level Feedback): يخصص نظام GRPO التقليدي القائم على المكافأة الناتجة قيمة عددية واحدة (مؤشر المطابقة التامة) للاستجابة المولدة بالكامل. وهو يتحقق فقط مما إذا كان زوج الـ SID المولد يطابق الحقيقة الأرضية (ground truth).
• البنية الدقيقة (Fine-Grained Structure): في كتالوجات المنتجات الضخمة، قد يتطابق زوج الـ SID المولد جزئيًا (على سبيل المثال، رموز المستوى الخشن صحيحة ولكن رموز المستوى الناعم غير صحيحة). يفشل التعلم المعزز القائم على المكافأة الناتجة في التمييز بين "الخطأ الوشيك" (بادئة صحيحة، لاحقة خاطئة) وبين "الفشل الكلي" (بادئة خاطئة).
• العواقب: يؤدي هذا عدم التوافق إلى نمطي فشل:
  1. معاقبة الخطوات الصحيحة: يتم معاقبة مواضع رموز الـ SID المتطابقة جنباً إلى جنب مع المواضع غير المتطابقة لأن الميزة (advantage) العددية تُبث إلى التسلسل بأكمله.
  2. فقدان التحديد الموضعي (Loss of Localization): لا تستطيع الميزة العددية عزل أي خطوة استدلال محددة أو تنبؤ برمز SID تسبب في الخطأ. يؤدي هذا إلى عدم استقرار ديناميكيات التدريب، وانحراف الطول، وتدهور التنسيق، خاصة عندما تكون التغذية الراجعة للمطابقة التامة شحيحة.

2. المنهجية: SAPO

يقترح المؤلفون SAPO (تحسين السياسة المتوافق مع الخطوات)، وهو طريقة للتعلم المعزز تعمل على مواءمة وحدة تخصيص الائتمان (credit assignment) مع التفكيك الطبيعي لعملية فك ترميز الـ SID.

التصميم الجوهري: خطوة الاستدلال

يعرّف SAPO خطوة الاستدلال بأنها اقتران كتلة تفكير واحدة (مسار الاستدلال) مع رمز الـ SID المقابل لها. بالنسبة لتسلسل هرمي من المستوى $K$، تتكون الاستجابة من $K$ من هذه الخطوات: $(\tau^{(k)}, s^{(k)})$، حيث $\tau^{(k)}$ هي كتلة التفكير رقم $k$، و $s^{(k)}$ هو رمز الـ SID رقم $k$.

المكونات الرئيسية

1. مكافأة مطابقة خطوة الاستدلال:
   بدلاً من مكافأة واحدة في نهاية المسار، يخصص SAPO مكافأة $r_{i,k}$ لكل خطوة استدلال $k$.
   $$r_{i,k} = \alpha \cdot \mathbb{I}[s^{(k)}_i = s^{(k)}_{gt}] + \beta \cdot \mathbb{I}[k=K] \cdot b_i$$
   حيث يوفر الحد الأول إشارة مطابقة كثيفة وقابلة للتحقق لكل موضع لرمز الـ SID، بينما يوفر الحد الثاني مكافأة تنسيق صغيرة للخطوة النهائية إذا كان هيكل الاستجابة صالحاً. هذا يحافظ على المثالية للمطابقة التامة مع توفير إشراف أكثر كثافة.

2. الميزة النسبية للمجموعة على مستوى الخطوة:
   يحسب SAPO الميزة $\hat{A}_{i,k}$ بشكل مستقل لكل خطوة استدلال $k$ ضمن مجموعة من $G$ من المسارات:
   $$\hat{A}_{i,k} = \frac{r_{i,k} - \text{mean}_{i'}(r_{i',k})}{\text{std}_{i'}(r_{i',k})}$$
   يضمن هذا أن المسارات التي تختلف فقط عند مستوى معين من الـ SID تتلقى إشارة تحديث تباينية عند تلك الخطوة فقط، بدلاً من بث إشارة عالمية.

3. الوكيل المتوافق مع الخطوات مع تجميع الرموز المتوافق مع الخطوة:
   يتم تحسين هدف تدرج السياسة عبر خطوات الاستدلال. يتم تطبيع الميزة بواسطة طول وحدة الخطوة ($|y^{(k)}_i| = |\tau^{(k)}| + 1$) قبل تطبيقها على الرموز داخل تلك الخطوة:
   $$J_{SAPO}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_\ell|} \sum_{i} \sum_{k} \sum_{t \in y^{(k)}_i} \min \left( w_{i,t}(\theta) \tilde{A}_{i,k}, \text{clip}(\dots) \tilde{A}_{i,k} \right) \right]$$
   حيث $\tilde{A}_{i,k} = \hat{A}_{i,k} / |y^{(k)}_i|$. هذا يمنع كتل الاستدلال الطويلة من الهيمنة على حجم تحديث التدرج.

3. المساهمات الرئيسية

• تحديد عدم التوافق في الدقة: يحدد البحث أن التعلم المعزز القائم على المكافأة الناتجة غير متوافق مع فك ترميز الـ SID الهرمي لأنه يعامل المسار بأكمله كوحدة إجراء واحدة، مما يحجب تحديد أي تنبؤات للرموز تسببت في الأخطاء.
• خوارزمية SAPO: طريقة تعلم معزز مبتكرة تعامل زوج (كتلة التفكير، رمز الـ SID) كوحدة إجراء ذرية. وهي تشتق مكافأة مطابقة لكل خطوة، وميزة نسبية للمجموعة على مستوى الخطوة، وخسارة وكيل متوافقة مع الخطوات دون الحاجة إلى نموذج مكافأة متعلم.
• الاتساق النظري: يثبت المؤلفون أن مكافأة المطابقة التراكمية لكل خطوة تحافظ على المثالية للمطابقة التامة تحت شروط القابلية للتحقيق، مما يضمن أن الإشراف الأكثر كثافة لا يغير الهدف الأساسي.
• التحقق التجريبي: أظهرت التجارب المكثفة على ثلاثة مجموعات بيانات حقيقية من أمازون (منتجات المكتب، ألعاب الفيديو، الصناعة والعلوم) أن SAPO يعمل على استقرار تدريب التعلم المعزز وتحسين مقاييس الترتيب (Recall و NDCG) مقارنة بنماذج المكافأة الناتجة.

4. النتائج التجريبية

• الأداء: يتفوق SAPO باستمرار على النماذج المرجعية للتوصية التوليدية الحالية، بما في ذلك النماذج التسلسلية التقليدية (SASRec, GRU4Rec)، والنماذج التوليدية غير القائمة على الاستدلال (TIGER, HSTU)، والنماذج القائمة على الاستدلال التي تستخدم التعلم المعزز بالمكافأة الناتجة (SIDReasoner, OneRec-Think).
  • حقق SAPO أفضل قيم NDCG في جميع الأعمدة في جدول النتائج الرئيسي.
  • كانت التحسينات أكثر وضوحاً في الإعدادات التي تكون فيها التغذية الراجعة للمطابقة التامة شحيحة، مما يجعل تخصيص الائتمان الدقيق أمراً حاسماً.
• ديناميكيات التدريب:
  • الاستقرار: يُظهر SAPO مسارات مكافأة أكثر استقراراً ويمنع انهيار المكافأة والتذبذب الملاحظ في GRPO.
  • التحكم في الطول: على عكس GRPO، الذي غالباً ما يعاني من انحراف طول الاستجابة ونمو تباعد KL، يحافظ SAPO على ميزانيات استدلال وأطوال خطوات محكومة.
  • معدل مطابقة الـ SID: يُظهر SAPO ارتباطاً أقوى بين تقدم التدريب ودقة التنبؤ برمز الـ SID الفعلي.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة كل من الميزة لكل خطوة أو مكافأة المطابقة لكل خطوة إلى تدهور الأداء، مما يشير إلى أن كلا المكونين متكاملان. تكوين SAPO الكامل ضروري لتحقيق كل من الاستقرار وجودة الترتيب العالية.
• دراسات الحالة: يظهر التحليل النوعي أن SAPO يحافظ على الأدلة الدقيقة (مثل ميزات المنتج المحددة مثل "التحكم في محرك الخطوة") التي غالباً ما تمحو نماذج المكافأة الناتجة في استدلال عام، مما يؤدي إلى تنبؤات أكثر دقة لـ SID.

5. الأهمية والادعاءات

يدعي البحث أن أهداف التعلم المعزز للتوليد المهيكل يجب أن تحاكي التفكيك الخاص بالمفكك (decoder) نفسه.

• القابلية للتعميم: يقترح المؤلفون أنه كلما سمحت مهمة التوليد بتفكيك هرمي طبيعي (مثل دفاتر الأكواد، مخططات استدعاء الأدوات، الإجابات المهيكلة)، يمكن لهذا الهيكل أن يكون مصدراً أساسياً للإشراف لكل خطوة في التعلم المعزز، مما يلغي الحاجة إلى نماذج مكافأة متعلمة.
• الكفاءة: يحقق SAPO هذه المكاسب دون عبء حسابي كبير؛ حيث أن وقت حساب المكافأة والميزة الإضافي ضئيل جداً (أقل من 1% من خطوة التحديث).
• النطاق المحدود: يقر المؤلفون بالقيود، مشيرين إلى أن تقييمهم يقتقى حالياً بـ ثلاثة تصنيفات إنجليزية من أمازون مع هيكل SID ثابت بمستوى $K=3$. هم لا يدعون التفوق العالمي بل يسلطون الضوء على أن نهجهم يعالج تحديداً أنماط فشل تخصيص الائتمان المتأصلة في التعلم المعزز القائم على المكافأة الناتجة لتوليد الرموز الهرمية.