ملخص تقني: تخصيص وكلاء النماذج اللغوية الكبيرة باستخدام نماذج سياسات صغيرة

صياغة المشكلة

تتناول الورقة البحثية تحدي تخصيص وكلاء النماذج اللغوية الكبيرة (LLM) للمستخدمين الأفراد دون تعديل النموذج المضيف الأساسي. وبينما يمكن لوكلاء النماذج اللغوية الكبيرة استرجاع الذاكرة، واستدعاء الأدوات، وتعديل أساليب الاستجابة، إلا أن تكييف قرارات التنفيذ هذه مع تفضيلات مستخدم محدد يظل أمراً صعباً. تواجه الأساليب الحالية قيوداً كبيرة:

• الضبط الدقيق (Fine-tuning): تكييف معاملات النموذج لكل مستخدم عملية مكلفة حوسبياً، وغالباً ما تكون مستحيلة في الأنظمة المملوكة والمغلقة (black-box).
• المطالبات والذاكرة (Prompts and Memory): تعرض هذه الأساليب معلومات المستخدم للوكيل، لكنها لا تكيف سياسة التنفيذ الخاصة بالوكيل (مثل: متى يسأل أسئلة، ومتى يستخدم الأدوات) بناءً على التغذية الراجعة.
• التكيف أحادي الآلية: الطرق الحديثة التي تكيف مكوناً واحداً فقط (مثل استرجاع الذاكرة أو اختيار الأداة) تفشل في عزو إشارة تغذية راجعة عددية واحدة (رد فعل المستخدم تجاه التفاعل بأكمله) عبر الفضاء المشترك لقرارات التنفيذ.

الصعوبة الجوهرية تكمن في التغذية الراجعة المتفرقة (sparse feedback): حيث يلاحظ النظام نتيجة عددية واحدة فقط لمجموعة قرارات التنفيذ المحددة المختارة، بينما تظل أداء التوليفات البديلة غير ملاحظ. علاوة على ذلك، يجب على النظام احترام القيود الصارمة (مثل الأذونات، وقواعد السلامة) ومعاملة معلومات مرحلة التهيئة (onboarding) كأدلة سابقة قابلة للمراجعة وليس كقواعد ثابتة.

يصيغ المؤلفون هذا كـ مشكلة تعلم عبر الإنترنت (online learning problem) لسياسة تنفيذ لكل مستخدم فوق فضاء إجراءات مُجزأ، مقيدة بمجموعات جدوى خارجية، باستخدام التغذية الراجعة العددية الملاحظة للإجراء المختار فقط.

المنهجية: FABLE

يقترح المؤلفون FABLE (طبقة البانديت التكيفية المُجزأة للتنفيذ)، وهي طبقة سياسة خفيفة الوزن تعمل خارج وكيل المضيف الذي قد يكون مغلقاً. لا يتطلب FABLE الوصول إلى أوزان المضيف، أو تدرجاته، أو حالاته الخفية.

المكونات الرئيسية

1. فضاء الإجراءات المُجزأ (Factorized Action Space): يُعرَّف قرار التنفيذ $a$ كزوج مرتب $(m, \tau, s)$ يمثل وضع الذاكرة، ووضع الحصول على المعلومات، وسلوك الاستجابة. وبدلاً من تعلم سياسة فوق الفضاء المشترك الكامل (الذي يكون ضخماً من الناحية التوافقية)، يستخدم FABLE خريطة سمات مُجزأة $\phi(c, a)$. تتضمن هذه الخريطة التأثيرات الرئيسية لكل مكون والتفاعلات الثنائية، مما يسمح للتغذية الراجعة من إجراء مشترك واحد بتحديث التفضيلات للمكونات ذات الصلة (على سبيل المثال، عدم الرضا عن التوضيحات غير الضرورية يؤدي لتحديث تفضيل "طلب التوضيح" بغض النظر عن إعداد الذاكرة).

2. نموذج التفضيل المتبقي (Residual Preference Model): يتم نمذجة التغذية الراجعة المتوقعة كالتالي:
   $$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$$
   حيث $\bar{b}(c, a)$ هو درجة افتراضية معروفة ومحددة مسبقاً ناقص تكلفة تشغيلية، و $\theta^*$ يمثل التفضيل المتبقي الخاص بالمستخدم. يسمح هذا النهج للنظام بالاحتفاظ بالسلوك العام المفيد للمضيف مع تعلم انحراف المستخدم عنه فقط.

3. التهيئة القابلة للمراجعة (Revisable Onboarding): تُعامل تفضيلات المستخدم المقدمة أثناء التهيئة كأرصاد وهمية ذات دقة محدودة. وهي تعمل على تهيئة التوزيع اللاحق الغاوسي (Gaussian posterior) لـ $\theta$ ولكنها لا تثبت السياسة. ومع وصول التغذية الراجعة عبر الإنترنت، يتم تحديث التوزيع اللاحق، مما يسمح للنظام بمراجعة الافتراضات الأولية.

4. أخذ عينات تومبسونون المقيد بالجدوى (Feasibility-Constrained Thompson Sampling):

   • التصفية (Filtering): قبل الاختيار، يقوم مرشح خارجي بإزالة الإجراءات غير المقبولة بناءً على القيود الصارمة (الأذونات، توفر الأدوات).
   • أخذ العينات (Sampling): يقوم FABLE بأخذ عينة من معامل متبقي $\tilde{\theta}_t$ من التوزيع اللاحق الغاوسي الحالي (المُعاير بمعامل $\nu_t$) ويختار الإجراء $a_t$ الذي يعظم الدرجة المتوقعة ضمن مجموعة الجدوى المتاحة $A_t$.
   • التحديث (Update): بعد التنفيذ، تُستخدم التغذية الراجعة المتبقية لتحديث التوزيع اللاحق الغاوسي عبر تحديثات متصلة (conjugate updates).

5. قاعدة الترقية (Promotion Rule): يمكن كتابة التفضيلات المتعلمة في المضيف كقواعد مستمرة فقط إذا استبعد تسلسل الثقة الصالح في أي وقت القيمة صفر، مما يضمن ترقية التفضيلات ذات الدلالة الإحصائية فقط.

النتائج النظرية

تثبت الورقة ضمان ندرة مثالية قابلة للتنفيذ (feasible-oracle regret guarantee) لـ FABLE تحت نموذج تغذية راجعة متبقية خطي.

• حد الندرة (Regret Bound): مع مقياس أخذ عينات غاوسي مُعاير نظرياً $\nu_t = \sqrt{9d \log(t/\delta)}$، يحقق FABLE ندرة عالية الاحتمالية قدرها $\tilde{O}(d^{3/2}\sqrt{n})$ مقابل أفضل إجراء قابل للتنفيذ في كل جولة.
• القابلية للتمييز (Identifiability): يحدد المؤلفون أي اتجاهات التفضيل تظل قابلة للتمييز عندما تستبعد قيود الجدوى باستمرار إجراءات معينة، مشيرين إلى أن التفضيلات التي تتطلب مقارنات بين مكونات مستبعدة لا يمكن تعلمها من البيانات عبر الإنترنت وحدها.

التقييم التجريبي

تم تقييم FABLE على بروتوكول tau2-bench رباعي المجالات (الطيران، التجزئة، الاتصالات، المعرفة المصرفية) والذي يتضمن مهام استخدام أدوات قابلة للتنفيذ.

النتائج الرئيسية

• المكافأة الشخصية والمواءمة: حققت سياسة FABLE الكاملة أعلى مكافأة مخصصة ملحوظة وأعلى مواءمة للثرثرة الاصطناعية (synthetic verbosity alignment) بين جميع السياسات المختبرة. مقارنة بالخط المرجعي للمضيف، أظهرت مكاسب كبيرة في المكافأة المخصصة (+0.077) والمواءمة (+0.281) مع فترات ثقة 95% إيجابية.
• نجاح المهمة: تعادل FABLE مع المضيف المجمد في أعلى متوسط لنجاح المهمة. ومع ذلك، لم يكن التحسن عن المضيف ذا دلالة إحصائية (فترة الثقة 95% شملت الصفر). تشير الورقة إلى أن نجاح المهمة تباين حسب المجال (أقل في الطيران، تعادل في التجزئة، أعلى في الاتصالات والخدمات المصرفية).
• دراسات الاستبعاد (Ablation Studies):
  • التجزئة (Factorization): بمقارنة FABLE مع LinTS ذي الإجراء الكامل المسطح، وجد أن التجزئة حسنت المواءمة بشكل كبير، مما يدعم انتقال المعلومات عبر مكونات الإجراء.
  • التهيئة (Onboarding): أدى إزالة التهيئة إلى أكبر انخفاض في الأداء، مما يؤكد قيمة تهيئة إحداثيات المتبقي بالدليل السابق.
  • التكيف عبر الإنترنت (Online Adaptation): بمقارنة Fable الكامل مع نسخة "مجمدة" (بدون تحديثات عبر الإنترنت)، أظهر التكيف عبر الإنترنت تحسناً في المواءمة، رغم أن نجاح المهمة ظل متقارباً.
• اختبارات إضافية: أظهرت التجارب على PAHF (التحكم في الأجسام والتبضع عبر الإنترنت) و Math500 (الاستدلال المخصص) نتائج مختلطة. في التحكم في الأجسام، حقق FABLE (الكامل) مكافأة أقل (0.6214 مقابل 0.6470) ولكن نجاحاً أعلى (0.078 مقابل 0.052) من Fable (بدون تهيئة)، مما يشير إلى أن المنفعة النسبية للمكونات تختلف باختلاف البيئة. في التبضع عبر الإنترنت، تفوق FABLE (الكامل) على FABLE (بدون تهيئة) في كل من المكافأة والنجاح. في Math500، تعادل FABLE (الكامل) و FABLE (بدون تهيئة) في أعلى دقة، رغم أن FABLE (الكامل) كان لديه مواءمة أقل من خط المرجع "التفضيل المعروف".

الأهمية والادعاءات

تدعي الورقة أن FABLE يوفر إطاراً مبدئياً لتخصيص الوكلاء المغلقين وغير المتاحين عبر التعامل مع التحكم في التنفيذ كمسألة بانديت سياقية مقيدة. تكمن أهميته في:

1. فك الارتباط بين التخصيص وضبط النموذج: يتيح التكيف لكل مستخدم دون الحاجة لضبط أوزان الـ LLM المضيف، مما يجعله قابلاً للتطبيق في الأنظمة المملوكة.
2. التعامل مع التغذية الراجعة المشتركة المتفرقة: من خلال تجزئة فضاء الإجراءات ونمذجة التفضيلات المتبقية، يتعلم النظام بكفاءة من التغذية الراجعة العددية المتفرقة التي تقيم التفاعل بأكمله.
3. السلامة والقيود: يفرض النظام بصرامة قيود الجدوى الخارجية قبل الاستكشاف، مما يضمن عدم المساس بالسلامة والامتثال خلال عملية التعلم.
4. ادعاءات متواضعة: يذكر المؤلفون صراحة أنه بينما يحسن FABLE المقاييس الحساسة للتفضيلات (المكافأة والمواءمة) في سياقات محددة، فإن التجارب لا تثبت تحسناً ذا دلالة إحصائية في نجاح المهام العام أو مكاسب موحدة على مستوى النطاق؛ حيث إن ترتيب الأداء في PAHF تباين بشكل كبير بين البيئات وظروف الاستبعاد.

توضح هذه الدراسة أن طبقة سياسة خارجية صغيرة يمكنها تعلم التفضيلات والتكيف معها بفعالية، مما يسد الفجوة بين قدرات الوكيل الثابتة واحتياجات المستخدم الديناميكية.