Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تجزئة المكافأة التباينية الواعية باليقين عبر القواعد التفضيلية الاحتمالية لتخصيص النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تتناول الورقة تحدي تخصيص النماذج اللغوية الكبيرة (LLMs) لتناسب التفضيلات البشرية المتنوعة. وبينما يعمل التعلم المعزز من التغذية الراجعة البشرية (RLHF) على مواءمة النماذج مع القيم البشرية العامة، فإنه غالبًا ما ينهار نحو "متوسط" المستخدم، مما يؤدي إلى الفشل في التقاط الفروق الفردية الدقيقة.

تحاول طرق تجزئة المكافأة (Reward Factorization) الحالية حل هذه المشكلة عن طريق تفكيك دالة مكافأة المستخدم $r_u$ إلى دوال أساس مشتركة $\phi$ وأوزان خاصة بالمستخدم $w_u$ (أي $r_u = w_u^\top \phi$). ومع ذلك، حدد المؤلفون قصورين جوهريين في النهج الحالي:

1. نمذجة التفضيلات المنعزلة (C1): تحاول الطرق الحالية تقدير أوزان المستخدم بشكل منعزل. وهذا يفشل في الاستفادة من أنماط التفضيل المشتركة عبر مجتمع المستخدمين، مما يؤدي إلى تقديرات غير دقيقة للمستخدمين الذين لديهم بيانات شحيحة (سيناريوهات البيانات القليلة - few-shot).
2. التقديرات النقطية الحتمية (C2): تعامل الطرق الحالية أوزان المستخدم كنقاط حتمية. وهذا يتجاهل اليقين (Uncertainty) المتأصل في تفضيلات المستخدم الناتج عن ندرة البيانات أو الأذواق المتنوعة. وبناءً على ذلك، لا يمكن للنموذج التمييز بين التفضيل الواثق (سجل متسق) والتفضيل غير المؤكد (سجل متفرق أو متنوع)، مما يؤدي إلى استنتاج غير موثوق.

2. المنهجية: تجزئة المكافأة التباينية (VRF)

يقترح المؤلفون إطار عمل VRF، الذي يمثل تفضيلات المستخدم كـ توزيعات تباينية (Variational Distributions) ضمن مساحة احتمالية مشتركة بدلاً من النقاط الحتمية. يتكون الإطار من أربعة مكونات رئيسية:

أ. ترميز تفضيلات المستخدم التبايني

بدلاً من متجه أوزان واحد، يستنتج VRF تفضيل المستخدم كتوزيع غاوسي $q_u = \mathcal{N}(\mu_u, \text{diag}(\sigma_u^2))$ من مجموعة مرجعية صغيرة من التغذية الراجعة الثنائية ($C_u$).

• الترميز الثنائي: يقوم مشفر عصبي بمعالجة كل ثلاثية $(x, y^+, y^-)$ لإنتاج معاملات غاوس.
• التجميع عبر حاصل ضرب التوزيعات الغاوسية: يتم تجميع التوزيعات الغاوسية الفردية من المجموعة المرجعية في توزيع مستخدم واحد باستخدام حاصل ضرب التوزيعات الغاوسية (Product of Gaussians). وتسمح هذه الطريقة بوزن الملاحظات بناءً على دقتها ($\sigma^{-2}$)، مما يسمح للنموذج بتقليل عدم اليقين ($\sigma_u$) بشكل طبيعي مع توفر المزيد من البيانات.

ب. قواعد التفضيل الاحتمالية

يقدم VRF عدد $K$ من قواعد التفضيل الاحتمالية المشتركة $P = \{p_k\}$، حيث تكون كل $p_k$ أيضًا توزيعًا غاوسيًا $\mathcal{N}(\mu_k, \text{diag}(\sigma_k^2))$.

• تمثل هذه القواعد أساليب تفضيل متميزة (مثل: "موجز"، "متعاطف"، "رسمي").
• تقوم بتشفير الأنماط على مستوى المجتمع، مما يسمح للمستخدمين ذوي البيانات الشحيحة بالاستفادة من الإشارات الجماعية.

ج. المطابقة الواعية باليقين (اشتقاق الأوزان)

يتم اشتقاق أوزان المستخدم $w_u$ عن طريق مطابقة توزيع المستخدم $q_u$ مع قواعد التفضيل $p_k$ باستخدام مسافة وارس un (2-Wasserstein distance - $W_2$) المربعة.

• تأخذ مسافة $W_2$ في الاعتبار كلاً من الموقع ($\mu$) وعدم اليقين ($\sigma$) للتوزيعات.
• تُحسب الأوزان عبر دالة softmax فوق المسافات:
  $$w_{u,k} \propto \exp(-W_2(q_u, p_k)^2 / \tau_d)$$
• ينتج عن ذلك "تعيين ناعم" يعكس حالة عدم اليقين: إذا كان توزيع المستخدم واسعًا (عدم يقين عالٍ)، يصبح التعيين للقواعد أكثر انتشارًا.

د. أهداف التدريب

يجمع فقدان التدريب بين ثلاثة حدود لضمان التعلم القوي:

1. فقدان برادلي-تيوري المخفف بالتباين ($L_{VBT}$): يستبدل فرق المكافأة القياسي بتوزيع غاوسي. تعمل دالة الفقد على تغيير حجم التدرج تكيفيًا بناءً على تباين تقدير المكافأة؛ حيث يعمل عدم اليقين العالي (التباين الكبير) على تخفيف التدرج، مما يمنع النموذج من الإفراط في التخصيص (overfitting) للإشارات الضوضائية أو الغامضة.
2. فقدان الفصل ($L_{SEP}$): يعظم مسافة وارس بين قواعد التفضيل المختلفة لضمان التقاطها لأساليب متميزة.
3. فقدان التنظيم ($L_{REG}$): ينظم توزيعات المستخدم لتكون ضمن مساحة التفضيل المتعلمة باستخدام نموذج سابق (prior) مكون من خليط من التوزيعات الغاوسية (Mixture-of-Gaussians).

هـ. الاستنتاج (Inference)

بالنسبة للمستخدمين غير المرئيين، يقوم VRF بـ استنتاج القليل من البيانات (few-shot inference) في تمريرة أمامية واحدة. فهو يقوم بترميز المجموعة المرجعية للمستخدم إلى توزيع ويشتق الأوزان عبر القواعد المتعلمة مسبقًا، مما يلغي الحاجة إلى التحسين القائم على التدرج (gradient-based optimization) لكل مستخدم.

3. المساهمات الرئيسية

1. تحديد المشكلة: تحديد وتحليل قيود النمذجة المنعزلة والتقديرات الحتمية في طرق تجزئة المكافأة الحالية بشكل منهجي.
2. إطار عمل مبتكر: اقتراح VRF، وهو أول إطار عمل لتجزئة المكافأة الواعي باليقين والذي ينمذج كلاً من المستخدمين وقواعد التفضيل كتوزيعات احتمالية.
3. استنتاج فعال: إثبات وجود طريقة لتقدير أوزان المستخدم للمستخدمين غير المرئيين في تمريرة أمامية واحدة دون الحاجة للتحسين، مما يقلل زمن الاستجابة بشكل كبير مقارنة بالنماذج القائمة على التدرج.
4. المتانة: أظهر أن نمذجة عدم اليقين صراحةً تؤدي إلى أداء أفضل في حالات البيانات القليلة وسيناريوهات التفضيل المتنوعة.

4. النتائج التجريبية

قيم المؤلفون VRF على ثلاثة معايير: PersonalLLM (تفضيلات متنوعة اصطناعية)، TL;DR (ملخصات Reddit)، و PRISM (محادثات متعددة الأدوار).

• الأداء: تفوق VRF باستمرار على أفضل النماذج المرجعية (بما في ذلك LoRe و PReF و PAL و VPL) في تقسيمات المرئي (Seen)، غير المرئي (Unseen)، و الإجمالي (Overall).
  • في PersonalLLM مع تفضيلات عالية التنوع ($\alpha=0.001$)، حقق VRF دقة إجمالية بلغت 95.3%، متفوقًا بشكل كبير على أقرب منافس (PReF بنسبة 87.7%).
• التكيف مع البيانات القليلة (Few-Shot): أظهر VRF أداءً فائقًا حتى مع الحد الأدنى من البيانات (على سبيل المثال، $|C_u|=1$)، متفوقًا على المنافسين بنسبة تصل إلى 1.9% في أنظمة البيانات المنخفضة.
• المتانة تجاه عدم اليقين: حافظ VRF على دقة عالية عبر المستخدمين ذوي مستويات عدم اليقين المنخفضة والمتوسطة والعالية، بينما تدهورت النماذج الحتمية بشكل كبير مع زيادة عدم اليقين.
• المواءمة النهائية (Downstream Alignment): ترجم تحسين تقدير المكافأة إلى أداء أفضل في أخذ العينات من أفضل N (Best-of-N sampling)، حيث حقق VRF أعلى معدلات فوز مقابل خط أساس برادلي-تيوري القياسي.
• الكفاءة: قلل VRF وقت التكيف لكل مستخدم إلى أقل من 1 مللي ثانية (تمريرة أمامية واحدة)، بينما تطلبت الطرق القائمة على التدرج ما بين 83 إلى 114 مللي ثانية. بالنسبة لمليون مستخدم، يكمل VRF عملية التكيف في أقل من 10 دقائق، بينما قد يستغرق PReF أكثر من 30 ساعة.

5. الأهمية

تقدم هذه الورقة حلاً قابلاً للتوسع والقوي لـ تخصيص النماذج اللغوية الكبيرة (LLM personalization). من خلال الانتقال من التقديرات النقطية الحتمية إلى النمذجة الاحتمالية الواعية باليقين، يعالج VRF بفعالية مشكلة "البداية الباردة" (cold start) للمستخدمين الجدد ومشكلة "ندرة البيانات" للمستخدمين الحاليين. إن القدرة على قياس عدم اليقين في التفضيلات تسمح للنموذج بأن يكون أكثر تحفظًا مع البيانات الغامضة، مما يؤدي إلى مواءمة أكثر أمانًا وموثوقية. كما أن كفاءة عملية الاستنتاج تجعل VRF عمليًا للنشر واسع النطاق حيث يتطلب ملايين المستخدمين تخصيصًا في الوقت الفعلي.