Aligning Language Models from User Interactions

إليك ملخص تقني مفصل لورقة البحث بعنوان "محاذاة النماذج اللغوية من تفاعلات المستخدمين" (Aligning Language Models from User Interactions).

1. بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) الحالية كميات هائلة من تفاعلات المستخدم متعددة الأدوار أثناء النشر. ومع ذلك، يتم التخلص من هذه البيانات عادةً بسبب:

• الافتقار إلى الملصقات الصريحة (Explicit Labels): على عكس مجموعات بيانات التدريب القياسية (مثل مجموعات بيانات RLHF)، تفتقر المحادثات في العالم الحقيقي إلى ملصقات تفضيل صريحة، أو نماذج عرض خبير، أو إشارات مكافأة.
• التغذية الراجعة الضمنية: التغذية الراجعة مدمجة في رسائل المتابعة باللغة الطبيعية (مثل "هذا خطأ"، "أعد الكتابة"، أو "أحتاج إلى إجابة أقصر")، مما يجعل استخراج إشارة تعلم مبدئية أمرًا صعبًا.
• الفرصة الضائعة: بينما تمتلك النماذج قدرات التعلم داخل السياق (In-context learning) (حيث يمكنها تعديل سلوكها عند تلقي مطالبة متابعة)، فإن هذه القدرة لا تُستغل حاليًا لتحديث أوزان النموذج من أجل التفاعلات المستقبلية.

السؤال المركزي هو: هل يمكننا تدريب النماذج اللغوية مباشرة من تفاعلات المستخدم الخام، متعددة الأدوار، بطريقة بسيطة ومبدئية وقابلة للتوسع لتحسين المحاذاة وتمكين التخصيص دون إشراف صريح؟

2. المنهجية: تحسين سياسة التقطير الذاتي (SDPO)

يقترح المؤلفون SDPO، وهي طريقة تعامل رسالة المتابعة الخاصة بالمستخدم كمعلومات "تأخرية" (hindsight) لتوليد إشارة تعلم عبر التقطير الذاتي.

المفهوم الجوهري

تعتمد الطريقة على الملاحظة التي تقول إن النموذج إذا رأى رسالة المتابعة للمستخدم ($o$) بعد توليد الاستجابة ($y$)، فإنه غالبًا ما يستطيع إنتاج استجابة أكثر محاذاة. يقوم SDPO بتقطير هذه القدرة "التأخرية" وإعادتها إلى سياسة النموذج الأصلية.

الصيغة التقنية

بفرض وجود تاريخ محادثة $x$، واستجابة نموذج $y$، ورسالة مستخدم لاحقة $o$:

1. السياسة الأصلية: يولد النموذج $y$ بناءً على $x$: $\pi_\theta(y | x)$.
2. سياسة التوقي (Hindsight Policy): يتم إعادة توجيه نفس النموذج باستخدام كل من $x$ و $o$ لتوليد توزيع "مصحح": $\pi_\theta(y | x, o)$.
3. إشارة التعلم (الميزة على مستوى الرمز - Token-Level Advantage): يقارن المؤلفون احتمالات الرموز (tokens) بين السياسة الأصلية وسياسة التوقي.
   • الميزة ($A_i$): تُعرف كنسبة اللوغاريتم للاحتمالات للرمز رقم $i$:
     $$A_i(x, y, o) = \log \frac{\pi_\theta(y_i | x, o, y_{<i})}{\pi_\theta(y_i | x, y_{<i})}$$
   • التفسير:
     • إذا كان $A_i > 0$: يتم تعزيز هذا الرمز (نموذج التوقي أكثر ثقة فيه).
     • إذا كان $A_i < 0$: يتم معاقبة هذا الرمز (رسالة المتابعة تشير إلى أن هذا الرمز ساهم في خطأ أو عدم محاذاة).

أهداف التحسين

يقدم البحث رؤيتين متكافئتين لتحديث معاملات النموذج $\theta$:

1. رؤية تدرج السياسة (Policy Gradient View): معاملة $A_i$ كميزة على مستوى الرمز لتعظيم نسبة اللوغاريتم المتوقعة.
2. رؤية التقطير الذاتي (Self-Distillation View): تقليل تباعد KL العكسي بين السياسة الأصلية وسياسة التوقي (حيث تُعامل سياسة التوقي كـ "معلم" ثابت عبر stopgrad):
   $$L_{SDPO}(\theta) = \sum_i KL(\pi_\theta(\cdot | x, y_{<i}) \parallel \pi_\theta(\cdot | x, o, y_{<i}))$$

تقوم الخوارزمية (الخوارزمية 1) بالمرور عبر التفاعلات، وأخذ عينات من $y$، ومراقبة $o$، وحساب الميزة، وتحديث $\theta$.

المتغير خارج السياسة (Off-Policy Variant)

بما أن السجلات الواقعية (مثل WildChat) غالبًا ما تحتوي على استجابات من نماذج مختلفة (بيانات خارج السياسة)، يقترح المؤلفون هدفًا بديلاً (المعادلة 4) يعمل على تحسين الأزواج المسجلة $(x, y, o)$ مباشرة دون الحاجة إلى احتمالات السياسة السلوكية الأصلية، مما يجعله قابلًا للتطبيق على مجموعات البيانات الموجودة.

3. المساهمات الرئيسية

1. التعلم المبدئي من البيانات الخام: إطار عمل جديد للتعلم مباشرة من محادثات المستخدم متعددة الأدوار غير المنقحة دون الحاجة لنماذج مكافأة صريحة، أو ملصقات تفضيل، أو تسمية بشرية.
2. آلية التقطير الذاتي: استغلال قدرة النموذج على التعلم داخل السياق كـ "معلم" لتوليد إشارات تدريب، مما يؤدي فعليًا إلى "تقطير النموذج في نفسه".
3. القابلية للتوسع والبساطة: لا تتطلب الطريقة نمذجة مكافأة معقدة أو قضاة خارجيين؛ بل تستخدم بيانات التفاعل نفسها لحساب التدرجات.
4. القدرة المزدوجة: يحسن النهج المحاذاة العامة (اتباع التعليمات) ويمكّن أيضًا من التخصيص المستمر (التكيف مع تفضيلات المستخدم الفردية بمرور الوقت).

4. النتائج التجريبية

قيم المؤلفون SDPO على مجموعتي WildChat و WildFeedback (محادثات مستخدمين حقيقية) باستخدام عائلات نماذج Qwen3 و Olmo3.

أ. المحاذاة العامة (التدريب خارج الخط - Offline Training)

• الاختبارات المرجعية: تم التقييم على AlpacaEval 2.0، و IFEval، و ArenaHard-v2، و MMLU-Pro.
• النتائج:
  • أدى التدريب على 14,000 محادثة مستخدم خام إلى تحسين كبير في درجات اتباع التعليمات والمحاذاة عبر جميع النماذج.
  • لا يوجد نسيان كارثي: على عكس الضبط الدقيق الخاضع للإشراف (SFT) القياسي على نفس البيانات (الذي أدى إلى تدهور الأداء)، حسن SDPO المحاذاة دون التراجع في مهام الرياضيات، البرمجة، أو المعرفة.
  • المتانة: حتى عند التدريب على بيانات غير منقحة (عينات عشوائية) من WildChat دون تصفية لإشارات التغذية الراجعة، أظهر SDPO تحسنات، وإن كانت أقل وضوحًا من البيانات المنقحة.
  • المقارنة مع SFT: تسبب SFT القياسي على نفس مجموعة البيانات في انخفاض هائل في الأداء (مثلاً -18.9% على AlpacaEval)، مما يثبت أن مكاسب SDPO ليست ناتجة عن مجرد تقليد مخرجات المساعد، بل عن استخراج إشارات التغذية الراجعة الضمنية.

ب. التخصيص المستمر (التكيف عبر الإنترنت - Online Adaptation)

• الإعداد: محاكاة تفاعلات عبر الإنترنت حيث يتم تقديم أو تغيير تفضيلات المستخدم (مثل "موجز/غير رسمي" مقابل "مفصل/مهني").
• النتائج:
  • التكيف السريع: تكيف النموذج مع تفضيلات المستخدم الجديدة خلال حوالي 50 تفاعلًا، محققًا معدل فوز يزيد عن 85% ضد النموذج الأساسي.
  • الاستقرار: استطاع النموذج "إلغاء تعلم" التفضيلات القديمة عندما تغيرت تغذية المستخدم الراجعة (مثل التحول من الموجز إلى المفصل) دون نسيان التفضيل الجديد.
  • لا يوجد نسيان كارثي: عند تعلم تفضيلات متعددة متكاملة بالتتابع، احتفظ النموذج بالسلوكيات المتعلمة سابقًا مع اكتساب سلوكيات جديدة.

ج. القابلية للتفسير

• التصور: أظهرت الخرائط الحرارية للميزات على مستوى الرمز (token-level advantages) أن النموذج حدد بدقة وعاقب الرموز التي أدت إلى عدم رضا المستخدم (مثل النبرة غير الرسمية عندما طُلب نبرة رسمية) وعزز الرموز الصحيحة.
• المتانة تجاه الضجيج: عندما كانت متابعات المستخدم غير ذات صلة (مثل السؤال "ما هو 2+2؟" بعد مسودة بريد إلكتروني)، كانت الميزات قريبة من الصفر، مما منع النموذج من التعلم من الضجيج.

5. الأهمية والآثار المترتبة

• إغلاق الحلقة: يثبت SDPO أن "مرحلة النشر" هي مصدر حيوي وغني لبيانات التدريب، مما يسمح للنماذج بالتحسن المستمر في الواقع دون تدخل يدوي.
• كفاءة التكلفة: يلغي الحاجة إلى نمذجة مكافأة مكلفة، أو تسمية تفضيلات بشرية، أو خطوط أنابيب RLHF معقدة للتحسين المستمر للنماذج.
• التخصيص: يوفر مسارًا لمساعدات ذكاء اصطناعي مخصصة حقًا تتكيف مع المستخدمين الأفراد من خلال المحادثة الطبيعية بدلاً من الملفات التعريفية الثابتة.
• اعتبارات السلامة: يشير المؤلفون إلى أنه رغم الفعالية، فإن التعلم مباشرة من المستخدمين يحمل مخاطر (مثل تلاعب المستخدم بالنموذج). ويقترحون إمكانية تعزيز آلية مطالبة التوقي (hindsight prompt) بمبادئ السلامة لتصفية الإشارات العدائية، لكن هذا يظل تحديًا مفتوحًا.

باخت اختصار، تثبت هذه الورقة أن تفاعلات المستخدم هي نمط بيانات متميز وغير مستغل بالقدر الكافي، والذي عند معالجته من خلال تحسين سياسة التقطير الذاتي (SDPO)، يمكن أن يقود تحسينات كبيرة وقابلة للتوسع وآمنة في محاذاة النماذج اللغوية وتخصيصها.