Users as Annotators: LLM Preference Learning from Comparison Mode

ملخص تقني: المستخدمون كمُعلّقين: تعلم تفضيلات النماذج اللغوية الكبيرة من وضع المقارنة

بيان المشكلة
يعتمد محاذاة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية عادةً على بيانات التفضيل الزوجي، حيث يختار المُعلّقون الاستجابة الأفضل بين مخرجين للنموذج. تقليديًا، يتم جمع هذه البيانات عبر مُعلّقين بشريين محترفين، وهي عملية مكلفة ومحدودة النطاق. وبينما يوفر المستخدمون النهائيون لمنصات النماذج اللغوية الكبيرة (على سبيل المثال، عبر أوضاع المقارنة في ChatGPT) مصدرًا هائلًا وقابلًا للتوسع لبيانات التفضيل، إلا أن هذا النهج يعاني من نقص حاد في مراقبة الجودة. فخلافًا للمُعلّقين المحترفين، لا يوجد حافز للمستخدمين لتقديم أحكام متسقة، وقد يقومون بتسمية البيانات عشوائيًا. وتعتبر تقنيات مراقبة الجودة الحالية، مثل "الأسئلة الذهبية" أو فحوصات الاتساق الذاتي، غير عملية في هذا السياق لأن المنصات لا يمكنها التحكم في استعلامات المستخدمين أو فرض تكرار عمليات التعليق. ويتمثل التحدي الجوهري في التمييز بين تعليقات المستخدمين عالية الجودة والمنتبهة وبين المدخلات العشوائية وغير المبالية دون الوصول إلى تسميات الحقيقة الأرضية (ground-truth) أو الإشراف الخبير.

المنهجية
تقترح الورقة إطار عمل لتقييم جودة تعليق المستخدم وتصفية البيانات لمهام المحاذاة اللاحقة (تحديدًا التحسين المباشر للتفضيلات، أو DPO). تعتمد المنهجية على ثلاثة مكونات رئيسية:

1. توليد استجابات غير متماثلة: خلافًا لخطوط إنتاج التفضيل القياسية حيث يتم توليد استجابتين من نفس النموذج، يقوم هذا الإطار بتوليد استجابتين ($y_{i1}, y_{i2}$) من نموذجين مختلفين ($P_A$ و $P_B$) مع وجود فجوة أداء معروفة. يخلق هذا التباين يدًا إحصائية: فالمستخدم المنتبه يُتوقع منه أن يفضل النموذج الأقوى بشكل أكبر، بينما يختار المستخدم غير المبالي بشكل عشوائي.
2. نموذج سلوك المستخدم: ينمذج المؤلفون سلوك التعليق للمستخدم $j$ باستخدام معامل "انتباه" كامن $\eta_j \in [0, 1]$.
   • إذا كان $\eta_j = 1$، يعمل المستخدم كمُعلّق مثالي، حيث يختار الاستجابة المفضلة لدى المجتمع باحتمالية $p(x_i)$.
   • إذا كان $\eta_j = 0$، فإنه يختار عشوائيًا ($50/50$).
   • يتم نمذجة احتمال اختيار المستخدم $j$ للاستجابة 1 كالتالي: $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • هنا، تمثل $p(x_i)$ احتمالية التفضيل الحقيقية للمجتمع (احتمالية أن يكون النموذج A أفضل من النموذج B).
3. خوارزمية التوقع والتعظيم (EM): نظرًا لأن $\eta_j$ غير قابل للملاحظة، طور المؤلفون خوارزمية EM لتقدير معاملات نموذج سلوك المستخدم (بما في ذلك توزيع $\eta_j$ واحتمالية التفضيل العالمية $\mu$).
   • خطوة التوقع (E-step): تحسب التوزيع البعدي لكل معامل انتباه المستخدم $\eta_j$ بناءً على تاريخ تعليقه وتقديرات المعاملات الحالية.
   • خطوة التعظيم (M-step): تُحدث معاملات النموذج لتعظيم توقع لوغاريتم الاحتمالية للبيانات الكاملة.
   • تفترض الخوارزمية وجود احتمالية تفضيل عالمية $\mu$ معروفة أو قابلة للتقدير (متوسط معدل فوز النموذج A على النموذج B) لضمان القابلية للتمييز، رغم أن الورقة تناقش توسعات لـ $\mu$ غير المعروفة.
   • بمجرد استنتاج $\eta_j$، يتم تصفية المستخدمين بناءً على عتبة معينة (على سبيل المثال، الاحتفاظ فقط بأولئك الذين لديهم احتمالية بعدية عالية لكونهم منتبهين).

المساهمات الرئيسية

• إطار عمل جديد للتعليق: تقدم الورقة أول نموذج احتمالي مصمم خصيصًا لالتقاط سلوك المستخدم في أوضاع مقارنة النماذج اللغوية الكبيرة، وذلك عبر استغلال عدم التماثل في توليد الاستجابات من نموذجين مختلفين لاستنتاج جودة البيانات.
• الاستدلال الإحصائي عبر EM: طورت الورقة خوارزمية EM لتقدير الانتباه الكامن للمستخدم وتوزيع التفضيل الأساسي. يقدم المؤلفون ضمانات نظرية، موضحين أنه تحت شروط انتظام محددة، تتقارب الخوارزمية نحو المعلمات الحقيقية مع زيادة عدد المستخدمين والعينات.
• تصفية البيانات للمحاذاة: يوضح الإطار مسار عمل عملي حيث يُستخدم الانتباه المستنتج لتصفية التعليقات منخفضة الجودة قبل التدريب. يسم_ح هذا باستخدام كميات هائلة من بيانات المستخدم غير المفحوصة مع التخفيف من الضجيج.

النتائج التجريبية
يتحقق المؤلفون من نهجهم من خلال تجارب اصطناعية ومهام DPO لاحقة:

• التقارب الاصطناعي: تؤكد المحاكاة أن خوارزمية EM تتقارب نحو المعلمات الحقيقية بغض النظر عن التهيئة الأولية. كما تظهر الخوارزمية متانة تجاه الخطأ في توصيف النموذج (على سبيل المثال، تقدير توزيع منفصل عندما يكون التوزيع الحقيقي مستمرًا).
• أداء DPO: في التجارب باستخدام مجموعات بيانات مثل UltraFeedback و HelpSteer3، قام المؤلفون بضبط النماذج اللغوية الكبيرة (مثل Qwen2.5-7B) باستخدام البيانات المصفاة.
  • أدى التصفية للمستخدمين المنتبهين (الاحتفاظ بأفضل 80% حسب الانتباه المستنتج) إلى تحسين أداء DPO باستمرار مقارنة بالتدريب على البيانات غير المصفاة.
  • شملت التحسينات درجات مكافأة متوسطة أعلى (زيادة تزيد عن 10% في بعض الحالات) ومعدلات فوز أعلى ضد النماذج المرجعية.
  • سلطت التجارب الضوء أيضًا على وجود مقايضة: بينما تعمل التصفية على تحسين الجودة، فإن التصفية المفرطة تقلل من حجم البيانات. توجد عتبة مثالية تعتمد على التوزيع الأساسي لانتباه المستخدم.
  • وُجد أن فجوة الأداء بين نموذجي التوليد (الممثلة بـ $\mu$) أمر بالغ الأهمية؛ فإذا كانت $\mu$ قريبة جدًا من 0.5، يصبح من الصعب التمييز بين المستخدمين المنتبهين والعشوائيين، مما يعيق عملية التصفية.

الأهمية والادعاءات
تزعم الورقة تقديم حل قابل للتوسع لمحاذاة النماذج اللغية الكبيرة من خلال تحويل المستخدمين النهائيين إلى مُعلّقين فعالين. ومن خلال صياغة سلوك المستخدم وتقديم آلية إحصائية لتصفية الضجيج، يتيح هذا العمل استخدام كميات هائلة من بيانات التفضيل التي يولدها المستخدم والتي كانت تُعتبر سابقًا شديدة الضجيج للتدريب. يضع المؤلفون هذا العمل كنهج مكمل لأساليب التدريب القوية الموجودة (مثل Robust DPO)، مع التركيز على جودة البيانات قبل التدريب بدلاً من مجرد تحمل الضجيج أثناء التدريب. كما يفتح العمل الباب أمام آليات حوافز مستقبلية للمستخدمين، مثل مكافأة المستخدمين بناءً على مستويات انتباههم المستنتجة. تكمن المساهمة النظرية في ضمانات التقارب العالمي لخوارزمية EM المقترحة لهذا النموذج السلوكي المحدد، مما يوفر أساسًا رياضيًا صلبًا لهذا النهج.