🤖 machine learning

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

تقدم هذه الورقة MoPLEx، وهو خوارزمية تعظيم التوقع (expectation-maximization) فعالة تجمع بين تعزيز التصنيف عبر النماذج اللغوية الكبيرة والتقدير القائم على التدرج لتعلم نماذج "بلاكيت-لوس" المختلطة من التصنيفات متعددة الأوجه، مما يتغلب على حدود قابلية التحديد النظرية ويحسن بشكل كبير دقة التجميع والتصنيف في مهام محاذاة التفضيلات غير المتجانسة.

المؤلفون الأصليون: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

نُشر 2026-08-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، يمثل تعليم الحواسيب فهم ما يريده البشر حقاً تحدياً كبيراً. فعندما يُنشئ نموذج لغوي استجابة ما، غالباً ما يتم تقييمه من قبل بشر يقومون بترتيب عدة خيارات من الأفضل إلى الأسوأ. هذه العملية، المعروفة باسم "المحاذاة"، تفترض عادةً أن جميع البشر يتفقون على ما يجعل الإجابة جيدة. ومع ذلك، في الواقع، يمتلك الناس قيماً وخلفيات وأولويات مختلفة. فقد يعطي شخص ما الأولوية لاستجابة تكون مفيدة، بينما يهتم آخر بكونها صادقة. وعندما تُخلط هذه الآراء المتنوعة معاً، غالباً ما يصاب نموذج حاسوبي واحد يحاول التعلم منها بالارتباك، ويفشل في استيعاب التفضيلات المتميزة لأي مجموعة محددة.

ولحل هذه المشكلة، طور باحثون في جامعة نورث إيستن وجامعة ميشيغان طريقة جديدة لفك تشابك هذه الإشارات المختلطة. إنهم يعاملون المشكلة كما لو كانت فرز كومة من البريد التي تم خلطها من أحياء مختلفة. فبدلاً من محاولة إجبار كل رسالة على الدخول في فئة واحدة، يهدفون إلى تحديد الأحياء المختلفة وتعلم مجموعة محددة من القواعد لكل منها. لقد ابتكر الفريق خوارزمية تسمى MOPLEX، وهي اختصار لـ "مزيج من نماذج بلاكيت-لوس" (mixture of Plackett-Luce models). وببساط، هي أداة إحصائية يمكنها النظر إلى قائمة من الخيارات المرتبة واستنتاج أن القائمة ناتجة على الأرجح عن مزيج من أنواع مختلفة من البشر، لكل منهم طريقته الخاصة في تحديد ما هو الأفضل.

اكتشف الباحثون عقبة كبيرة في عملهم: عندما تكون قوائم الخيارات قصيرة جداً، يكون من المستحيل رياضياً التمييز بين المجموعات المختلفة. تخيل محاولة تخمين تفضيلات مجموعتين مختلفتين من الناس بناءً على قائمة اختاروا فيها فقط خياراً واحداً من بين خيارين. قد تبدو الأنماط متطابقة، مما يجعل المجموعات الحقيقية غير مرئية. وجد الفريق أنه إذا كانت قوائم الترتيب قصيرة، فلا يمكن للحاسوب التمييز بين التفضيلات الأساسية المختلفة، بغض النظر عن كمية البيانات التي يراها. ولإصلاح ذلك، ابتكروا حلاً ذكياً؛ فقبل تدريب النموذج، استخدموا الحاسوب نفسه لتوليد استجابات إضافية وتخيلية وإضافتها إلى أسفل قوائم الترتيب. أدى هذا إلى توسيع القوائم، مما منح الخوارزمية معلومات كافية لرؤية الاختلافات بين المجموعات أخيراً وتعلم قواعدها الفريدة.

ومع ذلك، فإن مجرد جعل القوائم أطول خلق مشكلة جديدة: فقد أصبح الأمر بطيئاً ومكلفاً للغاية بالنسبة للحواسيب لمعالجتها. إذ تطلب حساب الاحتمالات لكل عنصر في هذه القوائم الطويلة قدرات حوسبة هائلة. وللتغلب على ذلك، قدم الفريق طريقاً مختصراً يعتمد على كيفية "تفكير" الحاسوب في النص. فبدلاً من إجراء الحساب الكامل والثقيل لكل استجابة، تقوم الخوارزمية باختيار بعض الأمثلة الرئيسية لتحليلها بالتفصيل، ثم تستخدم الأنماط الرياضية الموجودة في تلك الأمثلة القليلة لتقدير الدرجات لبقية القائمة. يشبه هذا النهج فحص درجة الحرارة في بضعة أماكن في غرفة كبيرة لفهم المناخ العام، بدلاً من قياس كل بوصة فيها.

كانت نتائج هذا النهج مذهلة. فعند اختبارها على بيانات من العالم الحقيقي تتضمن معايير تقييم مختلفة، مثل الفائدة والصدق، حسنت الطريقة الجديدة دقة تجميع هذه التفضيلات بنسبة تقارب أربعة وأربعين بالمائة مقارنة بالتقنيات القديمة. كما أصبحت أفضل في التنبؤ بالترتيب الصحيح للاستجابات بنسبة تزيد عن خمسة عشر بالمائة. علاوة على ذلك، ومن خلال استخدام اختصار التقدير الخاص بهم، قلل الباحثون الوقت والذاكرة المطلوبة لتشغيل التدريب بمقدار يصل إلى ثلاث مرات. ومن الناحية العملية، يعني هذا أن المهام المعقدة التي كانت تتطلب سابقاً أجهزة عالية المواصفات ومكلفة، يمكن الآن القيام بها بكفاءة أكبر، مما يفتح الباب أمام أنظمة الذكاء الاصطناعي التي يمكنها احترام وتكييف نفسها بشكل أفضل مع الاحتياجات المتنوعة لمختلف المستخدمين البشر. وتؤكد الدراسة أنه من خلال توسيع البيانات واستخدام التقدير الذكي، من الممكن تعليم الآلات فهم الطرق الدقيقة والمتنوعة التي يتخذ بها البشر خياراتهم.

ملخص تقني: تعلم مزيج من نماذج بلاكيت-لوس (Plackett-Luce) للمواءمة متعددة الأهداف

1. بيان المشكلة

تتناول الورقة البحثية تحدي مواءمة النماذج اللغوية (LMs) مع التفضيلات البشرية غير المتجانسة. في كثير من السيناريوهات، يتم جمع بيانات التفضيل من مجموعات فرعية متنوعة من المقيّمين أو يتم تقييمها بناءً على معايير متعددة (مثل: الفائدة مقابل الصدق)، مما يؤدي إلى وجود "مزيج" من توزيعات الترتيب المتميزة بدلاً من تفضيل موحد واحد.

الهدف الجوهري هو تعلم مزيج من $k$ من نماذج بلاكيت-لوس (PL) من بيانات الترتيب متعددة المسارات. يعمم نموذج PL نموذج برادلي-تيري (BT) للتعامل مع ترتيبات تتكون من $m > 2$ من العناصر. وقد حدد المؤلفون قيداً نظرياً حرجاً في النهج الحالية: عدم القابلية للتمييز (Unidentifiability). وتحديداً، عندما يكون طول الترتيب $m$ صغيراً بالنسبة لعدد مكونات المزيج $k$ (تحديداً عندما يكون $m \le 2k - 1$ )، يمكن لمزيج من النماذج المتميزة أن ينتج توزيعات هامشية متطابقة للترتيب. وهذا يجعل من المستحيل نظرياً استعادة العناقيد (clusters) الحقيقية باستخدام نماذج المزيج القياسية على الترتيبات القصيرة (مثل المقارنات الثنائية حيث $m=2$ ).

2. المنهجية

يقترح المؤلفون MOPLEX، وهو خوارزمية فعالة مصممة للتغلب على حد عدم القابلية للتمييز وتقليل التكلفة الحسابية لتدريب نماذج PL المختلطة. يتكون النهج من مكونين رئيسيين:

أ. تعزيز الترتيب من أجل القابلية للتمييز (Ranking Augmentation for Identifiability)
لحل مشكلة عدم القابلية للتمييز، يقوم MOPLEX بتعزيز البيانات المدخلة قبل التدريب.

العملية: لكل مطالب (prompt) مدخل $x$ ومجموعة موجودة من الاستجابات المرتبة $m$ ، يقوم النموذج اللغوي الأساسي بتوليد $m' - m$ من الاستجابات المرشحة الجديدة.
التقريب: بما أن هذه الاستجابات المولدة تفتقر إلى التقييمات البشرية، فإنه يتم التعامل معها كترتيب جزئي حيث يتم ترتيب العناصر الجديدة أسفل العناصر $m$ الأصلية ( $y_{\sigma(1)} \succ \dots \succ y_{\sigma(m)} \succ \{y_{m+1}, \dots, y_{m'}\}$ ).
الضمان النظري: يثبت المؤلفون (الخاصية 4.1) أنه إذا كانت الاستجابات المعززة تمتلك درجات متميزة داخل كل عنقود، وكان عدد الاستجابات الإضافية يحقق الشرط $m' - m \ge k$ ، فإن مزيج نماذج $k$ من PL عبر الترتيبات الجزئية الموسعة يصبح قابلاً للتمييز. وهذا يسمح للنموذج بالتمييز بين العناقيد التي قد تكون غير قابلة للتمييز لولا ذلك في حالات الترتيبات القصيرة.

ب. التقدير القائم على التدرج من أجل الكفاءة (Gradient-Based Estimation for Efficiency)
يتطلب تدريب مزيج من $k$ من نماذج PL عبر $m'$ مرشح عادةً $O(km')$ من عمليات التمرير الأمامي (forward passes) لكل تكرار، وهو أمر مكلف حسابياً بشكل كبير. يقدم MOPLEX تقريباً من الدرجة الأولى لتقليل هذه التكلفة إلى $O(ka) $، حيث$ a$ هو عدد صغير من استجابات "المرتكز" (anchor responses) ( $a \ll m'$ ).

الآلية: تختار الخوارزمية مجموعة فرعية من $a$ من استجابات المرتكز. وبالنسبة لهذه الاستجابات، يتم حساب مخرجات النموذج والتدرجات الدقيقة بالنسبة لتمثيلات المدخلات (input embeddings).
التقريب: بالنسبة لـ $m' - a$ من الاستجابات المتبقية، يتم تقدير درجات النموذج باستخدام تقريب تايلور من الدرجة الأولى في فضاء تمثيل المدخلات:
$\hat{r}_\theta(x, y_j) \approx \frac{1}{a} \sum_{y_i \in Y_a} \left( r_\theta(x, y_i) + \nabla_h r_\theta(x, y_i)^\top (h(x, y_j) - h(x, y_i)) \right)$
التدريب: يتم بعد ذلك تطبيق خوارزمية توقع-تعظيم (EM) باستخدام هذه الاحتمالات المقدرة لتحديث تعيينات العناقيد ومعلمات النموذج (والتي يتم تنفيذها كطبقات LoRA adapters على نموذج أساسي).

3. المساهمات الرئيسية

التحديد النظري لعدم القابلية للتمييز: تثبت الورقة رسمياً أن نماذج PL المختلطة تكون غير قابلة للتمييز عندما يكون $m \le 2k - 1$ ، مما يفسر سبب فشل نماذج BT المختلطة الحالية (حيث $m=2$ ) في استعادة العناقيد عندما تكون $k > 1$ .
استراتيجية التعزيز: تقترح تقنية تعزيز توليدية تعمل على توسيع طول الترتيب لاستيفاء شروط القابلية للتمييز دون الحاجة إلى ملاحظات بشرية إضافية.
تقدير التدرج الفعال: تقدم تنفيذاً قابلاً للتوسع يقلل تكاليف تدريب مزيج PL من $O(km) $إلى$ O(ka)$، مما يتيح تطبيق نماذج المزيج على النماذج اللغوية واسعة النطاق.
خوارزمية MOPLEX: إطار عمل كامل يدمج التعزيز، وتقدير التدرج، وتدريب EM لتعلم مزيج من نماذج PL.

4. النتائج التجريبية

قام المؤلفون بتقييم MOPLEX على مجموعة بيانات UltraFeedback (4 معايير تقييم، $m=4$ ) ومجموعة بيانات Persona (12 ملف تعريف ديموغرافي، $m=2$ ).

القابلية للتمييز والدقة:
- على البيانات الاصطناعية، أظهرت الطريقة أن زيادة حجم الترتيب $m$ بما يتجاوز $2k$ ضروري لاستعادة العناقيد الحقيقية؛ حيث انهارت المقارنات الثنائية ( $m=2$ ) إلى التخمين العشوائي عندما كانت $k \ge 3$ .
- على مجموعات البيانات الواقعية، حسن MOPLEX دقة التجميع بمتوسط 43.7% ودقة الترتيب بنسبة 15.2% مقارنة بالنماذج المرجعية التي تستخدم نماذج ترتيب مفردة أو مزيج من نماذج BT.
جودة التقريب:
- حقق التقدير القائم على التدرج تقريباً لمخرجات النموذج الحقيقية بـ خطأ أقل من 5% عبر نماذج تتراوح من 0.6 مليار إلى 34 مليار معلمة.
الكفاءة:
- قللت الطريقة من وقت تشغيل وحدة معالجة الرسومات وتكاليف الذاكرة بنسبة تصل إلى 3 أضعاف مقارنة بالحساب الكامل لمزيج PL.
- سمحت بالتدريب على أحجام ترتيب ( $m'=32$ ) تجاوزت الحدود الذاكرية للنماذج المرجعية ذات الحساب الكامل.

5. الأهمية والادعاءات

تزعم الورقة أن MOPLEX يوفر حلاً عملياً لـ المواءمة متعددة الأهداف حيث تكون التفضيلات غير متجانسة. ومن خلال معالجة عدم القابلية للتمييز النظرية لنماذج المزيج عبر تعزيز البيانات وحل الاختناق الحسابي عبر تقدير التدرج، تمكن الطريقة من تعلم عناقيد تفضيل متميزة لا تستطيع النماذج المفردة أو نماذج BT المختلطة التقاطها.

يؤكد المؤلفون أن نهجهم يسم_ح للنماذج اللغوية بالمواءمة بشكل أفضل مع المجموعات الفرعية المتنوعة للمستخدمين ومعايير التقييم. ويشيرون إلى أن الطريقة فعالة بشكل خاص في السيناريوهات التي تفشل فيها طرق RLHF أو DPO القياسية (التي تفترض توزيع تفضيل واحداً) في التقاط تفاصيل الأهداف المتعارضة (مثل: الفائدة مقابل الصدق). ويُقدم هذا العمل كأساس لتوسيع نطاق تعلم نماذج الترتيب لمهام المواءمة المعقدة ومتعددة المعايير.