ملخص تقني: تخصيص النماذج اللغوية الكبيرة باستخدام التغذية الراجعة الثنائية (C-BPO)

1. بيان المشكلة

يهدف تخصيص النماذج اللغوية الكبيرة (LLM) إلى مواءمة سلوكيات النموذج مع تفضيلات المستخدم الفردية. وبينما تستخدم الطرق الحالية الاسترجاع القائم على التلقين (retrieval-based prompting) أو الضبط الدقيق كفء المعلمات (PEFT) على سجلات المستخدم المنعزلة، إلا أنها غالبًا ما تغفل الدور الحاسم لـ الاختلافات بين المستخدمين. تشير رؤى العلوم السلوكية الحديثة إلى أن الفردية تُعرَّف بكيفية انحراف المستخدم عن عامة السكان.

تتطلب أطر تحسين التفضيلات الحالية، مثل تحسين التفضيل المباشر (DPO)، أزواجًا تباينية (إكمال مفضل مقابل غير مفضل لنفس المدخلات)، وهي بيانات غير متوفرة في البيانات التاريخية الخام غير المقترنة للمستخدم. وبينما تسمح التطورات الأخيرة بالتحسين عبر التغذية الراجعة الثنائية (مثل "أعجبني" أو "لم يعجبني" على نقاط بيانات فردية)، فإن تطبيق هذه الأساليب مباشرة على التخصيص يؤدي إلى خلل جوهري: تداخل التفضيلات.

في سياق التخصيص، يعد التعامل مع البيانات من مستخدمين آخرين كإشارات "سلبية" (لم يعجبني) بحتة أمرًا إشكاليًا. فهذه المجموعات المساعدة من البيانات تشترك حتمًا في معرفة مهام محددة عامة وتفضيلات أسلوبية مجتمعية. إن معاقبة هذه البيانات بشكل ساذج يجبر النموذج على قمع الميزات المفيدة المشتركة عن طريق الخطأ، مما يؤدي إلى تدهور الأداء العام أثناء محاولة التقاط الفروق الفردية.

2. المنهجية: إطار عمل C-BPO

يقترح المؤلفون إطار عمل C-BPO (تحسين تفضيل التغذية الراجعة الثنائية المعايرة بالتفضيل)، وهو إطار يخصص النماذج اللغوية الكبيرة عبر الاستفادة من التباين بين المستخدمين كإشارة تباينية طبيعية مع تصحيح تداخل التفضيلات.

2.1 الصياغة الجوهرية

يصيغ C-BPO التخصيص كمسألة تحسين تعتمد على التغذية الراجعة الثنائية:

• الإشارات الإيجابية ($D_+$): بيانات التفاعل التاريخية للمستخدم المستهدف ($H_{tar}$).
• الإشارات السلبية الضمنية ($D_-$): بيانات من مجموعة من المستخدمين المساعدين ($H_{aux}$).

على عكس طرق تحسين التغذية الراجعة الثنائية القياسية (BPO) (مثل KTO و BCO) التي تفترض وجود تسميات سلبية "نقية"، يقر C-BPO بأن البيانات المساعدة ($H_{aux}$) هي خليط من إشارات إيجابية وسلبية.

2.2 هدف معايرة التفضيل عبر تعلم PU

لمعالجة مشكلة تداخل التفضيلات، يشتق C-BPO هدف تحسين يستند إلى نظرية تعلم الإيجابي-غير المصنف (PU learning). الفكرة الجوهرية هي أن البيانات المساعدة تعمل كمجموعة غير مصنفة تحتوي على خليط من التوزيعات الإيجابية والسلبية.

يعيد المؤلفون صياغة تقدير المخاطر لاستعادة المخاطر السلبية الحقيقية عن طريق طرح "التحيز الإيجابي" (المخاطر المتوقعة لتفضيلات الهدف الموجودة ضمن بيانات المستخدمين الأوسع). يتم تعريف دالة الهدف النهائية ($L_{C-BPO}$) كما يلي:

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

حيث أن:

• $L_{pos}$: الخسارة على بيانات المستخدم المستهدف (المواءمة الإيجابية).
• $L_{pure\_neg}$: خسارة السلبية المنقاة، وتُحسب كـ $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$.
• $\alpha$: معامل تصحيح ($0 < \alpha < 1$) يمثل درجة تداخل ميزات التفضيل بين المستخدم المستهدف والمستخدمين المساعدين. وهو يحدد نسبة البيانات المساعدة التي تعمل وظيفيًا كإشارة إيجابية.

تعمل هذه الصياغة صراحةً على "تنقية" الإشارات السلبية، مما يضمن تركيز النموذج على السمات الفردية الفريدة بدلاً من قمع الفائدة العامة.

2.3 التعامل مع عدم توازن البيانات

في سيناريوهات التخصيص، غالبًا ما يتجاوز حجم البيانات المساعدة حجم بيانات المستخدم المستهدف بشكل كبير. تقوم طرق BPO القياسية بتقدير نقطة مرجعية ($\delta$) عن طريق متوسط المكافآت عبر دفعة (batch)، والتي يمكن أن تنحرف إذا كانت الدفعة غير متوازنة. يقدم C-BPO تقديرًا لنقطة مرجعية باستخدام المتوسط المتحرك الأسي المستقل (Independent EMA). فهو يحافظ على إحصائيات EMA منفصلة للمكافآت الإيجابية والمساعدة، ويحسب $\delta_{EMA}$ كمتوسط لهما. هذا يضمن وجود حد قرار مستقر لا يتأثر بعدم التوازن في مستوى الدفعة.

3. المساهمات الرئيسية

1. تأطير مبتكر: تعد هذه الورقة الأولى التي تؤطر تخصيص النماذج اللغوية الكبيرة كمسألة تحسين تفضيل تعتمد على التغذية الراجعة الثنائية، مستخدمة التباين بين المستخدمين كإشارة تباينية للمواءمة على المستوى الفردي دون الحاجة إلى بيانات مقترنة.
2. ابتكار نظري: حدد المؤلفون مشكلة "تداخل التفضيلات" في BPO القياسي للتخصيص وصاغوا هدفًا معايرًا بالتفضيل بناءً على نظرية تعلم PU لتحقيق مواءمة تفضيل غير منحازة.
3. التحقق التجريبي: أظهرت التجارب المكثفة عبر خمس مهام توليد مخصصة (عناوين الأخبار، العناوين العلمية، الملخصات، المراجعات، وكتابة المواضيع) وعبر نماذج أساسية مختلفة (LLaMA, Qwen, Mistral) أن C-BPO يتفوق باستمرار على النماذج المرجعية القوية، بما في ذلك أدوات SFT والأساليب الحالية للتغذية الراجعة الثنائية.

4. النتائج التجريبية

قيم المؤلفون C-BPO على معايير LaMP و LongLaMP باستخدام نماذج Mistral-7B و LLaMA-3 و Qwen2.5.

• الأداء: حقق C-BPO باستمرار أفضل درجات ROUGE-1 و ROUGE-L عبر جميع المهام. على سبيل المثال، في مهمة عناوين الأخبار، حقق C-BPO درجة ROUGE-L بلغت 0.198، متفوقًا على أفضل نموذج مرجعي (CoPE، وهو أسلوب يعتمد على DPO) الذي حقق 0.184، وعلى أساليب BPO القياسية (BCO بنسبة 0.179).
• المقارنة مع النماذج المرجعية:
  • غالبًا ما كان أداء أساليب التغذية الراجعة الثنائية القياسية (KTO, BCO) أقل من نماذج SFT (مثل OPPU) عند تطبيقها بشكل ساذج على التخصيص، مما يؤكد التأثير الضار لتداخل التفضيلات غير المصحح.
  • تفوق C-BPO على أساليب DPO (مثل CoPE) التي تتطلب عمليات أخذ عينات رفض (rejection sampling) معقدة لبناء أزواج سلبية.
• دراسات الاستئصال (Ablation Studies):
  • حجم البيانات المساعدة: زيادة حجم البيانات المساعدة لا تضمن مكاسب رتيبة؛ إذ يلزم وجود قدر كافٍ من بيانات المستخدم المستهدف لترسيخ عملية إزالة الانحياز.
  • تفرد المستخدم: أظهر C-BPO تحسنات أكثر أهمية في مجموعات المستخدمين "الفريدين" (ذوي المسافة العالية بين المستخدمين)، بينما فشلت أساليب BPO القياسية في تحقيق مكاسب في المجموعات "غير الفريدة" (ذات التداخل العالي).
  • النقطة المرجعية: كانت استراتيجية EMA المستقلة حاسمة للاستقرار، حيث منعت انخفاض الأداء عند عدم توازن نسب البيانات.

5. الأهمية والادعاءات

تدعي الورقة أن C-BPO يقدم حلًا قويًا، وسليمًا نظريًا، وقابلًا للتوسع لمواءمة النماذج اللغوية الكبيرة مع التفضيلات الفردية الدقيقة. تكمن أهميته في:

• الكفاءة: يلغي الحاجة إلى بناء أزواج تباينية مكلفة (كما في DPO) أو الاعتماد على نماذج لغوية كبيرة عالية الموارد لإجراء مقارنات نصية.
• استغلال البيانات: يستفيد بفعالية من البيانات التاريخية الخام وغير المقترنة لكل من المستخدمين المستهدفين والمساعدين، محولًا "الضجيج" الناتج عن التفضيلات المشتركة إلى إشارة معايرة.
• التعميم: الإطار مستقل عن النموذج (model-agnostic) وفعال عبر مختلف البنى الهيكلية وأنواع المهام.

يقر المؤلفون بوجود قيود، بما في ذلك الحساسية لمعامل المعايرة $\alpha$ (رغم توفير طريقة لتقديره)، وضرورة الوصول إلى مجموعة بيانات مساعدة مركزية، مما يطرح تحديات تتعلق بالخصوصية في بيئات التعلم الاتحادي (federated) أو الأجهزة المحلية. ومع ذلك، فإن هذا العمل يؤسس لنموذج جديد للتخصيص ينتقل من مجرد نمذجة التاريخ المنعزل إلى المقارنة الصريحة والمعايرة بالتفضيل بين المستخدمين.