ملخص تقني: ACTIVEDPO

بيان المشكلة

يعد مواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية أمراً بالغ الأهمية لمهام مثل الإجابة على الأسئلة، والاستنتاج، وتوليد الكود البرمجي. وبينما أثبتت أساليب مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) وتحسين التفضيل المباشر (DPO) فعاليتها، إلا أنها تعتمد بشكل كبير على مجموعات بيانات عالية الجودة من التعليقات التوضيحية للتفضيلات البشرية. ويعد جمع هذه المجموعات من البيانات عملية مكلفة وتستهلك الكثير من الموارد، مما يخلق عقبة أمام عملية المواءمة الفعالة.

تواجه النهج الحالية لتقليل تكاليف التعليق التوضيبي عبر اختيار البيانات النشط قيوداً كبيرة:

1. الأساليب الاستدلالية (Heuristic Methods): تفتقر بعض النهج (مثل Muldrew et al., 2024) إلى أساس نظري صارم، مما يؤدي إلى أداء غير موثوق عبر المهام والنماذج المختلفة.
2. الافتراضات المقيدة: غالباً ما تفترض الطرق ذات الأساس النظري (مثل Mehta et al., 2023; Das et al., 2024) دوال مكافأة كامنة خطية، وهو ما لا ينطبق على دوال المكافأة المعقدة وغير الخطية المتأصلة في مواءمة النماذج اللغوية الكبيرة.
3. الاختيار المنفصل: تعتمد العديد من الطرق الموجودة على نماذج مكافأة أو معايير اختيار منفصلة عن النموذج اللغوي الكبير الذي يتم مواءمته. وهذا يفشل في مراعاة كيفية تأثير اختيار البيانات مباشرة على ديناميكيات التعلم الخاصة بالنموذج اللغوي ووظيفة المكافأة الضمنية الخاصة به.

يتمثل التحدي الجوهري في تطوير خوارزمية لاختيار بيانات التفضيل النشطة تكون قائمة على أساس نظري لدوال المكافأة غير الخطية، وفعالة عملياً من خلال الاستفادة الصريحة من النموذج اللغوي الكبير نفسه.

المنهجية: ACTIVEDPO

يقترح المؤلفون ACTIVEDPO (تحسين التفضيل المباشر النشط)، وهي خوارزمية تدمج النموذج اللغوي الكبير مباشرة في عملية اختيار البيانات. تعمل المنهجية في دورات تكرارية:

1. توليد البيانات: في كل تكرار $t$، يقوم النموذج اللغوي الحالي ($\pi_{\theta_{t-1}}$) بتوليد أزواج استجابات $(y_1, y_2)$ لمجموعة من المطالبات $x$، مما يشكل مجموعة مرشحة $D_t$.
2. الاختيار النشط: بدلاً من استخدام نموذج مكافأة منفصل، يستخدم ACTIVEDPO دالة المكافأة الضمنية للنموذج اللغوي نفسه، والمعلمة بـ $\theta_{t-1}$، لاختيار الثلاثيات الأكثر إفادة $(x, y_1, y_2)$ للتعليق التوضيحي البشري.
3. الأساس النظري: يتم اشتقاق معيار الاختيار من الخاصية 1 (Proposition 1)، التي تحدد حداً أعلى لخطأ التقدير لفرق المكافأة بين استجابتين. يعتمد حد الخطأ على تدرج الشبكة العصبية التي تمثل دالة المكافأة. وتحديداً، يتم قياس عدم اليقين من خلال معيار الفرق في التدرجات:
   $$\|\nabla r_{\theta_{t-1}}(x, y_1) - \nabla r_{\theta_{t-1}}(x, y_2)\|_{V_{t-1}^{-1}}$$
   حيث أن $V_{t-1}$ هي مصفوفة تراكم نواتج الضرب الخارجي لميزات التدرج من البيانات المختارة سابقاً. تختار الخوارزمية الثلاثيات التي تعظم مقياس عدم اليقين هذا، مما يختار بفعالية نقاط بيانات متنوعة ومكملة للبيانات التي تم التعليق عليها سابقاً.
4. التحسين: يقدم المعلقون البشريون تغذية راجعة حول التفضيل ($y_w \succ y_l | x$) للدفعة المختارة. ثم يتم تحديث النموذج اللغيدي باستخدام هدف DPO على هذه البيانات الجديدة الموسومة.

تقنيات الكفاءة العملية

لمعالجة عدم القدرة الحسابية على حساب التدرجات الكاملة وتخزين مصفوفات التباين الكبيرة للنماذج اللغوية الكبيرة الحديثة، يقدم ACTIVEDPO ثلاث تقنيات رئيسية:

• اختيار الدفعات (Batch Selection): بدلاً من اختيار عينة واحدة في كل مرة، تختار الخوارزمية دفعة بحجم $B$. يتم تحديث المصفوفة $V$ تدريجياً داخل الدفعة للحفاظ على التنوع مع تقليل وتيرة إعادة حساب التدرجات وتحديثات النموذج المكلفة.
• LoRA مع الإسقاط العشوائي: لتقليل التخزين والحوسبة، يحسب المؤلفون التدرجات باستخدام معاملات التكيف منخفض الرتبة (LoRA). ثم يتم إسقاط هذه التدرجات إلى أبعاد أقل (على سبيل المثال، 8192) باستخدام الإسقاط العشوائي، وهو أمر مبرر بمبدأ "جونسون-ليندسترأوس". وهذا يحافظ على بنية الضرب الداخلي اللازمة لمعيار الاختيار مع تقليل الأبعاد بشكل كبير.
• تطبيع التدرج (Gradient Normalization): لمنع معيار الاختيار من الانحياز نحو الاستجابات الأطول (التي تنتج بطبيعتها قيم $L_2$ norm أكبر للتدرجات)، يتم تطبيع جميع التدرجات لتصبح ذات معيار وحدة قبل حساب درجة الاختيار.

المساهمات الرئيسية

1. معيار قائم على أساس نظري للمكافآت غير الخطية: تقدم الورقة معيار اختيار مشتق من نظرية "المقامر المزدوج العصبي" (neural dueling bandits theory)، القابل للتطبيق على دوال المكافأة غير الخطية التي تمثلها النماذج اللغوية الكبيرة، متجاوزة بذلك افتراضات الخطية في الأعمال النظرية السابقة.
2. اختيار بيانات متمحور حول النموذج اللغيدي: على عكس الطرق التي تستخدم نماذج مكافأة خارجية، يستخدم ACTIVEDPO صراحةً تدرجات النموذج اللغيدي نفسه لتوجيه اختيار البيانات. يضمن ذلك أن البيانات المختارة مصممة خصيصاً للحالة الحالية للنموذج واحتياجات تعلمه.
3. تنفيذ قابل للتوسع: يجعل دمج اختيار الدفعات، وتدرجات LoRA، والإسقاط العشوائي النهج الصارم نظرياً ممكناً للنماذج واسعة النطاق، مما يوازن بين التكلفة الحسابية وكفاءة الملصقات.
4. التحقق التجريبي: تُظهر التجارب المكثفة أن ACTIVEDPO يتفوق باستمرار على جميع خطوط الأساس (Random, APO, APLP) عبر عائلات النماذج المختلفة (Llama, Gemma, Qwen) ومجموعات البيانات (TLDR, WebGPT).

النتائج التجريبية

قيم المؤلفون ACTIVEDPO على مجموعتي بيانات (تلخيص TLDR والأسئلة والأجوبة طويلة الصيغة WebGPT) باستخدام ثلاثة نماذج لغوية (Llama-2-7B, Gemma-2B, Qwen3-4B).

• الأداء: حقق ACTIVEDPO باستمرار درجات مكافأة معدلة ومعدلات فوز أعلى مقارنة بالاختيار العشوائي (Random)، وAPO (الذي يفترض مكافآت خطية)، وAPLP (وهي طريقة DPE استدلالية).
• تبعية النموذج: أظهرت التجارب أن النماذج اللغوية المختلفة (حتى داخل نفس العائلة ولكنها مدربة على بيانات SFT مختلفة) تتطلب مجموعات فرعية مختلفة من البيانات لتحقيق المواءمة المثلى، مما يؤكد ضرورة استراتيجيات الاختيار المخصصة للنموذج.
• دراسات الاستئصال (Ablation Studies):
  • الإسقاط العشوائي: استقر الأداء عند بُعد إسقاط قدره 8192، مما يؤكد إمكانية استخدام أبعاد أقل دون فقدان كبير في الجودة.
  • تطبيع التدرج: تبين أن تطبيع التدرجات يحسن الأداء من خلال منع انحياز الاختيار نحو الاستجابات الأطول، مما يضمن أن الاختيار مدفوع بالقدرة المعلوماتية وليس بالطول.

الأهمية والادعاءات

تدعي الورقة أن ACTIVEDPO يمثل خطوة مهمة للأمام نحو مواءمة فعالة للنماذج اللغوية الكبيرة من حيث كفاءة العينات، وذلك عبر سد الفجوة بين الضمانات النظرية والتطبيق العملي. تكمن أهميته الأساسية في:

• إزالة عقبة "نموذج المكافأة المنفصل": من خلال استخدام النموذج اللغيدي نفسه كنموذج مكافأة للاختيار، فإنه يتجنب عدم المواءمة الذي قد يحدث عندما يوجه نموذج منفصل عملية جمع البيانات لنموذج مستهدف مختلف.
• التعامل مع اللاخطية: يوفر إطاراً صارماً للتعلم النشط في سياق مشهد المكافأة المعقد وغير الخطي النموذجي للنماذج اللغوية الكبيرة الحديثة، حيث فشلت الطرق النظرية السابقة.
• كفاءة الملصقات: تحقق الطريقة أداء مواءمة فائق مع عدد أقل من التعليقات التوضيحية البشرية، مما يعالج التكلفة العالية لجمع البيانات.

يقر المؤلفون بأنه بينما تتكبد الطريقة عبئاً حسابياً إضافياً لحساب التدرجات مقارنة بالأساليب الاستدلالية الأبسط، إلا أن هذه التكلفة مبررة بالانخفاض الكبير في الحاجة إلى الملصقات البشرية المكلفة. كما يشيرون إلى أن تسريع حساب التدرجات يظل مجالاً للبحث المستقبلي.