🤖 machine learning

Convex Optimization for Alignment and Preference Learning on a Single GPU

تقدم الورقة البحثية COALA، وهي خوارزمية جديدة قائمة على التحسين المحدب، تتيح ضبطاً دقيقاً للتفضيلات للنماذج اللغوية الكبيرة بكفاءة باستخدام معالج رسومي واحد (single-GPU) من خلال إلغاء الحاجة إلى نموذج مرجعي وتقليل التكاليف الحسابية بشكل كبير مع الحفاظ على أداء تنافسي مقارنة بطرق مثل DPO.

المؤلفون الأصليون: Miria Feng, Mert Pilanci

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Miria Feng, Mert Pilanci

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: ضبط الذكاء الاصطناعي يشبه الجري في ماراثون داخل حوض استحمام

تخيل أن لديك روبوتًا ضخمًا وذكيًا للغاية (نموذج لغوي كبير، أو LLM) يمكنه الكتابة، والدردشة، وحل المشكلات. ومع ذلك، فهو حاليًا يتصرف بشكل غير متوقع؛ فأحيانًا يكون مفيدًا، وأحيانًا يكون فظًا، وأحيانًا أخرى يختلق الأمور من خياله.

لتعليمه كيف يكون "جيدًا" (متوافقًا مع التفضيلات البشرية)، تشبه الطرق الحالية محاولة تعليم طفل صغير المشي عبر جعله يركض في ماراثون وهو يحمل حقيبة ظهر ثقيلة.

الطريقة القديمة (RLHF): هذه هي طريقة "الخطوات الثلاث". تقوم بتدريب الروبوت، ثم تستأجر فريقًا كاملًا من الحكام البشر لتقييم عمله، ثم تدرب "نموذج مكافأة" ليحاكي هؤلاء الحكام، وأخيرًا تقوم بضبط الروبوت بناءً على هذا النموذج. إنها عملية مكلفة، بطيئة، وتتطلب حاسوبًا فائق القدرة (مثل أسطول من وحدات معالجة الرسومات عالية الأداء) للقيام بها فقط.
الطريقة "الأبسط" (DPO): حاولت هذه الطريقة إلغاء الوسيط (نموذج المكافأة)، لكنها لا تزال متقلبة. غالبًا ما تحتاج إلى "روبوت مرجعي" (نسخة من النموذج الأصلي) للمقارنة به، مما يضاعف الذاالتي تحتاجها. كما أنها غير مستقرة؛ فأحيانًا تتعلم دروسًا خاطئة، وتتطلب إعدادات دقيقة جدًا (معلمات فائقة) لتعمل، مثل محاولة موازنة قلم رصاص على طرفه.

الحل: COALA (خدعة "البطاقة الواحدة" السحرية)

يقترح المؤلفون COALA (خوارزمية التحسين المحدب للتعلم من التفضيلات والمواءمة). فكر في COALA كـ حزام تدريب ذكي وخفيف الوزن يسمح لك بتعليم روبوت ضخم باستخدام بطاقة رسومات واحدة فقط (مثل RTX-4090 الموجودة في أجهزة الكمبيوتر المخصصة للألعاب عالية الأداء)، بدلًا من مركز بيانات ضخم.

إليك كيف يعمل، باستخدام ثلاث تشبيهات بسيطة:

1. "التمثال المجمد" مقابل "الرأس المرن"

تخيل أن نموذج الذكاء الاصطناعي المدرب مسبقًا هو تمثال رخامي ضخم ومجمد. لقد نُحت بالفعل بتفاصيل مذهلة (فهو يعرف اللغة، والحقائق، والقواعد).

الطرق القديمة تحاول نحت التمثال بالكامل لتغيير تعبير وجهه. هذا أمر خطير (قد تكسر التمثال) ويتطلب آلات ثقيلة.
COALA يترك التمثটি مجمدًا تمامًا. بدلاً من ذلك، يضع رأسًا من الصلصال المرن والناعم فوق التمثال.
الهدف ليس تغيير التمثال؛ بل مجرد تشكيل رأس الصلصال ليوجه الاتجاه الصحيح (نحو الإجابات "المفيدة"). ولأن التمثال لا يتحرك، فأنت لا تحتاج إلى رافعة ضخمة (ذاكرة GPU) للإمساك به. أنت تحتاج فقط إلى أداة نحت صغيرة.

2. "الخط المستقيم" مقابل "الأفعوانية"

التدريب على الذكاء الاصطناعي يشبه عادةً التنقل في أفعوانية (Roller Coaster) مظلمة وضبابية. أنت تحاول الوصول إلى أدنى نقطة (أفضل إجابة)، لكن المسار يلتوي وينعطف. قد تعلق في منخفض صغير وتظن أنك انتهيت، أو قد تصطدم لأن المسار وعر للغاية. هذا هو "التحسين غير المحدب" (Non-convex optimization).

COALA يحول الأفعوانية إلى منزلق ناعم ومستقيم.
باستخدام "التحسين المحدب" (Convex optimization)، تضمن الرياضيات أنك إذا انزلقت، فستصل دائمًا إلى القاع تمامًا. لا توي وجود منخفضات مخفية أو نهايات مسدودة. وهذا يعني أن التدريب مستقر، ويمكن التنبؤ به، ولا يتطلب تعديلات مستمرة في الإعدادات لمنعه من الانهيار.

3. "استراتيجية الفصل الدراسي" (التناوب السكاني)

لتعليم الروبوت، تحتاج إلى أمثلة لـ "إجابة جيدة" مقابل "إجابة سيئة". عادةً، تحتاج إلى ذكاء اصطناعي ثانٍ لإنشاء "الإجابة السيئة" للمقارنة بها.

خدعة COALA: أنشأوا مجموعة بيانات تسمى EduFeedback (مثل فصل دراسي محاكى). بدلاً من طلب ذكاء اصطناعي ثانٍ لكتابة إجابة سيئة، هم فقط ينظرون إلى نفس المحادثة.
- الدور 1: الطالب يطرح سؤالاً.
- الدور 2: المعلم يعطي إجابة مباشرة ومثالية (الإجابة "المختارة").
- الدور 3: الطالب يطلب مزيدًا من التفاصيل، ويعطي المعلم إجابة خارجة عن الموضوع قليلاً أو أقل مباشرة (الإجابة "المرفوضة").
هذا يشبه أخذ محادثة واحدة وتقسيمها لإنشاء دروس متعددة. إنه أمر فعال ولا يتطلب أدوات خارجية مكلفة لإنشاء الأمثلة "السيئة".

لماذا يهم هذا (النتائج)

اختبر المؤلفون هذه الطريقة على عدة نماذج، بما في ذلك النموذج الشهير Llama-3.1-8B.

السرعة والتكلفة: استخدم COALA حوالي 17.6% فقط من قوة الحوسبة (TFLOPs) التي استخدمتها الطريقة القياسية (DPO). وقد عمل على بطاقة رسومات استهلاكية واحدة، بينما احتاجت الطرق الأخرى إلى بطاقات مؤسسات باهظة الثمن.
الاستقرار: بينما تذبذبت الطرق الأخرى وعانت لإيجاد الإعدادات الصحيحة، ارتفع "هامش المكافأة" (الذي يوضح مدى تفوق الإجابات الجيدة) في COALA بشكل ثابت وسلس، مثل سيارة تتسارع على طريق سريع مستقيم.
الموافقة البشرية: لم يعتمد المؤلفون على الدرجات الحاسوبية فحسب. فقد قرأ 107 بشر حقيقيين المخرات. وفضل البشر باستمرار الإجابات التي أنتجها COALA على الطرق الأخرى.

الخلاصة

يثبت COALA أنك لست بحاجة إلى حاسوب فائق لتعليم الذكاء الاصطناعي كيف يكون مفيدًا. من خلال التعامل مع المشكلة كمسألة رياضيات بسيطة وذات خط مستقيم (التحسين المحدب) وتجميد الأجزاء الثقيلة من "الدماغ"، يمكنك تدريب ذكاء اصطناعي قوي على جهاز واحد، بنتائج مستقرة ويمكن التنبؤ بها. إنه الفرق بين محاولة تحريك جبل باستخدام جرافة وبين استخدام رافعة لرفع صخرة.

ملخص تقني: COALA

بيان المشكلة

يعد الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) لتتوافق مع التفضيلات البشرية أمراً بالغ الأهمية لأنظمة مثل ChatGPT وGemini، ومع ذلك تواجه المنهجيات الحالية تحديات كبيرة في الحوسبة والاستقرار.

التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): رغم فعاليته، إلا أنه عملية معقدة متعددة المراحل (SFT، ونمذجة المكافأة، وتحسين السياسة)، وهي مكلفة حاسوبياً، وتتطلب تدخل العنصر البشري، وتستهلك موارد ضخمة.
تحسين التفضيل المباشر (DPO): يقدم DPO بديلاً أبسط عبر تمثيل دالة المكافأة مباشرة. ومع ذلك، فإنه يعاني من عدة قيود:
- كثافة الموارد: يتطلب نموذجاً مرجعياً مجمداً لاستقرار التدريب، مما يضاعف تكاليف الذاكرة (استضافة نموذجين).
- عدم الاستقرار: غالباً ما يُظهر دقة تصنيف غير متسقة وزيادات غير مستقرة في هامش المكافأة.
- الحساسية للمعلمات الفائقة (Hyperparameters): يعتمد بشدة على الضبط القائم على الحدس ويتطلب معدلات تعلم صغيرة للغاية (مثل $1\times 10^{-9}$ ) للوصه إلى التقارب.
- القيود العتادية: تجعل هذه العوامل التدريب على إعدادات بطاقة رسوميات واحدة (Single-GPU) أمراً صعباً، مما يحد من إمكانية الوصول ويزيد من استهلاك الطاقة.

المنهجية: COALA

يقترح المؤلفون COALA (خوارزمية التحسين المحدب للمواءمة وتعلم التفضيلات)، وهو إطار عمل خفيف الوزن مصمم لتمكين المواءمة الفعالة للتفضيلات على وحدة معالجة رسوميات واحدة.

التحول المفاهيمي الجوهري

يعيد COALA صياغة مهمة مواءمة التفضيلات كمسألة تحسين محدب (Convex Optimization) بدلاً من كونها مسألة غير محدبة. بدلاً من تحسين السياسة التوليدية بالكامل (كما في DPO)، يقوم COALA بما يلي:

تجميد النموذج الأساسي: يظل النموذج اللغوي الكبير المدرب مسبقاً ( $f_{\theta_{pre}}$ ) مجمداً.
إضافة رأس محدب: يتم وضع شبكة عصبية محدبة مكونة من طبقتين (cvxNN) فوق الميزات المجمدة لتعمل كمصنف ثنائي للتفضيلات.
إلغاء النموذج المرجعي: من خلال الاستفضاء بإعادة الصياغة المحدبة، يلغي COALA الحاجة إلى نموذج مرجعي، مما يقلل بشكل كبير من استهلاك ذاكرة الفيديو (VRAM).

الخطوات الخوارزمية

تعمل الطريقة في مرحلتين:

المرحلة الأولى: تدريب شبكة السياسة المحدبة

يستخدم المؤلفون خوارزمية CRONOS (وهي نسخة متخصصة من طريقة الضرب الموجه المتناوب - ADMM) لتدريب الـ cvxNN.
يتم صياغة المشكلة كمهمة تحسين محدب (المعادلة 4 في الورقة البحثية) تتضمن عقوبة "Lasso" المجمعة وقيود المخروط متعدد الوجوه.
تقوم CRONOS بحل هذه المشكلة عالية الأبعاد بكفاءة على وحدات معالجة الرسوميات، مما يوفر ضمانات تقارب قوية ويقلل الاعتماد على البحث الشبكي للمعلمات الفائقة.

المرحلة الثانية: الضبط الدقيق للتفضيلات

يتم تجميد أوزان الطبقة الأولى من الشبكة المحدبة ( $\Theta_1$ ) والنموذج الأساسي.
الانتقال إلى تدريب أوزان الطبقة النهائية فقط ( $\theta_2$ ) عن طريق حل مسألة انحدار لوجستي محدب (المعادلة 9).
الضمان النظري: ثبت أن دالة الهدف محدبة بالنسبة لـ $\theta_2$ ، مما يسمح للخوارزمية بالوصول إلى الأمثلية العالمية في وقت حدودي باستخدام المحسنات القياسية القائمة على التدرج (مثل AdamW).

ابتكار مجموعة البيانات: استراتيجية التسكين التبادلي

لمعالجة ندرة البيانات في تعلم التفضيلات، قدم المؤلفون استراتيجية التسكين التبادلي (Alternating Population Strategy) لمجموعة بيانات EduFeedback:

بدلاً من استخراج زوج تفضيل واحد لكل محادثة (الذي يتطلب نماذج لغوية خارجية لتوليد أزواج "المختار/المرفوض")، تستخرج هذه الاستراتيجية أزواجاً متعددة من محادثة واحدة متعددة الأدوار.
تعامل الاستراتيجية استجابة الوكيل الفورية كإجابة "مختارة"، واستجابة لاحقة مرتبطة موضوعياً ولكنها أقل مباشرة كإجابة "مرفوضة".
أنتج هذا النهج 65,606 زوجاً تدريبياً من 26,621 محادثة دون الحاجة لنماذج مكافأة خارجية.

المساهمات الرئيسية

إطار عمل COALA: إطار عمل محدب جديد مدعوم نظرياً يمكّن المواءمة الفعالة للتفضيلات على وحدة معالجة رسوميات واحدة (تم إثبات ذلك تحديداً على RTX-4090) دون الحاجة لنموذج مرجعي.
ضمانات التقارب: تقدم الورقة الباحثية براهين نظرية (النظرية 4.2 و4.3) تثبت أن COALA يحقق تقارباً إرغودياً بمعدل $O(1/k)$ لتدريب cvxNN و $O(/k^2)$ لخطوة الضبط الدقيق، مما يضمن زيادة مستقرة ورتيبة في المكافأة.
مجموعة بيانات EduFeedback: إصدار مجموعة بيانات تعليمية مفتوحة المصدر تحتوي على 26,621 محادثة مع "استراتيجية التكيين التبادلي" المبتكرة لتخليق أزواج التفضيلات بكفاءة.
تنفيذ مفتوح المصدر: كود برمجي Modular بلغة JAX مصمم لإعادة الإنتاج والنشر على وحدة معالجة رسوميات واحدة.

النتائج التجريبية

قيم المؤلفون COALA عبر ستة نماذج (تتراوح من DistilGPT-2 إلى Llama-3.1-8B) وأربع مجموعات بيانات (EduFeedback, UltraFeedback, IMDb, HelpSteer).

الأداء: أظهر COALA أداءً تنافسياً ضد نماذج DPO وORPO وSFT الأساسية في اختبارات تشمل AlpacaEval2 وMT-Bench وArenaHard.
- على نموذج Llama-3.1-8B مع مجموعة بيانات EduFeedback، حقق COALA معدل فوز متحكم في الطول (LC WR%) بنسبة 40.90%، متفوقاً على ORPO (23.87%) ومساوياً لـ DPO (40.68%) مع تباين أقل بكثير.
الكفاءة:
- استخدم COALA حوالي 17.6% فقط من إجمالي العمليات الحسابية (TFLOPs) التي يتطلبها DPO.
- حقق تدريباً مستقراً على بطاقة RTX-4090 واحدة (24GB VRAM)، بينما تطلب DPO وORPO بطاقات A100 (40GB VRAM) لاستيعاب النموذج المرجعي.
التحقق البشري: في دراسة مزدوجة التعمية شملت 107 مشاركاً بشرياً، حقق COALA أعلى معدلات فوز بناءً على التغذية الراجعة البشرية الحقيقية (39.1% على EduFeedback و42.7% على IMDb)، متفوقاً إحصائياً على نماذج DPO وORPO وSFT.
الاستقرار: على عكس Dero الذي أظهر هوامش مكافأة مشوشة، أظهر COALA هوامش مكافأة مستقرة ومتزايدة رتيبة عبر جميع النماذج ومجموعات البيانات.

الأهمية والادعاءات

تدعي الورقة أن COALA يمثل أول تطبيق فعال للتحسين المحدب في الضبط الدقيق لتفضيلات النماذج اللغوية الكبيرة. وتكمن أهميته في:

ديمقراطية المواءمة: من خلال تمكين ضبط التفضيلات عالي الجودة على وحدة معالجة رسوميات واحدة من فئة المستهلكين، فإنه يخفض حاجز الدخول للبحث والنشر، خاصة في البيئات ذات الموارد المحدودة أو تلك التي تتطلب الخصوصية (في الموقع).
الصرامة النظرية: يستبدل التحسين القائم على الحدس وغير المحدب بإطار عمل محدب مدعوم رياضياً، مما يوفر ضمانات للأمثلية العالمية والاستقرار تفتقر إليها أساليب DPO الحالية.
كفاءة الموارد: يعالج القلق المتزايد بشأن استهلاك الطاقة في الذكاء الاصطناعي من خلال تقليل التكلفة الحسابية (TFLOPs) وبصمة الذاكرة المطلوبة للمواءمة بشكل جذري، مما يوفر بديلاً مستداماً لزيادة حجم الحوسبة وحدها.

يضع المؤلفون COALA ليس كبديل للضبط الدقيق لكامل المعلمات في جميع السيناريوهات، بل كاستراتيجية فعالة للغاية من حيث التكلفة الحسابية لمهام المواءمة التي تركز على الموضوعية، والصحة، والجانب التربوي، حيث تكون ميزات النموذج الأساسي معبرة بما يكفي لدعم المهمة.