🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

تُثبت هذه الورقة أن هدف الترتيب (المزدوج مقابل النقطي) هو المحدد الرئيسي لجودة المحاذاة في خوارزميات المحاذاة المباشرة، متفوقاً على الدرجة القياسية المحددة التي يتم تحسينها أو تكوين مرحلة التدريب، وذلك عند تقييمه ضمن إطار موحد يوحد مراحل الضبط الدقيق الموجه (SFT) والمعلمات الفائقة.

المؤلفون الأصليون: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً ولكنه متمرد قليلاً (نموذج لغوي كبير) كيف يكون مفيداً ومتبعاً للتعليمات. لفترة طويلة، كانت الطريقة القياسية للقيام بذلك تشبه رقصة من ثلاث خطوات: أولاً، علمه الأساسيات؛ ثانياً، استأجر حكماً بشرياً لتقييم إجاباته؛ وثالثاً، استخدم نظام مكافأة معقداً لتدريبه على الحصول على درجات أعلى.

مؤخراً، اخترع الباحثون "خوارزميات المحاذاة المباشرة" (DAAs). وهي طرق مختصرة تتخطى الحكم البشري ونظام المكافأة المعقد، محاولةً تعليم الروبوت مباشرة باستخدام معادلة رياضية واحدة. المشكلة هي أن الجميع بدأوا في ابتكار معادلاتهم الفريدة الخاصة، زاعمين أن معادلتهم هي "الأفضل"، لكن لم يستطع أحد الاتفاق على لماذا تعمل إحداها بشكل أفضل من غيرها. كان الأمر يشبه ادعاء الجميع بأن علامتهم التجارية الخاصة من الطلاء هي الأفضل، دون أن يدركوا أنهم جميعاً يدهنون على جدران مختلفة.

هذه الورقة البحثية تشبه قصة بوليسية توضح هذا الارتباك أخيراً. إليك ما وجده المؤلفون، مشروحاً ببساطة:

1. تجربة "الورشة الموحدة"

أدرك المؤلفون أن كل هذه الخوارزميات المختلفة كانت تُختبر في "ورش عمل" (إعدادات تدريب) مختلفة. بعضها بدأ بروبوت تعلم الأساسيات بالفعل (SFT)، بينما حاول البعض الآخر تعليم الأساسيات والمحاذاة في نفس الوقت.

لجعل المقارنة عادلة، قاموا ببناء ورشة موحدة. لقد أجبروا كل خوارما على:

أولاً، تعلم الأساسيات في فصل دراسي منفصل (SFT).
ثم، الالتحاق بفصل المحاذاة.
استخدام "مقبض حرارة" مشترك (يسمى $\beta$ ) للتحكم في مدى صرامة التدريب.

النتيجة: بمجرد وضع الجميع في ورشة عمل واحدة، اختفت الفروق بين المعادلات الرياضية المحددة (السكالارات) إلى حد كبير. اتضح أن الحيلة الرياضية المحددة التي استخدمتها الخوارزمية لم تكن مهمة بقدر كيفية مقارنتها للإجابات.

2. البطل الحقيقي: "المقارنة الثنائية" مقابل "المقارنة النقطية"

اكتشفت الورقة أن العامل الأكثر أهمية ليس المعادلة الرياضية المحددة، بل الاستراتيجية المستخدمة لمقارنة الإجابات. وقد وجدوا استراتيجيتين رئيسيتين:

استراتيجية "المقارنة النقطية" (الأداء المنفرد): تخيل معلماً يصحح مقال طالب من خلال النظر إليه بمفرده. "هل هذا المقال جيد؟ نعم/لا". ثم ينظر إلى مقال سيء. "هل هذا سيء؟ نعم/لا". إنه يصححهم بشكل مستقل.
استراتيجية "المقارنة الثنائية" (المناظرة): تخيل معلماً ينظر إلى مقال جيد ومقال سيء جنباً إلى جنب. "حسناً، بالنظر إلى هذين الاثنين، أيهما أفضل؟" إنه يركز تماماً على الفرق بين الاثنين.

النتيجة: استراتيجية المقارنة الثنائية (المناظرة) فازت باستمرار. لقد كانت مثل مدرب يركز على مقارنة اللاعبين ببعضهم البعض بدلاً من الحكم عليهم في عزلة. أما استراتيجية "المقارنة النقطية" فقد ارتبكت غالباً بسبب السمات الغريبة للأسئلة (المطالبات)، مما أدى إلى إهدار الطاقة في محاولة إصلاح أشياء لا تحتاج إلى إصلاح.

3. لماذا يحدث هذا؟ تشبيه "التحيز"

يشرح المؤلفون هذا من خلال تشبيه ذكي حول التحيز والطاقة الذهنية.

تخيل أن لدى الروبوت مقداراً محدداً من "الطاقة الذهنية" (السعة) للتعلم.

مشكلة المقارنة النقطية: عندما ينظر الروبوت إلى إجابة واحدة بمفردها، فإنه يحاول إصلاح كل شيء. إذا كان السؤال يحتوي على تحيز غريب (مثل سؤال مخادع)، فإن الروبوت ينفق كل طاقته في محاولة "إلغاء تعلم" هذه الخدعة. يصبح مشغولاً جداً بإصلاح الخدعة لدرجة أنه ينسى تعلم كيفية حل المشكلات الصعبة فعلياً.
ميزة المقارنة الثنائية: عندما يقارن الروبوت إجابتين جنباً إلى جنب، فإنه يتجاهل الخدع الغريبة للسؤال. هو يهتم فقط بـ: "هل الإجابة (أ) أفضل من الإجابة (ب)؟" إنه لا يهدر طاقته في محاولة إصلاح تحيز السؤال؛ بل يركز فقط على الترتيب.

نقطة التوازن المثالية:

المهام السهلة: إذا كانت المهمة سهلة للغاية، فلدى الروبوت طاقة وفيرة. كلتا الاستراتيجيتين تعملان بشكل جيد.
المهام الصعبة: إذا كانت المهمة صعبة للغاية، فإن الروبوت يكون مثقلاً جداً لدرجة أن أي استراتيجية لن تعمل بشكل جيد.
الصعوبة المتوسطة: هنا يحدث السحر. لدى الروبوت طاقة كافية للتعلم، ولكن ليست كافية لإصلاح كل تحيز. استراتيجية المقارنة الثنائية تفوز هنا لأنها توفر طاقتها للأجزاء الصعبة، بينما تستهلك استراتيجية "المقارنة النقطية" طاقتها في معالجة التحيزات.

4. مفاجأة "كفاءة البيانات"

هناك اكتشاف رائع آخر، وهو أنك لا تحتاج إلى مكتبة ضخمة من البيانات لتعليم هذه الروبات. وجد المؤلفون أن استخدام 5% إلى 10% فقط من بيانات التدريب المعتادة كان كافياً لوصول الروبوتات إلى 95% من أدائها المحتمل. إنه يشبه إدراك أنك لست بحاجة لقراءة الموسوعة بأكملها لتتعلم كيف تكتب قصة جيدة؛ فبضع فصول رئيسية تكفي.

الملخص

تخلص الورقة إلى أن الخوارزمية "الأفضل" ليست علامة تجارية محددة من المعادلات الرياضية. بدلاً من ذلك، الفائز هو نهج المقارنة الثنائية (مقارنة الإجابات جنباً إلى جنب) لأنه أكثر ذكاءً في كيفية استخدام قدرة الروبوت الذهنية المحدودة. فهو يتجنب التشتت بالسمات الغريبة للأسئلة الفردية، مما يسمح له بالتركيز على ما يهم حقاً: معرفة أي إجابة هي الأفضل من الأخرى.

يحذر المؤلفون من أن الادعاءات السابقة بأن خوارزمية ما "متفوقة" كانت غالباً بسبب اختبارها في ظروف مختلفة أو في مهام لا يظهر فيها الفرق. وبمجرد تسوية الملعب، تظل استراتيجية المقارنة الثنائية هي البطل الواضح.

ملخص تقني: الفروق بين خوارزميات المحاذاة المباشرة هي ضبابية

بيان المشكلة

لقد برزت خوارزميات المحاذاة المباشرة (DAAs) كبديل مبسط للتعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، حيث تتجاوز مراحل نمذجة المكافأة الصريحة والتعلم التعزيزي لتحسين سياسات النماذج اللغوية مباشرة. ورغم انتشار الأساليب المتنوعة — بدءاً من نموذج المرحلتين المتمثل في تحسين التفضيلات المباشرة (DPO) وصولاً إلى الأساليب القائمة على نسبة الأرجحية ذات المرحلة الواحدة مثل تحسين نسبة الأرجحية (ORPO) والضبط الدقيق الخاضع للإشراف المتوافق (ASFT) — إلا أن الأدبيات تظل مجزأة.

تتمثل المشكلة الجوهرية التي يعالجها البحث في صعوبة عزل الخيارات التصميمية المحددة التي تدفع فعلياً نحو تحسين جودة المحاذاة. فالمقارنات الحالية غالباً ما تكون مشوشة بسبب اختلاف بروتوكولات التدريب (على سبيل المثال، مسارات المرحلة الواحدة مقابل المرحلة الثانية)، ووجود أو غياب السياسة المرجعية، وتفاوت مساحات المعلمات الفائقة (تحديداً معلمة $\beta$ ). وبناءً على ذلك، فإن الادعاءات بـالتفوق الخوارزمي غالباً ما تستند إلى فروق طفيفة قد تنجم عن عوامل متعلقة بإعداد التجربة بدلاً من مزايا خوارزمية جوهرية.

المنهجية

لفك الارتباط بين هذه العوامل، يقترح المؤلفون إطار تدريب موحد يضع جميع خوارزميات المحاذاة المباشرة (DAAs) على قدم المساواة. يتضمن هذا الإطار تعديلين حاسمين للطرق الحالية:

التقييد بمسار المرحلة الثانية: قام المؤلفون بتحويل الأساليب التي كانت في الأصل من مرحلة واحدة (ORPO، ASFT) إلى مسار من مرحلتين. يتضمن ذلك مرحلة صريحة للضبط الدقيق الخاضع للإشراف (SFT) للحصول على سياسة ( $\pi_{SFT}$ )، تليها مرحلة تحسين تفضيلات غير متصلة (offline). هذا يعزل خسارة المحاذاة عن خسارة الـ SFT، مما يسمح بمقارنة محكومة لأهداف المحاذاة نفسها.
إدخال معلمة $\beta$ : أدخل المؤلفون معلمة درجة حرارة/تحجيم $\beta$ إلى أساليب نسبة الأرجحية ذات المرحلة الواحدة (ORPO، ASFT)، والتي تفتقر تقليدياً لهذه المعلمة. وهذا يضع جميع الطرق (بما في ذلك DPO، IPO، SimPO، إلخ) في مساحة معلمات فائقة مشتركة، مما يتيح إجراء تحليل حساسية منهجي.

ضمن هذا الإعداد الموحد، يحلل المؤلفون خوارزميات المحاذاة المباشرة وفق محورين رئيسيين:

عائلة الدرجات القياسية (Scalar Score Family): اختيار دالة الدرجة الأساسية، وتحديداً نسبة السياسة إلى المرجع ( $r^{ref}_\theta$ ) المستخدمة في DPO مقابل نسبة الأرجحية ( $r^{odds}_\theta$ ) المستخدمة في ORPO/ASFT.
هدف التصنيف (Ranking Objective): الصياغة الهيكلية للخسارة، مع التمييز بين الأهداف الثنائية (التي تحسن الفجوة النسبية بين الاستجابات المختارة والمرفوضة، مثل DPO، IPO، SimPO، ORPO) والأهداف الفردية (التي تحسن الاحتمالية المطلقة للاستجابات المختارة والمرفوضة بشكل مستقل، مثل ASFT، NCA، Cal-DPO، APO-Zero).

يشمل التقييم مهام اتباع التعليمات (AlpacaEval 2، ArenaHard) ومعايير الاستدلال الرياضي (GSM8K، MATH500، إلخ) عبر أحجام نماذج متعددة (Llama 3.2 3B، Llama 3.1 8B، Mistral 7B، Qwen 2.5 7/14B).

المساهمات الرئيسية

بروتوكول موحد لخوارزميات المحاذاة المباشرة: يثبت البحث أن تحويل أساليب المرحلة الواحدة إلى مسار مرحلتين مع مرحلة SFT صريحة وإدخال معلمة $\beta$ أمر ضروري لتعظيم الأداء، حتى بالنسبة لأهداف نسبة الأرجحية.
هدف التصنيف كمحرك أساسي: تحت البروتوكول الموحد، يجد المؤلفون أن المزايا التي تم الإبلاغ عنها سابقاً لأساليب معينة من الـ DAAs تختفي إلى حد كبير بعد ضبط المعلمات الفائقة. المحدد الرئيسي لجودة المحاذاة هو نوع التصنيف (ثنائي مقابل فردي)، وليس اختيار الدرجة القياسية (نسبة السياسة-المرجع مقابل نسبة الأرجحية). تتفوق الأساليب الثنائية باستمرار على الأساليب الفردية، لا سيما عند مستويات الصعوبة المتوسطة وأحجام النماذج المتوسطة.
آلية فجوات الأداء: يقدم البحث دليلاً على أن فجوات الأداء تنشأ من التفاعل بين دالة الهدف والانحيازات الخاصة بالمطالبات (prompts).
- الأهداف الثنائية ثابتة هيكلياً تجاه الإزاحات الموحدة في الدرجات لمطالبة معينة؛ فهي تركز فقط على التصنيف النسبي.
- الأهداف الفردية تولد إشارات تدرج تحفز النموذج على تعديل مستويات الدرجات المطلقة (الدرجة الهامشية) لكل مطالبة. وفي الأنظمة محدودة السعة، تتنافس عملية "إلغاء تعلم" الانحياز الخاص بالمطالبة هذه مع مهمة التصنيف الأساسية، مما يؤدي إلى أداء دون المستوى في المهام الأكثر صعوبة.
كفاءة البيانات: توضح الدراسة أن معظم خوارమైన المحاذاة المباشرة (DAAs) فعالة للغاية من حيث البيانات، حيث تتطلب فقط 5-10% من مجموعة بيانات SFT للوصول إلى $\ge$ 95% من أدائها عند استخدام كامل البيانات.

النتائج

تقارب الأداء: عند مقارنتها بموجب البروتوكول الموحد، تؤدي معظم خوارزميات DAAs أداءً مشابهاً أو أسوأ من DPO القياسي. وغالباً ما تتلاشى المزايا المتميزة التي ادعتها الأدبيات السابقة لأساليب معينة.
تفوق الأساليب الثنائية: عبر معايير اتباع التعليمات والاستدلال الرياضي، تحقق الأساليب الثنائية (DPO، IPO، SimPO، ORPO) باستمرار درجات ذروة أعلى من الأساليب الفردية (ASFT، NCA، Cal-DPO، APO-Zero). ويظهر هذا الاتجاه بوضوح في حجم نموذج 8B على مجموعة بيانات UltraFeedback وفي مهام الاستدلال الرياضي مع Qwen 2.5.
عدم أهمية الدرجة القياسية: اختيار النسبة بين (السياسة-المرجع) ونسبة الأرجحية يعطي نتائج متقاربة عند التحكم في هدف التصنيف وبروتوكول التدريب.
الحساسية للصعوبة: تكون الفجوة في الأداء بين الأساليب الثنائية والفردية ضئيلة للمهام السهلة جداً (حيث تكون السعة كافية للتعامل مع كل من التصنيف وإزالة الانحياز) وللمهام الصعبة جداً (حيث تكون السعة غير كافية لكليهما). تظهر الفجوة بشكل أساسي عند الصعوبة المتوسطة، حيث تعاني الأساليب الفردية من موازنة إزالة الانحياز مع صقل التصنيف.
تأثير $\beta$ : يؤدي إدخال معلمة $\beta$ إلى ORPO وASFT إلى تحسين جودة محاذاتهما بشكل كبير، مما يؤكد دورها كآلية تبريد فعالة.

الأهمية والادعاءات

يجادل البحث بأن مجال أبحاث خوارزميات المحاذاة المباشعة (DAA) قد تعرّض للعائق بسبب بروتوكولات التقييم المجزأة التي تحجب الدوافع الحقيقية للأداء. ومن خلال توحيد إعداد التدريب، يوضح المؤلفون أن اختيار هدف التصنيف (ثنائي مقابل فردي) هو العامل الهيكلي المهيمن الذي يؤثر على جودة المحاذاة، بينما تلعب بارامترات الدرجة المحددة دوراً ثانوياً.

يدعي المؤلفون أن التأكيدات السابقة حول "أفضل" خوارزمية DAA غالباً ما تعتمد على تفاصيل غير مستكشفة في الإعداد والانحياز في البيانات بدلاً من التفوق الخوارزمي الجوهري. وتؤكد نتائجهم الحاجة إلى تقييمات دقيقة ومحكومة لتجنب الادعاءات المبسطة للغاية. علاوة على ذلك، فإن تحديد التفاعل بين الأهداف والانحيازات الخاصة بالمطالبات يقدم تفسيراً ميكانيكياً لفروق الأداء الملحوظة، مما يشير إلى أن الأهداف الثنائية أكثر قوة في السيناريوهات التي تكون فيها سعة النموذج محدودة بالنسبة لصعوبة المهمة.

يخلص البحث إلى أنه بينما يمكن أن تكون خوارزميات نسبة الأرجحية (مثل ORPO) فعالة، إلا أنها تستفيد بشكل كبير من نفس التعديلات الهيكلية (فصل SFT وضبط $\beta$ ) مثل الطرق الأخرى، وأن أداءها محكوم في النهاية بنفس ديناميكيات التصنيف الثنائي مقابل الفردي.