💬 NLP

Robust Preference Alignment via Directional Neighborhood Consensus

تقدم هذه الورقة البحثية طريقة "اختيار التفضيل القوي" (RPS)، وهي طريقة لا تتطلب تدريباً وتُطبق في مرحلة ما بعد التدريب، تستفيد من إجماع الجوار الاتجاهي لعيننة واختيار الاستجابات المتفوقة، مما يساهم بفعالية في سد فجوة تغطية التفضيلات وتعزيز متانة النموذج عبر مختلف الاحتياجات البشرية دون الحاجة إلى إعادة التدريب.

المؤلفون الأصليون: Ruochen Mao, Yuling Shi, Xiaodong Gu, Jiaheng Wei

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruochen Mao, Yuling Shi, Xiaodong Gu, Jiaheng Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً ومطلعاً، تم تدريبه للإجابة على أسئلتك. ومع ذلك، خلال فترة تدريبه، تعلم في الغالب من الطلبات "المتوسطة". إنه بارع في تقديم إجابات قياسية، آمنة، ومفيدة للأسئلة الشائعة.

ولكن ماذا يحدث عندما تسأله شيئاً محدداً للغاية، أو غير معتاد، أو دقيقاً؟ ربما تريد إجابة تفصيلية للغاية ولكنها قصيرة جداً، أو إبداعية للغاية ولكنها واقعية بدقة. هذه هي الطلبات "خارج التوزيع" (out-of-distribution)—وهي الطلبات التي تقع خارج نطاق منطقة الراحة المعتادة للمساعد.

عند مواجهة مثل هذه الطلبات الصعبة، غالباً ما يتعثر المساعد. قد يقدم إجابة عامة تفتقر إلى الجوهر، أو قد يرتبك لأن لم يسبق له رؤية طلب كهذا من قبل. هذا هو "فجوة تغطية التفضيلات" (Preference Coverage Gap): الفجوة بين ما يعرفه المساعد (المتوسط) وما تريده أنت بالفعل (المحدد).

الطريقة القديمة: التخمين والتحقق

تقليدياً، ولإصلاح ذلك، يحاول الباحثون إعادة تدريب المساعد. يقومون بتغذيته بالملايين من الأمثلة الجديدة لهذه الطلبات المحددة. لكن هذا يشبه محاولة تعليم طاهٍ كل وصفة ممكنة في العالم فقط لكي يتمكن من صنع طبق واحد محدد تريده. إن هذا الأمر مكلف، بطيء، ولا يمكنك أبداً تدريبه على كل تفضيل ممكن.

هناك نهج آخر، وهو أن تطلب من المساعد محاولة الإجابة على طلبك المحدد خمس مرات واختيار الأفضل من بينها. ولكن إذا كان المساعد مرتبكاً بشأن الطلب منذ البداية، فقد تكون جميع الإجابات الخمس سيئة بالتساوي.

الطريقة الجديدة: "إجماع الجوار" (RPS)

يقدم هذا البحث حيلة ذكية لا تتطلب إعادة تدريب تُسمى "اختيار التفضيلات القوي" (Robust Preference Selection - RPS). فبدلاً من إجبار المساعد على تخمين طلبك المحدد والصعب فوراً، فإنه يستخدم استراتيجية تسمى "إجماع الجوار الاتجاهي" (Directional Neighborhood Consensus).

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

التشبيه: السائح التائه

تخيل أنك سائح في مدينة أجنبية، وتريد العثور على مطعم مخفي ومميز (هذا هو تفضيلك المستهدف).

المشكلة: أنت لا تعرف العنوان بالضبط، والخريطة التي تملكها (نموذج الذكاء الاصطناعي) ضبابية في هذه المنطقة تحديداً. إذا طلبت من الخريطة ببساطة الاتجاهات إلى ذلك الموقع الدقيق، فقد ترسلك إلى طريق مسدود.
الحل القديم: الاستمرار في سؤال الخريطة عن نفس الموقع مراراً وتكراراً، على أمل أن تصيب. (هذه هي الطريقة الأساسية).
حل RPS: بدلاً من التحديق في النقطة الدقيقة، انظر إلى الجوار المحيط. اطلب من الخريطة الاتجاهات إلى 5 شوارع مختلفة بالقرب من مطعمك المستهدف.
- الشارع (أ) يقع إلى اليسار قليلاً.
- الشارع (ب) يقع إلى اليمين قليلاً.
- الشارع (ج) يقع في الخلف قليلاً.
- ... وهكذا.

لأن هذه الشوارع المحيطة معروفة جيداً ومحددة بوضوح على الخريطة (إنها "داخل التوزيع")، فإن الخريطة ستعطيك اتجاهات ممتازة وعالية الجودة لجميع هذه الأماكن.

الآن، لديك 5 اتجاهات رائعة لـ 5 أماكن قريبة. انظر إلى جميع الخيارات الخمسة واسأل نفسك: "أي من هذه الأماكن الخمسة هو في الواقع الأقرب إلى المطعم المحدد الذي أردته؟"

أنت تختار المكان الذي يتوافق بشكل أفضل مع هدفك الأصلي.

لماذا ينجح هذا؟

الاستكشاف أذكى: النموذج الذكي الاصطناعي أفضل بكثير في الإجابة على الطلبات التي تكون قريبة مما يعرفه مقارنة بإجابته على الطلب الغريب والمحدد مباشرة. من خلال توليد إجابات لـ "الجيران"، ينتج الذكاء الاصطناعي مجموعة من المرشحين عالي الجودة.
الفلتر النهائي: بمجرد أن يولد الذكاء الاصطناعي هذه الإجابات الخمس الرائعة لـ "الجيران"، يستخدم النظام طلبك المحدد الأصلي كمسطرة لقياسهم. ثم يختار الإجابة التي تناسب احتياجاتك بشكل أفضل.
لا حاجة لإعادة التدريب: يحدث هذا فوراً عند طرح السؤال. لا تحتاج لتعليم الذكاء الاصطناعي أي شيء جديد؛ أنت فقط تغير كيفية طلبك منه أن يجيب.

النتائج

اختبر الباحثون هذا على ثلاثة أنواع مختلفة من نماذج الذكاء الاصطناعي ووجدوا أن:

إنه يعمل في كل مكان: بغض النظر عن الطريقة التي تم بها تدريب الذكاء الاصطناعي، جعلت تقنية RPS أداءه أكثر موثوقية.
إنه يتألق في الأسئلة الصعبة: كلما كان الطلب غير معتاد ومحدداً (أي كلما كان بعيداً عن "المتوسط")، كان أداء RPS أفضل. في بعض الحالات، حسن معدل النجاح بنسبة تقارب 70%.
إنه سريع: لا يبطئ الكمبيوتر ولا يتطلب ذاكرة إضافية. إنه يشبه ترقية "جاهزة للتشغيل" (plug-and-play).

باختصار

بدلاً من إجبار ذكاء اصطناعي مرتبك على تخمين طلبك المحدد والصعب، يقوم RPS بسؤاله عن الإجابة على خمسة أسئلة مختلفة قليلاً وأسهل في الجوار، ثم يختار الأفضل من بينها. إنها طريقة بسيطة وذكية لجعل الذكاء الاصطناعي أكثر قوة، وقدرة على التكيف، وفائدة للجميع، حتى عندما تطلب شيئاً فريداً.

إليك ملخص تقني مفصل لورقة البحث "Robust Preference Alignment via Directional Neighborhood Consensus" (ICLR 2026).

1. بيان المشكلة: فجوة تغطية التفضيلات (The Preference Coverage Gap)

تتناول الورقة البحثية قصوراً حرجاً في عملية مواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية، وهو ما يُعرف بـ "فجوة تغطية التفضيلات".

المشكلة الجوهرية: توجد التفضيلات البشرية في فضاء متعدد الأبعاد واسع (على سبيل المثال، المقايضات بين الفائدة والإسهاب في الكلام). ومع ذلك، فإن بيانات التدريب عادة ما تتركز في منطقة ضيقة من التفضيلات "المتوسطة" أو السائدة.
النتيجة: عندما يطلب المستخدم استجابة تعكس تفضيلاً فردياً دقيقاً يبتعد عن توزيع التدريب (سيناريو خارج نطاق التوزيع - OOD)، يتدهور أداء النموذج بشكل غير متوقع.
محدودية الحلول الحالية: تتضمن الطرق الحالية لإصلاح ذلك عادةً إعادة تدريب مكلفة (مثل التحسين المتين لتوزيع البيانات - DRO) أو تعزيز البيانات، وهي طرق قد لا تعمم بشكل جيد على كامل طيف التفضيلات المتنوعة وتكون مكلفة حاسوبياً.

2. المنهجية: اختيار التفضيلات المتين (Robust Preference Selection - RPS)

يقترح المؤلفون طريقة RPS، وهي طريقة تُستخدم أثناء الاستنتاج (Inference-time)، وهي لاحقة (Post-hoc) ولا تتطلب إعادة تدريب. بدلاً من إجبار النموذج على توليد استجابة مباشرة من متجه تفضيل مستهدف محدد وربما يكون هشاً ( $v_{target}$ )، تعتمد RPS على إجماع الجوار الاتجاهي (Directional Neighborhood Consensus).

الخوارزمية (ثلاث مراحل)

بناء الجوار (Neighborhood Construction):
- بدلاً من استخدام $v_{target}$ مباشرة، تقوم RPS بأخذ عينات من $k$ من متجهات التفضيل المرشحة من جوار زاوي محلي حول $v_{target}$ (ضمن عتبة $\theta_{max}$ ).
- تمثل هذه المتجهات المجاورة مقايضات مختلفة قليلاً، والتي من المرجح أن تكون أقرب إلى المناطق التي تدرب عليها النموذج بشكل جيد.
التوليد متعدد الاتجاهات (Multi-Directional Generation):
- يقوم النموذج بتوليد استجابة متميزة ( $y_i$ ) لكل واحد من متجهات التفضيل المجاورة الـ $k$ .
- يؤدي هذا إلى إنشاء مجموعة متنوعة من المرشحين، حيث يتم تحسين كل منها لاتجاه يكون فيه النموذج أكثر ثقة ومتانة.
اختيار الإجماع (Consensus Selection):
- يتم تقييم جميع الاستجابات الـ $k$ المولدة مقابل التفضيل المستهدف الأصلي للمستخدم ( $v_{target}$ ) باستخدام نموذج مكافأة (Reward Model).
- يتم اختيار الاستجابة ذات أعلى درجة مكافأة مسقطة ( $v_{target}^T r(x, y_i)$ ) لتكون هي المخرج النهائي.

الإطار النظري

تقدم الورقة تبريراً نظرياً لسبب تفوق هذا النهج على خط الأساس القوي (الذي يكتفي ببساطة بأخذ عينات $k$ مرة من اتجاه الهدف الواحد $v_{target}$ ).

الافتراض 1 (تدهور الأداء خارج نطاق التوزيع - OOD): يعمل النموذج بشكل أفضل (مكافأة متوقعة أعلى) عند توليد استجابات لمتجهات تفضيل أقرب إلى توزيع التدريب (الجوار) مقارنة بمتجه التفضيل المستهدف نفسه (خارج التوزيع).
الافتراض 2 (الاتساق المحلي): مشهد المكافأة (Reward Landscape) سلس محلياً. فالاستجابة المولدة لمتجه جارٍ $v_i$ ستظل تسجل درجات عالية عند تقييمها مقابل متجه الهدف $v_{target}$ إذا كانت المسافة الزاوية صغيرة.
النظرية 1 (التفوق): تحت هذه الافتراضات، تكون القيمة المتوقعة للدرجة القصوى لأفضل استجابة يتم اختيارها من مجموعة الجوار أكبر تماماً من القيمة المتوقدة للدرجة القصوى لأفضل استجابة ناتجة عن أخذ عينات متكررة من اتجاه الهدف. بعبارة أخرى، تخلق RPS "مجموعة مرشحين ذات جودة أعلى".

3. المساهمات الرئيسية

التعريف الرسمي للفجوة: عرّف المؤلفون "فجوة تغطية التفضيلات" رسمياً كتحدٍ حرج يتعلق بالبيانات خارج نطاق التوزيع (OOD) مما يقوض موثوقية النماذج اللغوية الكبيرة الموائمة.
منهجية مبتكرة لا تتطلب تدريباً: تقديم RPS، التي تعزز المتانة دون تعديل أوزان النموذج أو الحاجة إلى إعادة تدريب. وهي تعمل بالكامل في فضاء التفضيلات.
الإثبات النظري: إثبات صارم يوضح أن التوليد من الجوار ينتج مجموعة مرشحين تتفوق إحصائياً على التوليد المباشر من اتجاه الهدف، بشرما يتحقق الاتساق المحلي.
التحقق التجريبي الشامل: تجارب مكثفة عبر ثلاثة نماذج مواءمة مختلفة (DPA, DPO, SFT) وثلاث مجموعات بيانات (UltraFeedback, HelpSteer, HelpSteer2).

4. النتائج التجريبية

قيم المؤلفون RPS مقابل خط أساس قوي (أخذ عينات $k=5$ من اتجاه الهدف) عبر نماذج مختلفة:

النماذج المختبرة: DPA-v1-Mistral-7B (المواءمة التفضيلية الاتجاهية)، Zephyr-7B-Beta (DPO)، و Mistral-7B-Instruct-v0.2 (SFT).
الأداء:
- حققت RPS باستمرار معدلات فوز تتجاوز 50% مقابل خط الأساس في جميع الإعدادات.
- المتانة خارج نطاق التوزيع (OOD): نمت ميزة RPS بشكل كبير مع ابتعاد التفضيل المستهدف عن توزيع التدريب (زيادة المسافة الزاوية).
- ذروة الأداء: في مجموعة بيانات HelpSteer2 مع نموذج SFT، حققت RPS معدل فوز بنسبة 69.1% عند انحراف قدره 45 درجة، ووصلت إلى 94.3% في اختبارات اتجاه محددة.
- نماذج DPA: أظهرت تحسناً هائلاً في التفضيلات خارج نطاق التوزيع (على سبيل المثال، الصعود من حوالي 53% إلى 69% في معدل الفوز مع زيادة الزاوية)، مما يؤكد الفرضية القائلة بأن النماذج المدربة على اتجاهات محددة تكون هشة خارج تلك المناطق.
الكفاءة: تقدم RPS عبئاً حسابياً ضئيلاً. بما أنها تولد نفس عدد المرشحين ( $k=5$ ) مثل خط الأساس، فإن استخدام ذاكرة الفيديو (VRAM) وزمن الاستجابة (Latency) متطابقان تقريباً (الفرق أقل من 0.01%).
التقييم البشري: أكد المقيمون البشريون (عبر MTurk) وحكم الذكاء الاصطناعي الثانوي (Claude Sonnet 4.5) أن استجابات RPS كانت أكثر مواءمة مع قصد المستخدم، لا سيما في تقديم إجابات أكثر تفصيلاً ودقة.

5. الأهمية والأثر

العملية: توفر RPS حلاً "جاهزاً للتشغيل" (Plug-and-play) لتحسين موثوقية النماذج اللغوية الكبيرة دون التكلفة الحسابية الهائلة لإعادة التدريب. وهي مستقلة عن النموذج وتعمل مع مسارات المواءمة الحالية.
الموثوقية: من خلال التخفيف من هشاشة النماذج تجاه الطلبات الفردية الدقيقة، تساعد RPS في بناء أنظمة ذكاء اصطناعي أكثر موثوقية يمكنها التعامل مع "الذيل الطويل" لتفضيلات المستخدمين.
تحول في النموذج المعرفي: ينقل هذا العمل التركيز من "إجبار" النموذج على التوليد من نقطة محددة إلى "استكشاف" جوار محلي واختيار الأنسب، وهي استراتيجية قائمة على أدلة نظرية وتجريبية.
الاتجاهات المستقبلية: يقترح المؤلفون أعمالاً مستقبلية حول توسيع حجم الجوار ( $k$ ) بالنسبة للأبعاد الجوهرية لفضاءات التفضيلات عالية الأبعاد.

باختصار، تقدم هذه الورقة طريقة فعالة، وذات كفاءة عالية، ومبنية على أسس نظرية لسد الفجوة بين متوسط تدريب النماذج واحتياجات المستخدمين المتنوعة، مما يعزز بشكل كبير من متانة النماذج اللغوية الكبيرة في السيناريوهات الواقعية خارج نطاق التوزيع.