💬 NLP

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

تقدم الورقة البحثية Skywork-Reward-V2، وهي مجموعة من نماذج المكافأة المتطورة التي تم تدريبها على مجموعة بيانات SynPref-40M المكونة من 40 مليون زوج، والتي تم إنشاؤها باستخدام مسار تآزري بين الإنسان والذكاء الاصطناعي للتغلب على قيود بيانات التفضيل الحالية وتحقيق أداء فائق عبر معايير قياس متعددة.

المؤلفون الأصليون: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً ولكنه عنيد أحياناً كيف يكتب قصة، أو يحل مسألة رياضية، أو حتى كيف يتحدث بلطف مع الناس. لا يمكنك ببساطة أن تقول للروبوت: "كن جيداً". عليك أن تريه أمثلة لما يبدو عليه "الشيء الجيد" وما يبدو عليه "الشيء السيئ".

في عالم الذكاء الاصطناعي، تسمى هذه العملية "التعلم التعزيزي من التغذية الراجعة البشرية" (RLHF). يحتاج الروبوت إلى "نموذج مكافأة" (RM) — فكر فيه كأنه "معلم الذوق" الخاص بالروبوت. هذا المعلم ينظر إلى إجابتين مختلفتين قدمهما الروبوت ويقول: "أنا أفضل هذه لأنها أكثر فائدة"، أو "أنا أكره هذه لأنها وقحة".

لفترة طويلة، كانت هذه "معلمي الذوق" تعاني. كانت هشة، وسهلة الارتباك، ولا تستطيع التعامل مع الطريقة المعقدة والفوضوية التي يفكر بها البشر فعلياً. كانت تشبه ناقد طعام يعرف فقط كيف يقيم البيتزا، لكنه يصاب بالارتباك عندما تقدم له السوشي.

Skywork-Reward-V2 هو "معلم ذوق" جديد وفائق القدرة يعالج هذه المشكلات. وإليك كيف فعلوا ذلك، مشروحاً ببساطة:

1. المشكلة: الكثير من النفايات، والقليل من الذهب

أدرك الباحثون أن المشكلة لم تكن في عقل الروبوت، بل في بيانات التدريب.

الطريقة القديمة: حاولوا تغذية المعلم بملايين الأمثلة، لكن الكثير منها تم تصنيفه بواسطة روبوتات أخرى (ذكاء اصطناعي) أو كانت مجرد تعليقات عشوائية من الإنترنت. كان الأمر يشبه محاولة تعليم طاهٍ من خلال إظهار مزيج من وصفات حائزة على نجمة ميشلان وخبز محروق من محطة وقود. أصاب ذلك المعلم بالارتباك.
الرؤية الجديدة: افترضوا أنه إذا استطاعوا العثور على "الذهب" وسط النفايات، فبإمكانهم صنع معلم أفضل بكثير.

2. الحل: خط إنتاج "التآزر بين الإنسان والذكاء الاصطناعي"

بدلاً من مجرد توظيف آلاف البشر (وهو أمر بطيء ومكلف) أو ترك الروبوتات تصنف كل شيء (وهو أمر غير دقيق)، قاموا ببناء خط إنتاج من مرحلتين يجمع بين أفضل ما في العالمين.

المرحلة الأولى: ورشة عمل "المعيار الذهبي" (بقيادة البشر)

تخيل فريقاً صغيراً ونخبوياً من المحررين البشر الخبراء.

يأخذون مجموعة صغيرة من البيانات ويقومون بتصنيفها بعناقة فائقة.
السر المذهل: هؤلاء البشر لا يخمنون فقط. يُسمح لهم باستخدام محركات البحث، وأدوات الرياضيات، وحتى ذكاء اصطناعي آخر فائق الذكاء للتحقق من صحة إجاباتهم قبل تصنيفها.
التشبيه: يشبه الأمر حكماً في مسابقة طبخ لا يتذوق الطعام فحسب، بل يتحقق أيضاً من الوصفة، ودرجة حرارة الفرن، وطزاجة المكونات قبل إعطاء الدرجة.
النتيجة: مجموعة صغيرة من "البيانات الذهبية" الموثوقة بنسبة 100%.

المرحلة الثانية: مصنع "الإنتاج الضخم" (بقيادة الذكاء الاصطناعي)

الآن، لدينا "المعيار الذهبي" من المرحلة الأولى. يستخدمون هذا لتدريب "معلم ذهبي" (نموذج مكافأة).

يأخذون جبلاً هائلاً من البيانات "البرية" من الإنترنت (40 مليون زوج!).
ينظر "المعلم الذهبي" إلى هذا الجبل ويقول: "هذا يبدو مثل المعيار الذهبي، احتفظ به". أو "هذا يبدو خاطئاً، اقلبه". أو "هذا مربك، دعنا نسأل روبوتاً آخر للتحقق منه باستخدام المعيار الذهبي كدليل".
التشبيه: فكر في "المعلم الذهبي" كأنه رئيس عمال في موقع بناء. هو لا يضع كل طوبة بنفسه، بل يدرب مجموعة من الروبوتات لوضع الطوب، لكنه يتحقق باستمرار من عملهم مقابل مخططاته الخاصة. إذا ارتكب روبوت خطأً، يقوم رئيس العمال بتصحيحه.
النتيجة: حولوا ذلك الجبل الفوضوي المكون من 40 مليون زوج إلى مجموعة نظيفة ومنقحة من 26 مليون مثال عالي الجودة.

3. النتيجة: سلسلة Skywork-Reward-V2

باستخدام هذه البيانات فائقة النقاء، قاموا بتدريب عائلة من 8 "معلمي ذوق" جدد (نماذج مكافأة).

الحجم: تتراوح أحجامهم من صغيرة جداً (0.6 مليار معلمة) إلى متوسطة الحجم (8 مليارات معلمة).
الأداء: حتى النماذج الصغيرة منها أذكى من المعلمين الضخمين (70 مليار معلمة) من الشركات الأخرى.
لماذا؟ لأن الجودة > الكمية. معلم تدرب على 26 مليون مثال مثالي أفضل من معلم تدرب على 100 مليون مثال مربك.

4. لماذا هذا مهم (ما هي الفائدة؟)

روبوتات أفضل: يمكن لهؤلاء المعلمين الجدد الآن توجيه الذكاء الاصطناعي ليكون أكثر فائدة، وأماناً، وصدقاً. فهم لا يُخدعون بالإجابات التي تبدو براقة ولكنها خاطئة (المقاومة لـ "تحيز الأسلوب").
فعالية التكلفة: لا تحتاج لإنفاق ملايين الدولارات لتوظيف البشر لتصنيف كل شيء. تحتاج فقط لفريق صغير من الخبراء لوضع القواعد، ثم يمكن للذكاء الاصطناعي القيام بالعمل الشاق.
قوة "أفضل من N": إذا طلبت من ذكاء اصطناعي توليد 10 إجابات مختلفة واختيار الأفضل من بينها، فإن هؤلاء المعلمين الجدد بارعون جداً في رصد الفائز، حتى لو كان الفرق ضئيلاً جداً.

الخلاصة الكبرى

يثبت هذا البحث أننا لسنا بحاجة لانتظار حواسيب أكبر وأكثر تكلفة لصنع ذكاء اصطناعي أفضل. بدلاً من ذلك، نحن بحاجة إلى تنقية أفضل للبيانات.

من خلال الجمع بين الخبرة البشرية (لوضع المعيار) مع نطاق الذكاء الاصطناعي (لمعالجة البيانات)، خلق Skywork نظاماً يطلق العنان للإمكانات الكامنة في البيانات الموجودة. الأمر يشبه إدراك أن المحيط بأكمله مليء بالأسماك، لكنك كنت تحتاج فقط إلى شبكة أفضل لصيد الأسماك الجيدة.

باخت مختصر: لقد بنوا "معلم ذوق" أفضل من خلال تعليمه كيف يتعلم من أفضل الخبراء البشر، ثم تركوه يعلم ملايين الروبوتات الأخرى كيف تكون جيدة أيضاً.

إليك ملخص تقني مفصل لورقة البحث "Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy".

1. بيان المشكلة

على الرغم من الدور الحاسم لنماذج المكافأة (Reward Models - RMs) في التعلم المعزز من التغذية الراجعة البشرية (RLHF)، إلا أن نماذج المكافأة مفتوحة المصدر المتطورة حاليًا تظهر قيودًا كبيرة:

الهشاشة: تفشل في استيعاب الطيف الدقيق والمتطور، والمتضارب أحيانًا، للتفضيلات البشرية.
تشبع الاختبارات المرجعية مقابل الأداء الحقيقي: وصلت الدرجات في الاختبارات المرجعية القياسية مثل RewardBench إلى حالة التشبع، لكنها تظهر ارتباطًا ضعيفًا أو حتى عكسيًا مع أداء المهام النهائية (مثل توسع Best-of-N أو تدريب السياسة).
مشكلات جودة البيانات: غالبًا ما تكون مجموعات بيانات التفضيلات الحالية محدودة النطاق، أو مصنفة اصطناعيًا بجودة منخفضة، أو تفتقر إلى التحقق الصارم. إن مجرد زيادة كمية البيانات غير المنقحة لا يؤدي إلى مكاسب في الأداء.
الركود: تعتمد العديد من النماذج الأعلى أداءً على بنيات أساسية أو بيانات تدريب متشابهة، مما يشير إلى نقص في التقدم في مجموعات بيانات التفضيلات المفتوحة منذ أواخر عام 2024.

يفترض المؤلفون أن العائق الأساسي ليس بنية النموذج أو خوارزميات التدريب، بل هو جودة وتنقية بيانات التفضيلات.

2. المنهجية: خط إنتاج التآزر بين الإنسان والذكاء الاصطناعي

المساهمة الجوهرية هي SynPref-40M، وهي مجموعة بيانات تفضيلات واسعة النطاق تحتوي على 40 مليون زوج، تم استخدام 26 مليون زوج منها بعناية للتدريب. تمت معالجة البيانات عبر خط إنتاج تنقية ثنائي المراحل (الشكل 3) يوازن بين جودة التحقق البشري وقابلية التوسع باستخدام الذكاء الاصطناعي.

المرحلة الأولى: التنقية البشرية ضمن الحلقة (تكرارية)

تركز هذه المرحلة على توليد بيانات "ذهبية" عالية الجودة وتحسين النموذج من خلال 8 جولات تكرارية:

البدء بالبذور: تبدأ بمجموعة بيانات بذرية صغيرة وعالية الجودة (Skywork-Reward-Preference-80K-v0.2).
توليد السمات: تقوم النماذج اللغوية الكبيرة (LLMs) بتوليد سمات التفضيل للبيانات الخام (فئة المهمة، الموضوعية، الجدلية، السمات المرغوبة، إرشادات التوسيم).
التحقق البشري: يقوم المنسقون بالتحقق من الملصقات باستخدام بروتوكول صارم، مستعينين بأدوات خارجية (محركات البحث، النماذج اللغوية الرائدة) للتحقق من الحقائق وتنفيذ الأكواد البرمجية. ينتج عن ذلك $D_{gold}$ (المحققة) و $D_{silver}$ (المحققة بواسطة الذكاء الاصطناعي).
الاسترجاع التكيفي القائم على الخطأ: يتم تدريب نموذج مكافأة على $D_{silver}$ وتقييمه على $D_{gold}$ . يحدد النظام الأزواج التي يكون فيها أداء النموذج ضعيفًا (ثقة منخفضة أو أخطاء) ويسترجع أزواجًا مشابهة غير محققة من المجموعة الخام لإعادة التوسيم.
التوسيم المدرك للتفضيلات: تقوم النماذج اللغوية بتوسيم الأزواج المسترجعة باستخدام أمثلة قليلة (few-shot) من $D_{gold}$ لتوجيه حكمها، مما يضمن التوافق مع التفضيلات البشرية.
التكرار: تتكرر العملية، مما يؤدي إلى توسيع مجموعة البيانات وتحسين نموذج المكافأة باستمرار.

المرحلة الثانية: التنقية الآلية واسعة النطاق (بدون إشراف بشري)

تعمل هذه المرحلة على توسيع العملية لتشمل عشرات الملايين من الأزواج "من الواقع" ( $D_{wild}$ ):

تصفية الاتساق: يقوم "نموذج المكافأة الذهبي" (المدرب على البيانات المحققة بشريًا تراكميًا) و"أفضل نموذج مكافأة" (من المرحلة الأولى) بتقييم الأزواج غير المتحقق منها بشكل مشترك.
منطق الاختيار:
- الاحتفاظ: الأزواج التي يتوافق فيها الملصق الأصلي مع كل من النموذج الذهبي وأفضل نموذج مكافأة (أو أحكام النماذج اللغية).
- القلب/إعادة التدوير: الأزواج التي يختلف فيها الملصق الأصلي مع النموذج الذهبي يتم "قلبها" (تبديل المختار والمرفوض) وإضافتها إلى مجموعة التدريب، مما يصحح الملصقات منخفضة الجودة دون الحاجة لتوسيم جديد.
- الاستبعاد: الأزوات ذات عدم اليقين العالي أو الإشارات المتضاربة يتم استبعادها.
النتيجة: ينتج عن ذلك مجموعة فرعية ضخمة وعالية الجودة (26 مليون زوج) من أصل 40 مليون زوج خام.

3. المساهمات الرئيسية

SynPref-40M: أكبر مجموعة تفضيلات منقحة حتى الآن، وتتكون من 40 مليون زوج (26 مليون منها منقح). وهي تثبت أن التنقية عالية الجودة أكثر قيمة من الحجم الخام.
سلسلة Skywork-Reward-V2: مجموعة من ثمانية نماذج مكافأة (تتراوح من 0.6 مليار إلى 8 مليارات معلمة) تعتمد على بنيات Llama 3.1/3.2 و Qwen3.
خط إنتاج التآزر بين الإنسان والذكاء الاصطناعي: إطار عمل مبتكر يستخدم التحقق البشري لضمان الجودة والذكاء الاصطناعي (الموجه بالسمات البشرية والأمثلة قليلة التقديم) لتحقيق القابلية للتوسع. وهو يثبت أن قدرًا صغيرًا من الجهد البشري (حوالي 2% من المجموعة النهائية) يمكن أن يدفع مكاسب هائلة في الأداء.
التقييم الشامل: تم تقييم النماذج عبر سبعة اختبارات مرجعية رئيسية، بما في ذلك RewardBench v2، و PPE، و RMB، و RM-Bench، و JudgeBench.

4. النتائج التجريبية

تحقق سلسلة Skywork-Reward-V2 أداءً رائدًا (SOTA) عبر جميع الاختبارات المرجعية السبعة، متفوقة بشكل كبير على النماذج المفتوحة الحالية وحتى النماذج المملوكة الأكبر حجمًا.

أداء الاختبارات المرجعية:
- يحقق Skywork-Reward-V2-Llama-3.1-8B-40M متوسط درجة قدره 88.6، متفوقًا على المستوى السابق (INF-ORM-Llama3.1-70B، الذي حقق 73.8) بفارق كبير.
- يحقق 97.8 في RewardBench و 86.5 في RewardBench v2.
- يتفوق على نماذج المكافأة التوليدية ونهج "النموذج اللغوي كحكم" (LLM-as-a-Judge) في معظم الفئات، لا سيما في التفضيل الذاتي ومقاومة الأسلوب.
كفاءة حجم النموذج:
- نسخة 1.7B تتفوق على نموذج INF-ORM (بحجم 70B) في المتوسط، مما يثبت أن جودة البيانات يمكن أن تسد الفجوة في سعة النموذج.
- التدريب على 1.8% فقط (حوالي 290 ألف عينة) من الخليط المنقى يتجاوز بالفعل مستوى SOTA السابق لنموذج 70B.
القدرات النهائية:
- توسع Best-of-N (BoN): تظهر النماذج توسعًا إيجابيًا قويًا في مهام BoN (المساعدة/عدم الضرر)، متفوقة على GPT-4o بما يصل إلى 20 نقطة.
- المتانة: تظهر مقاومة فائقة للانحيازات الأسلوبية (RM-Bench) ودرجات أفضل في الواقعية.
دراسات الاستئصال (Ablation Studies):
- جودة البيانات > الكمية: التوسع غير المنقى لا يحقق مكاسب تذكر؛ بينما التوسع المنقى يحقق تحسينات ثابتة.
- التوجيه البشري أمر بالغ الأهمية: يؤدي إزالة التوجيه البشري من خط الإنتاج (الاعتماد فقط على اتساق الذكاء الاصطناعي الذاتي) إلى استقرار الأداء حول 74-75%، بينما يصل الخط الكامل إلى 83%+.
- آلية التصحيح: "إعادة تدوير" البيانات المستبعدة عن طريق قلب الملصقات يحقق زيادات كبيرة في الأداء، مما يؤكد قدرة خط الإنتاج على تحديد وتصحيح الأخطاء.

5. الأهمية والتأثير

تحول في النموذج الفكري: تتحدى الورقة الفكرة القائلة بأن النماذج الأكبر أو دوال الخسارة الأكثر تعقيدًا هي المحركات الأساسية لأداء نماذج المكافأة. بدلاً من ذلك، تسلط الضوء على جودة تنقية البيانات كعامل حاسم.
فعالية التكلفة: يوضح خط الإنتاج أنه يمكن لميزانية صغيرة للتوسيم البشري (التركيز على البيانات البذرية والتحقق) مدمجة مع التوسع الآلي أن تنتج مجموعات بيانات تتفوق على مجموعات البيانات الضخمة والمكلفة الموسومة بشريًا.
التقدم المفتوح: من خلال إصدار نماذج عالية الجودة ومنهجية لتنقية البيانات، يهدف المؤلفون إلى تسريع أبحاث RLHF مفتوحة المصدر، وتجاوز حالة الركود الملحوظة في أواخر عام 2024.
إرشادات عملية: يقدم المؤلفون "وصفة للميزانية" للممارسين، توضح كيفية تخصيص الموارد بين التحقق البشري والتوسع الآلي لتعظيم أداء نموذج المكافأة ضمن قيود التكلفة.

في الختام، يمثل Skywork-Reward-V2 قفزة نوعية في نمذجة المكافأة المفتوحة، حيث يثبت أن النهج التآزري بين الإنسان والذكاء الاصطناعي لتنقية البيانات يمكن أن يفتح آفاقًا لجودة بيانات وأداء نماذج أعلى بكثير من الطرق السابقة.