DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning
تقدم هذه الورقة البحثية إطار عمل DRIFT، وهو إطار عمل مبتكر لتعلم التفضيلات يستفيد من إشارات عدم الرضا الوفيرة للمستخدمين في العالم الحقيقي لأخذ عينات ديناميكية من الأمثلة الإيجابية، محققاً مكاسب كبيرة في الأداء مقارنة بالنماذج الأساسية والنماذج المرجعية القوية مع الحفاظ على تنوع الحلول وتجنب تدهور التدرج.
الطريقة القديمة: انتظار تقييم بخمس نجوم تقليدياً، لتعليم روبوت الطباخ، كنت ستطلب من لجنة من نقاد الطعام البشر تذوق كل طبق وإعطاء إشارة "أعجبني" أو "لم يعجبني". ولكن تكمن المشكلة هنا في أن معظم الناس مشغولون جداً لدرجة تمنعهم من التوقف لكتابة مراجعة. فقط نسبة ضئيلة (1-3%) يكلفون أنفسهم عناء الضغط على "أعجبني". وهؤلاء الذين يفعلون ذلك؟ عادة ما يكتبون المراجعات فقط عندما يكون الطعام مذهلاً أو مقززاً. نادراً ما يخبرونك: "هذا الحساء جيد، لكنه يحتاج إلى المزيد من الملح".
بسبب هذا، يتعلم روبوت الطباخ فقط من بعض الأمثلة المتطرفة، مما يجعله يفتقد إلى التفاصيل الدقيقة لما يريده الناس حقاً.
الطريقة الجديدة: الاستماع إلى التذمر (DRIFT) تقدم الورقة البحثية طريقة جديدة تسمى DRIFT. بدلاً من انتظار "الإعجاب" النادر، يركز DRIFT على "التذمر" الوفير.
فكر في الأمر على هذا النحو: عندما يشتكي أحد العملاء قائلاً: "هذه البيتزا مالحة جداً"، أو "هل يمكنك جعل العجينة أكثر قرمشة؟"، فهم يقدمون لك كنزاً من المعلومات. إنهم يخبرونك بالضبط بما لا يعمل. في العالم الحقيقي، يشتكي الناس (عدم الرضا) أكثر بكثير مما يمدحون (الرضا).
يعمل DRIFT في حلقة بسيطة:
التقاط الشكوى: يبحث عن محادثة حقيقية حيث كان المستخدم غير راضٍ عن إجابة الروبوت (المثال "السلبي").
المحاولة مرة أخرى: يطلب من الروبوت محاولة الإجابة على نفس السؤال مرة أخرى، ولكن هذه المرة، يحاول تقديم أداء أفضل بناءً على ما تعلمه حتى الآن (المثال "الإيجابي").
تعلم الفرق: يعلم الروبوت: "مهلاً، إجابتك الأولى أغضبت المستخدم. إجابتك الجديدة أفضل. تذكر هذا الفرق".
لماذا يعد هذا تغييراً جذرياً؟ تزعم الورقة البحثية أن هذا النهج يتفوق على الطرق الأخرى لثلاثة أسباب رئيسية:
إنه وفير: لا تحتاج للانتظار حتى يضغط إنسان على زر. يمكنك استخدام ملايين المرات التي يقول فيها المستخدمون: "لا، هذا خطأ"، أو "حاول مجدداً"، وهو ما يحدث بشكل طبيعي في الدردشة.
لا يعلق في حلقة مفرغة: أحياناً تتعثر الطرق الأخرى في حلقة حيث يبدأ الروبوت في تقديم نفس الإجابة المملة مراراً وتكراراً لأنه يخشى ارتكاب خطأ. أما DRIFT فيجعل الروبوت يستمر في الاستكشاف. ولأنه يقارن باستمرار بين إجابة "سيئة" من العالم الحقيقي وبين محاولة "جديدة" ومنعشة، يستمر الروبوت في إيجاد طرق جديدة ومبتكرة لحل المشكلات بدلاً من مجرد حفظ إجابة واحدة آمنة.
إنه فعال حقاً: اختبر الباحثون هذه الطريقة على بيانات من العالم الحقيقي. ووجدوا أن النماذج التي تم تدريبها باستخدام DRIFT أصبحت أكثر ذكاءً بشكل ملحوظ. على سبيل المثال، نموذج بـ 14 مليار معلمة (parameter) تم تدريبه باستخدام DRIFT أدى أداءً أفضل في المهام المعقدة من نموذج تجاري مثل GPT-4o-mini.
الخلاصة DRIFT يشبه المدرب الذي يتجاهل عبارات "عمل رائع!" النادرة، ويركز بدلاً من ذلك على عبارات "هذا لم ينجح" المتكررة. من خلال التعلم من الأخطاء التي يرتكبها الناس فعلياً في الحياة الواقعية، ومن خلال المحاولة المستمرة للتحسن، يتعلم الذكاء الاصطنا-عي بشكل أسرع، ويظل أكثر إبداعاً، ويصبح أكثر فائدة دون الحاجة إلى معلمين بشريين مكلفين لتقييم كل إجابة.
ملخص تقني: DRIFT – التعلم من عدم الرضا الوفير للمستخدمين في تعلم التفضيلات في العالم الحقيقي
بيان المشكلة يعتمد محاذاة النماذج اللغوية الكبيرة (LLM) حالياً بشكل كبير على التعلم المعزز من التغذية الراجعة البشرية (RLHF) والتحسين المباشر للتفضيلات (DPO). ومع ذلك، تواجه هذه الأساليب تحديات كبيرة في التوسع عند النشر في العالم الحقيقي؛ فهي تعتمد عادةً على تعليقات بشرية منسقة ومكلفة، أو تفترض توفر تغذية راجعة إيجابية (رضا - SAT) وفيرة. وفي المقابل، تتميز بيانات التفاعل في العالم الحقيقي بندرة إشارات الرضا الصريحة (1-3% فقط من المستخدمين يقدمون ملاحظات)، ووفرة في إشارات عدم الرضا الضمنية (عدم رضا - DSAT). يعبر المستخدمون بشكل طبيعي عن عدم رضاهم من خلال التصحيحات، والتحسينات، والأسئلة المتابعة، ومع ذلك، فإن أساليب تعلم التفضيلات الحالية لا تتوافق جيداً مع ملف هذه البيانات، وغالباً ما تفشل في الاستفادة من الإشارات السلبية الضمنية الغنية المتاحة في الواقع.
المنهجية: DRIFT يقترح المؤلفون إطار عمل DRIFT (التدريب التكراري للتفضيلات المنقح بعدم الرضا)، وهو مصمم لترسيخ التدريب على إشارات عدم الرضا (DSAT) في العالم الحقيقي مع أخذ عينات ديناميكية من الاستجابات الإيجابية.
الآلية الجوهرية: على عكس الأساليب التي تعامل الاستجابات المرجعية الثابتة كاستجابات إيجابية (مثل SPIN) أو تعتمد على أزواج ذاتية التوليد قد تنهار جودتها، يقوم DRIFT ببناء أزواج تفضيل حيث:
الاستجابة المرفوضة (y−): إشارة عدم رضا حقيقية من المستخدم مستخرجة من سجلات محادثات أصلية (على سبيل المثال، قيام مستخدم بتصحيح خطأ للنموذج).
الاستجابة المختارة (y+): استجابة جديدة يتم أخذ عينة منها من السياسة المتطورة الحالية (πθ) لنفس المطالبة (Prompt).
العملية التكرارية: يتم التدريب في دورات؛ حيث يقوم النموذج بتصفية مجموعة بيانات "برية" (مثل WildFeedback) لتحديد حالات عدم الرضا (DSK). ولكل مطالبة مرتبطة بإشارة عدم رضا، يولد النموذج الحالي استجابة مرشحة جديدة. ثم يتم تحديث النموذج عبر خسارة DPO لتعظيم احتمالية الاستجابة الإيجابية المولدة بالنسبة للاستجابة السلبية الواقعية.
رؤية التصميم الرئيسية: من خلال الارتكاز على سلبيات عدم الرضا الأصلية وأخذ عينات من الإيجابيات من السياسة المتطورة، يحافظ DRIFT على هامش تفضيل غير متلاشٍ. هذا يمنع "انهيار التدرج" (gradient collapse) الملاحظ في أساليب التحسين الذاتي الأخرى حيث تصبح الاستجابات المختارة والمرفوضة متشابهة جداً بمرور الوقت.
المساهمات الرئيسية
التحقق التجريبي: يتفوق DRIFT باستمرار على النماذج المرجعية التكرارية القوية (SPIN و Iterative DPO) في اختبارات العالم الحقيقي.
تعزيز الاستكشاف: يحافظ الأسلوب على القدرة الاستكشافية، حيث يولد حلولاً متنوعة عالية المكافأة بدلاً من الانهيار في مجموعات فرعية ضيقة من فضاء الاستجابة.
التحليل النظري: يقدم المؤلفون برهاناً نظرياً على أن DRIFT يحافظ على هامش تفضيل متوقع غير متلاشٍ ويمنع تدهور التدرج، وهو قصور حرج في نماذج التحسين الذاتي الحالية التي تعتمد على مجموعات إيجابية ثابتة.
النتائج التجريبية قام المؤلفون بتقييم DRIFT على نماذج Qwen2.5-7B و Qwen2.5-14B باستخدام مجموعتي بيانات: WildFeedback (واقعية، مصنفة من قبل المستخدمين) و UltraFeedback (اصطناعية، مصنفة من قبل نماذج لغوية كبيرة).
WildFeedback (العالم الحقيقي):
حقق DRIFT تحسناً يصل إلى +6.23% (لنموذج 7B) و +7.61% (لنموذج 14B) في درجة مهمة WildBench مقارنة بالنماذج الأساسية.
حقق ما يصل إلى +8.95% (7B) و +12.29% (14B) في معدل الفوز في AlpacaEval2.
في مقياس 14B، تفوقت النماذج المدربة بـ DRIFT على GPT-4o-mini في WildBench.
أظهر DRIFT استقراراً فائقاً عبر دورات متعددة (تصل إلى 5)، بينما أظهرت نماذج SPIN و IterDPO تدهوراً في الأداء أو وصولاً مبكراً لمرحلة الثبات (plateauing).
UltraFeedback (الاصطناعية):
حافظ DRIF على تفوقه، متفوقاً على SPIN و IterDPO حتى في البيانات الاصطناعية، مع مكاسب بلغت +7.61% (14B) في درجة مهمة WildBench و +12.29% في معدل الفوز في AlpacaEval2.
تحليل الاستكشاف: باستخدام تضاريس المكافأة الدلالية (UMAP + KDE)، أظهر المؤلفون أن DRIF يغطي حصة أكبر بكثير من منطقة المكافأة العالية العالمية مقارنة بالنماذج المرجعية، مما يشير إلى تنوع أفضل وتجنب انهيار النمط (mode collapse).
الأهمية والادعاءات يزعم البحث أن DRIFT يوفر وصفة فعالة وقابلة للتوسع لما بعد التدريب في العالم الحقيقي من خلال استغلال الإشارة الأكثر وفرة وإفادة: عدم رضا المستخدم.
القابلية للتوسع: يحول "مشكلة" وفرة التغذية الراجعة السلبية إلى أصل تدريبي، مما يزيل عقبة الحاجة إلى تعليقات إيجابية نادرة.
الاستقرار: من خلال تجنب الاعتماد على مجموعة ثابتة من الإيجابيات "الذهبية"، يخفف DRIF من مخاطر "اختراق المكافأة" (reward hacking) وانهيار النموذج المرتبط بأساليب مثل SPIN.
التعميم: يتعمم النهج عبر بنيات نماذج مختلفة (تم اختباره على Qwen و Gemma) ويحافظ على خصائص السلامة، حيث لم يظهر أي زيادة في معدلات نجاح الاختراق (jailbreak) أو السمية مقارنة بالنماذج المرجعية.
يخلص المؤلفون إلى أن ترسيخ تحسين التفضيلات في عدم الرضا الواقعي يوفر مساراً موثوقاً لمحاذاة النماذج اللغوية الكبيرة مع احتياجات المستخدمين المتطورة دون التكاليف الباهظة للتعليقات البشرية المنسقة.