Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training
تقترح هذه الورقة Data-DPO، وهي طريقة مبتكرة لاختيار البيانات لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLM) تستفيد من الاستقصاء أحادي الخطوة لتعلم تفضيلات البيانات المدركة للنموذج المستهدف عبر نموذج مكافأة خفيف الوزن، مما يؤدي إلى بناء مجموعة فرعية تدريبية عالية الجودة تتفوق باستمرار على النماذج المرجعية الحالية وحتى على التدريب باستخدام البيانات الكاملة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، أصبحت النماذج اللغوية الكبيرة أدوات قوية قادرة على الكتابة، والاستنتاج، وحل المشكلات المعقدة. ومع ذلك، فإن تعليم هذه النماذج أداء مهام محددة يتطلب عملية تسمى الضبط الدقيق الخاضع للإشراف، حيث يتعلم النظام من مجموعات هائلة من الأمثلة. تخيل أنك تحاول تعليم طالب عبر تسليمه مكتبة كاملة من الكتب؛ وبينما قد يتعلم الطالب في النهاية، إلا أن العملية بطيئة للغاية، ومكلفة، وغالباً ما تكون غير فعالة لأن الكثير من المواد مكررة أو غير ذات صلة بالدرس المحدد قيد الشرح. لقد سعى الباحثون منذ فترة طويلة لإيجاد طريقة لاختيار الصفحات الأكثر فائدة فقط من تلك المكتبة، آملين في تدريب النموذج بشكل أسرع وأرخص دون التضحية بذكائه. وكان الافتراض السائد في هذا المجال هو أن بعض البيانات هي ببساطة "أفضل" من غيرها بناءً على جودتها المتأصلة، تماماً كما يُحكم على الكتاب المدرسي من خلال وضوح كتابته.
تتحدى دراسة جديدة هذه الرؤية الثابتة لجودة البيانات. إذ يرى الباحثون، بقيادة فريق من جامعة نانجينغ وعدة مؤسسات أخرى، أن قيمة مثال تدريبي لا تعتمد فقط على المثال نفسه، بل على مدى ملاءمته للنموذج المحدد الذي يتم تعليمه. فتماماً كما قد تكون مسألة فيزياء صعبة مثالية لطالب متقدم ولكنها مرهقة للمبتدئ، فإن عينة بيانات عالية الجودة قد تكون عديمة الفائدة لنموذج ذكاء اصطناعي واحد بينما تكون هي بالضبط ما يحتاجه نموذج آخر للتحسن. ولحل هذه المعضلة، طور الفريق طريقة تسمى Data-DPO، والتي تعمل كدليل شخصي لاختيار بيانات التدريب. فبدلاً من الاعتماد على قائمة معدة مسبقاً من الأمثلة "الجيدة"، تراقب هذه الطريقة كيفية استجابة نموذج معين لمختلف العينات خلال تجربة تشغيل قصيرة. ومن خلال مراقبة أي الأمثلة تساعد النموذج على التعلم أكثر في خطوة واحدة، يبني النظام خريطة مخصصة للتفضيلات، ويحدد البيانات التي تتفاعل حقاً مع احتياجات ذلك النموذج المحدد في الوقت الحالي.
يتضمن جوهر هذا النهج عملية ذكية مكونة من خطوتين. أولاً، يأخذ الباحثون مجموعة صغيرة وممثلة من البيانات ويتركون النموذج المستهدف يتدرب عليها للحظة واحدة فقط. ثم يقيسون مدى تحسن أداء النموذج بعد هذه الخطوة الصغيرة. إذا تسببت عينة معينة في انخفاض كبير في الأخطاء، فهذا يشير إلى أن النموذج "يتفعل" أو يستيقظ على هذه المعلومة. يقوم النظام بعد ذلك بمقارنة هذه الاستجابات، مما يخلق تصنيفاً للأمثلة الأكثر فعالية لهذا النموذج المحدد في ذلك الوقت المحدد. ويمثل هذا ابتعاداً عن الطرق القديمة التي كانت تعامل قيمة البيانات كخاصية ثابتة، مستقلة عن المتعلم. وقد وجد الباحثون أنه من خلال استخدام هذا التغذية الراجعة الحية، استطاعوا بناء مجموعة تدريبية أكثر كفاءة بكثير من تلك المختارة عشوائياً أو عبر فحوصات الجودة القياسية.
ولضمان ألا تكون البيانات المختارة سهلة التعلم فحسب، بل متنوعة وعالية الجودة أيضاً، دمج الفريق بين هذه التغذية الراجعة الخاصة بالنموذج وعوامل أخرى. فقد أضافوا طبقة من التقييم الخارجي للجودة لضمان صحة الإجابات، ومقياساً للتنوع لضمان رؤية النموذج لمجموعة واسعة من المواقف. سمح هذا النهج الهجين باختيار مجموعة فرعية صغيرة من البيانات تغطي المساحة اللازمة دون تكرار. وعند اختبارهم على نوعين مختلفين من المهام — أحدهما يتضمن تعليمات بصرية عامة والآخر يركز على الاستنتاج المعقد — تفوقت الطريقة الجديدة باستمرار على تقنيات الاختيار الحالية. وفي كثير من الحالات، أدت النماذج التي تدربت على هذه المجموعات الفرعية المختارة بعناية إلى أداء أفضل من النماذج التي تدربت على مجموعة البيانات الأصلية بأكملها، محققة نتائج تجاوزت 100 بالمائة من أداء البيانات الكاملة في بعض السيناريوهات.
كما اختبرت الدراسة أيضاً بدقة ما إذا كانت هذه الطريقة تعتمد على نوع معين من النماذج أو طريقة محددة لقياس الجودة. وأظهرت النت قدم أن النهج ظل قوياً حتى عندما قام الباحثون بتغيير النموذج المستهدف إلى حجم أو عائلة مختلفة، أو عندما استبدلوا الأدوات المستخدمة للحكم على جودة البيانات. وهذا يشير إلى أن الطريقة ليست خدعة هشة تعمل فقط في ظروف مثالية، بل هي استراتيجية موثوقة لإيجاد البيانات المناسبة للنموذج المناسب. ومع ذلك، أشار الباحثون إلى أن الطريقة لا تزال تتطلب بعض الجهد الحسابي الأولي لتشغيل عمليات استقصاء التجربة هذه، وهي تعمل بشكل أفضل عندما يظل توزيع البيانات مستقراً نسبياً. وفي نهاية المطاف، يوضح هذا العمل أنه في عصر النماذج الكبيرة، ليست بيانات التدريب الأكثر فعالية ثابتاً عالمياً، بل هي علاقة ديناميكية بين المتعلم والدرس. فمن خلال الاستماع إلى التغذية الراجعة الخاصة بالنموذج نفسه، يمكن للباحين الآن تنسيق مجموعات تدريبية ليست أصغر فحسب، بل أكثر ذكاءً أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.