Where does output diversity collapse in post-training?
تُثبت هذه الورقة أن انهيار تنوع المخرجات في النماذج اللغوية بعد مرحلة التدريب النهائي يتحدد أساساً بتكوين بيانات التدريب بدلاً من تنسيقات التوليد أو أساليب التدريب النهائي المحددة، مما يكشف أن فقدان التنوع الدلالي يكون متجذراً في أوزان النموذج أثناء الضبط الدقيق الخاضع للإشراف ولا يمكن معالجته في وقت الاستنتاج وحده.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فناناً عبقرياً وفوضوياً (النموذج الأساسي - Base Model) يمكنه الرسم بمليون أسلوب مختلف، وسرد مليون قصة مختلفة، وحل المشكلات بمليون طريقة مختلفة. إنه جامح، ومبدع، ومليء بالمفاجآت.
ولكن بعد ذلك، تقوم بتعيين مدير لتدريبه على وظيفة محددة. تريد منه أن يكون مفيداً، وآمناً، وأن يتبع التعليمات بدقة تامة. لذا، تضعه في معسكر تدريبي صارم (ما بعد التدريب - Post-Training).
يسأل البحث سؤالاً بسيطاً ولكنه جوهي: هل هذا التدريب يجعل الفنان أفضل، أم أنه يحوله إلى إنسان آلي يرسم بالضبط نفس الصورة مراراً وتكراراً؟
الإجة، وفقاً لهذا البحث، هي: إنه يحوله إلى إنسان آلي، والسبب يعتمد كلياً على ماذا أطعمتَه أثناء التدريب، وليس فقط على كيفية تدريبك له.
إليك تفصيل نتائجهم باستخدام بعض التشبيهات من الحياة اليومية:
١. معسكرات التدريب الثلاثة (السلالات)
لم يكتفِ الباحثون بمراقبة نموذج واحد؛ بل راقبوا ثلاث مجموعات مختلفة من الفنانين وهم يمرون بنفس عملية التدريب المكونة من ثلاث خطوات (الضبط الدقيق تحت الإشراف، ثم تحسين التفضيلات، ثم التعلم المعزز).
- مجموعة "التفكير" (The "Think" Group): تم تدريب هؤلاء الفنانين بواسطة معلمين محددين اثنين كانا بارعين جداً في شرح عملهما خطوة بخطوة (سلسلة الأفكام - Chain-of-Thought). قيل لهما: "إليك بالضبط كيفية حل هذه المسألة الرياضية، اكتب كل خطوة، ثم أعطِ الإجابة".
- مجموعة "التعليمات" (The "Instruct" Group): تم تدريب هؤلاء الفنانين بواسطة حشد ضخم من المعلمين المختلفين (آلاف المصادر) الذين قدموا تعليمات عامة ولكنهم لم يظهروا دائماً العمل خطوة بخطوة.
- مجموعة "التعلم المعزز الصفر" (The "RL-Zero" Group): هؤلاء الفنانون تخطوا الفصل الدراسي تماماً. لقد أُلقي بهم ببساطة في لعبة فيديو حيث يحصلون على نقاط عند الفوز ويخسرون نقاطاً عند الخسارة، دون وجود معلمين بشريين يوضحون لهم كيفية اللعب.
٢. أين مات الإبداع؟ (الانهيار)
وجد الباحثون أن "الإبداع" (التنوع) لدى الفنانين لم يمت دفعة واحدة. لقد مات في أوقات مختلفة اعتماداً على المجموعة:
- بالنسبة لمجموعة "التفكير": مات إبداعهم فوراً في الفصل الدراسي الأول (SFT). لأنهم تعلموا فقط من معلمين اثنين يتشابهان في التفكير، فتوقف الفنانون عن تجربة أشياء جديدة على الفور. لقد تعلموا تقليد هذين المعلمين بدقة. وبحلول الوقت الذي وصلوا فيه إلى مراحل التدريب اللاحقة، لم يعد هناك إبداع ليُقتل.
- بالنسبة لمجموعة "التعليمات": حافظوا على إبداعهم في الفصل الدراسي الأول. ولكن في الفصل الدراسي الثاني (DPO)، سُحق إبداعهم. صُممت هذه المرحلة لتعليمهم ما يفضله البشر. ولأن بيانات التدريب كانت واسعة، حاول النموذج إيجاد "متوسط" التفضيل البشري، وانتهى به الأمر بتنعيم كل الحواف الفريدة، مما ترك مخرجات باهتة ومتجانسة.
الدرس المستفك: ليست طريقة التدريب هي التي تقتل الإبداع؛ بل المكونات (البيانات). إذا أطعمتَ نموذجاً نظاماً غذائياً ضيقاً (معلمين اثنين)، فسيصبح ضيق الأفكار في وقت مبكر. وإذا أطعمتَه نظاماً غذائياً واسعاً، فستضيق أفكاره لاحقاً عندما تحاول "تحسينه" ليتناسب مع الذوق البشري.
٣. خدعة "التفكير" (سلسلة الأفكام - Chain-of-Thought)
كانت هناك نظرية شائعة تقول إن النماذج أصبحت مملة لأنها مجبرة على "التفكير بصوت عالٍ" (كتابة سلسلة طويلة من الاستنتاج قبل الإجابة). اعتقد الناس: "إذا جعلناهم يجيبون مباشرة دون تفكير، فسنستعيد إبداعهم مجدداً!"
اختبر الباحثون ذلك عبر إجبار نماذج "التفكير" على التوقف عن كتابة استنتاجاتهم والاكتفاء بإعطاء الإجابة فقط.
- النتيجة: لم يتغير شيء. كانت الإجابات لا تزال مملة ومتطابقة.
- التشبيه: تخيل طباخاً تعلم الطبخ فقط لوصفة واحدة محددة لأن معلميه الاثنين علماه ذلك الطبق الوحيد فقط. إذا قلت للطباخ: "توقف عن كتابة قائمة التسوق الخاصة بك وأعطني الطعام فقط"، فسيظل لا يعرف سوى كيفية صنع ذلك الطبق الواحد. المشكلة لم تكن في قائمة التسوق (التنسيق/الشكل)؛ المشكلة هي أنهم تعلموا وصفة واحدة فقط (الأوزان/القيم الداخلية).
الخلاصة: غياب الإبداع محفور في دماغ النموذج أثناء التدريب. لا يمكنك إصلاحه في النها_ة عن طريق تغيير طريقة حديث النموذج.
٤. الملل "الجيد" مقابل الملل "السيئ"
نظر الباحثون أيضاً في سبب أصبح المخرجات مملة. وقسموا "الملل" إلى نوعين:
- النوع (أ): التخلص من الأخطاء. تخيل طالباً يؤدي اختباراً. إذا كتب ١٦ إجابة مختلفة، وكانت ١٥ منها خاطئة وواحدة فقط صحيحة، فإن مجموعة الإجابات ستبدو "أقل تنوعاً" لأن الإجابات الخاطئة قد اختفت. هذا في الواقع جيد. إنه يعني أن النموذج أصبح أذكى.
- النوع (ب): التخلص من الأفكار الجيدة. تخيل طالباً يعرف ١٦ طريقة مختلفة صحيحة لحل مشكلة ما، لكنه يكتب نفس الطريقة بالضبط في كل مرة. هذا سيئ. هذا يعني أن النموذج قد فقد قدرته على أن يكون مبدعاً حتى عندما يكون على صواب.
وجدت الدراسة أنه بالنسبة للرياضيات والبرمجة، كان "الملل" في الغالب من النوع (أ) (التخلص من الإجابات الخاطئة)، وهو أمر جيد. ولكن بالنسبة للكتابة الإبداعية والآراء، كان "الملل" من النوع (ب) (التخلص من وجهات النظر المختلفة الصحيحة)، وهو أمر خطير لأنه يجعل النموذج يبدو كصوت واحد متجانس.
ملخص: ماذا يجب أن نفعل؟
إذا كنت تبني ذكاءً اصطناعياً أو تستخدمه:
١. لا تلم خوارزمية التدريب فحسب. إذا كان نموذجك مملاً، فانظر إلى بيانات التدريب الخاصة بك. هل استخدمت عدداً قليلاً جداً من المعلمين؟ هل استخدمت مجموعة بيانات ضيقة؟
٢. لا تحاول "إصلاح" الأمر بتغيير تنسيق المخرجات. جعل النموذج يتخطى خطوات الاستنتاج لن يعيد الإبداع. الضرر قد وقع بالفعل.
٣. اخلط مكوناتك. للحفاظ على إبداع الذكاء الاصطناعي، تحتاج إلى تغذيته ببيانات من مصادر وأساليب متنوعة، وليس فقط من بعض الأمثلة "المثالية".
باختصار: لا يمكنك تعليم حمامة أن تطير مثل النسر بمجرد تغيير القفص؛ عليك أن تعطيها الطعام والبيئة المناسبين منذ البداية. "الملل" في الذكاء الاصطناعي الحديث ليس خللاً تقنياً؛ بل هو ميزة ناتجة عن كيفية تغذيتنا له.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.