Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models
تُقدم الورقة البحثية إطار عمل SLIFT، وهو إطار تعلم ذاتي انتقائي يعمل على تفكيك ملاحظات المستخدم إلى إصلاحات صالحة للمهمة، ومواصفات خاصة بالظروف، ومكونات فارغة لتدريب محولات LoRA متكاملة لكل من "العام" و"المتخصص" على نموذج أساسي مجمد، مما يمكّن النماذج اللغوية الكبيرة من التحسن المستمر مع نطاقات تعميم مناسبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا ذكيًا جدًا، ولكنه عنيد بعض الشيء، كيف يكون محاورًا أفضل. أنت لا تريد منه فقط حفظ نص مكتوب؛ بل تريده أن يتعلم من كل دردشة يجريها مع بشر حقيقيين. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي العقول الاصطناعية فائقة الذكاء التي تقف وراء برامج الدردشة الآلية ومساعدي الكتابة. هذه النماذج تشبه مكتبات ضخمة من المعرفة البشرية، لكنها قد ترتكب أخطاءً، أو تخطئ في فهم المقصد، أو تقدم إجابات صحيحة تقنيًا ولكنها مملة بشكل مزعج.
لإصلاحها، نعتمد عادةً على تعليقات المستخدم. عندما يقول الإنسان: "هذا خطأ"، أو "اجعلها أقصر"، يحصل النموذج على تلميح. ولكن الجزء الصعب هنا هو أن تعليقًا واحدًا من المستخدم غالبًا ما يكون خليطًا فوضويًا من تعليمات مختلفة. فقد تحتوي جملة واحدة على: "صحح هذا الخطأ الرياضي" (قاعدة صارمة)، بينما تقول الجملة التالية: "أفضل نبرة فكاهية" (تفضيل مستحب)، والجملة الثالثة: "بالمناسبة، أخبرني نكتة عن القطط" (وهي لا علاقة لها بالمسألة الرياضية الأصلية). إذا حاول الروبوت التعلم من كل هذه الأمور معًا وكأنها شيء واحد، فقد يصاب بالارتباك، ويبدأ في إلقاء النكات أثناء اختبارات الرياضيات، أو ينسى كيفية إجراء العمليات الحسابية الأساسية. السؤال الكبير الذي يطرحه الباحثون هو: كيف نعلم الروبوت أن يستمع إلى الأجزاء "الصحيحة" من الرسالة ويتجاهل الباقي، لكي يصبح أكثر ذكاءً بمرور الوقت دون أن يصبح غريب الأطوار؟
تقدم هذه الورقة البحثية نظامًا ذكيًا جديدًا يسمى SLIFT (والذي يرمز إلى التعلم الذاتي من التفاعل عبر التخصص المرتبط بالمهمة) لحل هذه المشكلة تحديدًا. فكر في SLIFT كأنه فريق منظم للغاية من روبوتين يعملان معًا للتعلم من تعليق مستخدم فوضوي.
أولاً، يعمل النظام مثل محقق. فعندما يرسل المستخدم رسالة ملاحظات، يقوم SLIFT بتفكيكها إلى قطع صغيرة وبسيطة. ثم يصنف كل قطعة في أحد ثلاثة صناديق:
- الإصلاح (Fix): هذه هي "الضرورات". إذا قال المستخدم: "الإجابة هي 5 وليست 3"، فهذه قاعدة يجب أن تتبعها كل الإجابات المستقبلية لهذا النوع من الأسئلة. إنه تغيير دائم لسلوك الروبوت الافتراضي.
- التخصيص (Spec): هذه هي "التفضيلات المستحبة" أو المحددة. إذا قال المستخدم: "استخدم تشبيهًا من المطبخ"، فهذا أمر رائع لهذه المسألة الرياضية المحددة، ولكن ربما لا يصلح لسؤال في التاريخ. هذا تعديل مشروط.
- الإهمال (Null): هذه هي الأجزاء التي تعني "تجاهلني". إذا طلب المستخدم فجأة قصيدة عن القطط أثناء سؤاله عن مسألة رياضية، فهذا ضجيج غير ذي صلة. لا ينبغي أن يغير ذلك طريقة تعلم الروبوت على الإطلاق.
بمجرد تصنيف الملاحظات، يستخدم SLIFT "متعلمين" مختلفين (يُسميان المحولات/Adapters) للتعامل مع التحديثات، بدلًا من محاولة إجبار عقل واحد على القيام بكل شيء.
المتعلم الأول هو العام (Generalist). إنه يشبه الشخصية الجوهرية للروبوت. هو ينظر فقط إلى عناصر الإصلاح. إذا أشار المستخدم إلى خطأ واقعي، يتعلم "العام" التأكد من عدم تكرار هذا الخطأ في إجاباته الافتراضية أبدًا. إنه "يطبخ" هذا التصحيح في ذاكرته الدائمة، بحيث لا يضطر للتفكير فيه في كل مرة.
المتعلم الثاني هو المتخصص (Specialist). هذا هو "مدقق السياق". هو لا يغير شخصية "العام" الجوهرية، بل ينتظر حتى يقدم "العام" إجابة، ثم يسأل: "مهلاً، هل فاتنا أي من تفضيلات التخصيص لهذا الموقف المحدد؟". إذا قدم "العام" إجابة رياضية صحيحة ولكنه نسي استخدام تشبيه المطبخ الذي أراده المستخدم، يتدخل "المتخصص". يقول: "حافظ على الرياضيات، ولكن أضف التشبيه"، ويقدم دفعة بسيطة وموجهة لإصلاح ذلك الشيء الواحد فقط. وإذا كان "العام" قد فعل كل شيء بشكل صحيح بالفعل، فإن "المتخصص" يكتفي بالقول: "ابقِ الأمر كما هو"، ولا يفعل شيئًا.
اختبرت الورقة هذا النظام على نوعين مختلفين من البيانات: محادثات محاكية حيث لعب كمبيوتر دور المستخدم، ومحادثات من العالم الحقيقي من أشخاص حقيقيين. وتشير النتائج إلى أن SLIFT يعمل بشكل جيد جدًا. في الاختبارات المحاكية، حسن درجات النموذج بشكل ملحوظ مقارنة بالطرق الأخرى. وفي اختبارات العالم الحقيقي، جعله أفضل في اتباع التعليمات وكتابة استجابات عالية الجودة، دون إفساد قدرته على حل مسائل الاستنتاج الصعبة.
وجد المؤلفون أن مفتاح النجاح كان عدم معاملة جميع الملاحظات ككتلة واحدة كبيرة. فمن خلال فصل قواعد "يجب إصلاحها" عن تفضيلات "المستحبة" وعن ضجيج "التجاهل"، تمكن النموذج من تعلم الأشياء الصحيحة في الوقت الصحيح. أصبح "العام" أكثر ذكاءً في الأساسيات، بينما تعلم "المتخصص" كيف يكون محررًا مفيدًا لمواقف محددة. يشير هذا النهج إلى أنه لكي يتعلم الذكاء الاصطناعي حقًا من البشر، فإنه يحتاج إلى أن يكون انتقائيًا، وأن يعرف بالضبط ما الذي يجب أن يتذكره للأبد وما الذي يجب أن يستخدمه للحظة الراهنة فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.