Learning Preference Adaptation for Large Language Model Personalization via Verbal Reinforcement Learning
تقترح هذه الورقة AlignXada، وهو إطار عمل للتعلم التلوي (meta-learning) لا يتطلب تدريباً، يستخدم التعلم التعزيزي اللفظي لتحويل ملخصات تفضيلات المستخدم الشاملة إلى تمثيلات موجزة ومحددة للمهام، مما يؤدي إلى تحسين أداء تخصيص النماذج اللغوية الكبيرة عبر مهام متنوعة مع تقليل طول السياق بشكل كبير والتفوق على نهج التوليد المعزز بالاسترجاع (RAG).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء ليكون مساعدك الشخصي. أنت لا تريد للروبوت أن يكون مجرد موسوعة عامة؛ بل تريده أن يعرفك أنت. رب mungkin تعلم أنك تكره الطعام الحار، وتحب موسيقى الروك من حقبة التسعينات، وأنك كسرت ساقك ذات مرة أثناء لعب كرة القدم. في عالم الذكاء الاصطناعي، تسمى هذه المجموعة من "من تكون" بـ ملف تعريف المستخدم (User Profile).
لفترة طويلة، حاول العلماء حشو كل هذه المعلومات في دماغ الروبوت بشكل دائم، أو حاولوا تغذية الروبوت بقائمة هائلة ولا تنتهي من محادثاتك السابقة في كل مرة تطرح فيها سؤالاً. لكن هناك مشكلة: الروبوتات لديها قدر محدود من "الذاكرة العاملة" (تسمى سعة السياق). إذا أعطيتهم سيرة ذاتية عن حياتك مكونة من 10,000 كلمة لمجرد سؤالهم: "ما هو الفيلم الجيد الذي يمكنني مشاهدته؟"، فسيصاب الروبوت بالتشتت. قد يتشتت بذكر حقيقة أنك أحببتت نوعاً معيناً من الجبن ذات مرة، وينسى أنك في الواقع تكره أفلام الرعب. الأمر يشبه محاولة العثور على إبرة محددة في كومة قش، لكن كومة القش كبيرة جداً لدرجة أنها قد تسقطك أرضاً.
هذه الورقة البحثية تعالج هذه الفوضى تحديداً. تساءل الباحثون: "إذا كان لدينا بالفعل سيرة ذاتية ضخمة ومثالية لمستخدم، فكيف يمكننا تقليصها بسرعة إلى القطع الصغيرة والمثالية من المعلومات المطلوبة للسؤال المحدد المطروح الآن؟" أرادوا إيجاد طريقة تجعل ذاكرة الروبوت مرنة، تحتفظ بالأشياء الجيدة وتتخلص من الضجيج، دون الحاجة إلى إعادة تدريب دماغ الروبوت في كل مرة.
يقترح مؤلفو هذه الورقة، بالتعاون مع "Ant International" وجامعة "Northeastern"، خدعة ذكية جديدة تسمى AlignXada. فكر في الأمر كأنه أمين مكتبة عبقري ومنظم للغاية، لا يكتفي بجلب الكتب فحسب، بل يعيد كتابة فهرس المحتويات لك قبل أن تفتح الكتاب حتى.
إليك المشكلة التي يحلونها: تخيل أن لديك "ملف تعريف شامل" لشخص ما. إنه مستند ضخم، رب يبلغ طوله 7,000 حرف، يحتوي على كل شيء من آرائه السياسية وتاريخ عائلته إلى حبه للخبز وإصابة سابقة في ركبته. الآن، تخيل أن هذا الشخص طرح سؤالاً بسيطاً: "ما هي بعض الطرق الجيدة للبقاء نشيطاً دون إيذاء ساقي؟"
إذا قدمت الملف التعريفي الكامل المكون من 7,000 حرف للذكاء الاصطناعي، فقد يصاب بالارتباك. سيرى "النهج الموجه نحو المجتمع" و"الدفاع السياسي" و"الخبز"، وقد يقترح عليك بالخطأ حصة يوغا ثقيلة أو مسابقة خبز مجتمعية، متجاهلاً تماماً الإشارة الصغيرة حول "إصابة الركبة السابقة" التي تعد في الواقع الجزء الأهم من الإجابة. يتشتت الذكاء الاصطناعي بسبب الضجيج.
نظام AlignXada يصلح هذا الأمر من خلال العمل كمحرر ذكي. فبدلاً من إعطاء الذكاء الاصطناعي السيرة الذاتية الفوضوية بأكملها، يأخذ AlignXada ذلك الملف الضخم ويعيد صياغته فوراً في ملاحظة صغيرة مكونة من 600 حرف تحتوي فقط على الحقائق المتعلقة بإصابة الساق والبقاء نشيطاً. إنه يتخلص من السياسة والخبز.
كيف يتعلم القيام بذلك؟ لم يعلم الباحثون الذكاء الاصطناعي عن طريق تغيير دماغه (وهو أمر صعب ومكلف)، بل استخدموا طريقة تسمى التعلم المعزز اللفظي (Verbal Reinforcement Learning).
تخيل أنك تعلم كلباً جلب الأشياء. أنت لا تعيد بناء عضلات الكلب، بل تعطيه مكافأة عندما يفعل الشيء الصحيح وكلمة "لا" لطيفة عندما يخطئ. في هذه الورقة، "الكلب" هو سياسة (مجموعة من التعليمات المكتوبة بلغة إنجليزية بسيطة) تخبر الذكاء الاصطناعي بكيفية تحرير الملف التعريفي.
- يحاول النظام مجموعة من التعليمات (مثلاً: "احتفظ بالمعلومات الصحية، واحذف السياسة").
- يختبر هذا على عدد من الأسئلة التدريبية.
- إذا أجاب الذكاء الاصطناعي بشكل صحيح، يقول النظام: "رائع! استمر في فعل ذلك". وإذا فشل، يقول: "عذراً، لقد أسقطت معلومة إصابة الركبة؛ حاول الاحتفاظ بها في المرة القادمة".
- يكرر النظام هذه العملية، ويعدل التعليمات الإنجليزية مراراً وتكراراً حتى يجد الوصفة المثالية لتلخيص الملف التعريفي لهذا النوع المحدد من الأسئلة.
النتائج مثيرة للإعجاب حقاً. اختبر الفريق هذا النظام على 13 مهمة مختلفة (مثل كتابة رسائل البريد الإلكتروني، أو ترتيب العناصر، أو الإجابة على الأسئلة) باستخدام ثلاثة نماذج مختلفة من الذكاء الاصطناعي. وفي 33 حالة من أصل 39 حالة اختبار، جعل AlignXada الذكاء الاصطناعي أكثر ذكاءً ودقة.
إليك الجزء السحري: للحصول على هذه الإجابات الأفضل، لم يحتج النظام إلى تغذية الذكاء الاصطناعي بمزيد من المعلومات. في الواقع، فعل العكس تماماً. فقد استخدمت الملفات التعريفية المنقحة 22.8% فقط من النص الأصلي. لقد تخلصوا من ما يقرب من 80% من الكلمات، ومع ذلك كان أداء الذكاء الاصطناعي أفضل. الأمر يشبه إدراك أنك لا تحتاج إلى الموسوعة بأكملها للإجابة على سؤال معلومات عامة؛ بل تحتاج فقط إلى الصفحة التي تحتوي على الحقيقة الصحيحة.
تحققت الورقة أيضاً مما إذا كان الذكاء الاصطناعي يقوم بمجرد اختلاق المعلومات. ووجدوا أن 97.5% من الحقائق في الملفات التعريفية المختصرة كانت مدعومة بالفعل بالسيرة الذاتية الطويلة الأصلية. لم يكن النظام يبتدع سمات جديدة؛ بل كان مجرد محرر فعال للغاية.
ومن المثير للاهتمام أن الورقة تشير إلى أن هذا النهج أفضل من الطريقة الشائعة حالياً والتي تسمى RAG (التوليد المعزز بالاسترجاع)، والتي تحاول البحث في قاعدة بيانات عن مقتطفات ذات صلة. في 36 حالة من أصل 39، تفوق نهج "إعادة كتابة القصة بأكملها" الخاص بـ AlignXada على نهج "البحث عن مقتطف" الخاص بـ RAG. ويرى الباحثون أن هذا لأن RAG غالباً ما يلتقط قطعاً تبدو ذات صلة ولكنها تغفل الصورة الكبيرة، بينما يقوم AlignXada بإعادة تنظيم القصة بأكملها لجعل الأدلة الأكثر أهمية تبرز بوضوح.
باختصار، تشير هذه الورقة إلى أنه لكي تكون وكلاء الذكاء الاصطناعي الشخصيين مفيدين حقاً، لا ينبغي لهم مجرد إلقاء تاريخ حياة المستخدم بالكامل في ذاكرتهم. بد instead، يحتاجون إلى محرر ذكي وقابل للتكيف يمكنه فوراً تلخيص ذلك التاريخ في ملاحظة صغيرة ومثالية مصممة خصيصاً للسؤال المطروح. والأفضل من ذلك؟ أنه يفعل هذا دون الحاجة إلى إعادة تدريب دماغ الذكاء الاصطناعي، مما يجعله أداة عملية لمستقبل الوكلاء الشخصيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.