Diffract: Spectral View of LLM Domain Adaptation
تتقصى هذه الورقة البحثية التدريب المسبق المستمر للتكيف مع النطاقات في النماذج اللغوية الكبيرة، كاشفةً أن التغيرات الطيفية مدفوعة أساساً بإزاحات المتجهات المنفردة بدلاً من تغيرات القيم المنفردة، وتستفيد من هذه الرؤية لتطوير Diffract —وهي مجموعة أدوات تتيح التكيف الفعال عبر إعادة ضبط انتقائية لرؤوس الانتباه ذات الأهمية المنخفضة مع الحفاظ على الاتصال بالنطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة وصاخبة حيث تتعلم روبوتات عملاقة القراءة والكتابة. هذه الروبوتات، التي تُسمى النماذج اللغوية الكبيرة (LLMs)، تبدأ بقراءة كل شيء تقريبًا في المكتبة — الأخبار، والقصص، والعلوم، وسجلات الدردشة — لتتعلم كيف تعمل اللغة البشرية. يشبه هذا طفلاً ينمو ويتعلم التحدث من خلال الاستماع إلى كل من حوله. ولكن ماذا يحدث عندما تريد من نفس الروبوت أن يصبح عبقريًا في الرياضيات، أو ساحرًا في البرمجة، أو خبيرًا في إعطاء التعليمات؟ لا يمكنك بناء روبوت جديد تمامًا من الصال، لأن ذلك سيستغرق وقتًا طويلاً ويكلف الكثير. بدلاً من ذلك، يستخدم العلماء تقنية تسمى "التدريب المسبق المستمر" (CPT). فكر في هذا كأنك تأخذ الروبوت متعدد الأغراض وتمنحه معسكرًا صيفيًا متخصصًا: بضعة أسابيع من القراءة المكثفة في كتب الرياضيات فقط، أو في أدلة البرمجة فقط. السؤال الكبير الذي طرحه الباحثون هو: كيف يتغير دماغ الروبوت فعليًا خلال هذا المعسكر؟ هل يعيد كتابة ذاكرته بالكامل، أم أنه يكتفي بتعديل بعض الملاحظات المحددة؟ فهم هذا أمر بالغ الأهمية لأنه يساعدنا في بناء ذكاء اصطناعي أكثر ذكاءً وكفاءة يمكنه تعلم مهارات جديدة دون نسيان مهاراته القديمة.
في دراسة جديدة بعنوان "Diffract: Spectral View of LLM Domain Adaptation"، قرر فريق من الباحثين إلقاء نظرة داخل دماغ الروبوت باستخدام نوع خاص من الأشعة السينية يسمى "تفكيك القيم المفردة" (SVD). تخيل أن دماغ الروبوت مكون من ملايين التروس والرافعات الصغيرة (المصفوفات الرياضية). عندما يتعلم الروبوت شيئًا جديدًا، تتحرك هذه التروس. أراد الباحثون رؤية كيف تتحرك. لقد وجدوا شيئًا مفاجئًا: "حجم" التروس (القيم المفردة) لا يتغير تقريبًا. يبدو الأمر كما لو أن الروبوت يحتفظ بنفس المجموعة من الأدوات في صندوق أدواته. بدلاً من ذلك، يحدث السحر لأن اتجاه الأدوات التي تشير إليها (المتجهات المفردة) يدور ويعيد توجيه نفسه لمواجهة الموضوع الجديد.
اكتشف الفريق أن دماغ الروبوت ليس كتلة متجانسة؛ بل يتكون من العديد من المتخصصين الصغار الذين يُطلق عليهم "رؤوس الانتباه". بعض هؤلاء المتخصصين يشبهون الحرباء التي تغير لونها اعتمادًا على ما إذا كان الروبوت يتعلم الرياضيات أو البرمجة، بينما يظل البعض الآخر كما هو مهما حدث. وهذا ما يسمى "تباين رؤوس الانتباه" (head heterogeneity). وبسبب ذلك، وجد الباحثون أنه بإمكانهم "إرجاع" ما يصل إلى 60% من هؤلاء المتخصصين إلى حالتهم الأصلية دون الإضرار بأداء الروبوت. في الواقع، من خلال اختيار المتخصصين بعناية لإرجاعهم، جعلوا الروبوت أفضل في الرياضيات بنسبة تصل إلى 4%. إنه يشبه إدراك أن 60% من ملاحظاتك الدراسية كانت مجرد تشتيت، وأن إزالتها ساعدتك بالفعل في التفوق في الاختبار.
علاوة على ذلك، كشفت الدراسة عن ظاهرة أطلقوا عليها اسم "الترابط النطاقي" (domain connectivity). إذا أخذت روبوتًا تدرب على الرياضيات وآخر تدرب على البرمجة، ودمجت عقليهما معًا بلطف، ستكون النتيجة روبوتًا جيدًا في كليهما، دون فقدان مهاراته في أي منهما. يعمل هذا الدمج بشكل أفضل عندما يكون لدى الروبوت تعليم طويل وشامل (ميزانية رموز كبيرة/token budget) قبل التدريب المتخصص. أصدر الباحثون أيضًا مجموعة أدوات مجانية تسمى "Diffract" لمساعدة الآخرين على النظر في تروس أدمغة هذه النماذج، مما يشير إلى أن الطريقة التي تتعلم بها هذه النماذج تتعلق بإعادة توجيه الهياكل الموجودة أكثر من بناء هياكل جديدة من الصفر. ورغم أن هذه النتائج محددة للنماذج التي اختبروها، إلا أنها تقترح طريقة جديدة للتفكير في كيفية تعلم الذكاء الاصطناعي: الأمر يتعلق أقل بمسح الماضي وأكثر بإيجاد الزاوية الصحيحة لرؤية المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.