Task- and dataset-specific information in protein language models
تكشف هذه الدراسة أن التضمينات الأكثر إفادة لمهام النماذج اللغوية للبروتينات اللاحقة توجد غالباً في الطبقات المتوسطة بدلاً من الطبقة النهائية، حيث تعتمد الطبقة المثلى على ما إذا كانت المهمة تتعلق ببقايا فردية، أو بروتينات كاملة، أو تسلسلات اصطناعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة سحرية ضخمة، حيث كل كتاب فيها هو وصفة لبناء آلة حية تسمى "البروتين". لسنوات، حاول العلماء تعليم الحواسيب كيفية قراءة هذه الوصفات وفهم ما تفعله هذه الآلات. وللقيام بذلك، بنوا "نماذج لغة البروتين" (PLMs). فكر في هذه النماذج كطلاب أذكياء للغاية قرأوا المليارات من وصفات البروتين؛ هم لا يحفظون الكلمات فحسب، بل يتعلمون القواعد الخفية والأسلوب الخاص بتلك اللغة. وبمجرد دراستهم، يمكن لهؤلاء الطلاب تحويل وصفة البروتين إلى رمز سري ("تضمين" أو embedding) يمكن للحواسيب الأخرى استخدهامه للتنبؤ بأشياء مثل: هل سيتوهج هذا البروتين؟ هل سيلتصق بفيروس؟ هل سيذوب في الماء؟
لفترة طويلة، افترض الجميع أن الجزء "الأذكى" في عقول هؤلاء الطلاب يقع في نهايتها تمامًا—أي في الطبقة الأخيرة. كان الأمر يشبه افتراض أنه بعد قراءة كتاب كامل، فإن الجملة الأخيرة التي قرأتها هي التي تحمل المعنى الأكثر أهمية. ولكن ماذا لو كانت الأدلة الأكثر فائدة مخبأة في منتصف الكتاب، أو حتى في الصفحات الأولى؟ تسأل هذه الورقة البحثية سؤالًا بسيطًا ولكنه صعب: أين يحدث السحر الحقيقي داخل هذه العقول الاصطناعية الضخمة؟ هل نحتاج حقًا للنظر إلى الطبقة الأخيرة للحصول على أفضل الإجابات، أم أننا نتجاهل شيئًا مهمًا عبر إغفال الطبقات التي تقع بينها؟
قرر الباحثون وراء هذه الدراسة لعب دور المحقق. لقد أخذوا 13 نموذجًا مختلفًا لتعلم البروتين واختبروها في 15 مهمة مختلفة، تتراوح من التنبؤ بمدى استقرار البروتين إلى معرفة مكان وجوده داخل الخلية. لم يكتفوا بالنظر إلى الإجابة النهائية فحسب؛ بل ألقوا نظرة داخل النماذج عند كل خطوة من خطوات عملية التفكير، من الطبقة الأولى إلى الأخيرة.
إليك ما اكتشفوه، وتبين أن القاعدة القديمة القائلة بأن "الطبقة الأخيرة هي الأفضل" خاطئة في معظم الأحيان.
المنتصف غالبًا ما يكون النقطة المثالية
عندما اختبر العلماء هذه النماذج في مهام تتعلق ببروتينات كاملة (مثل التنبؤ بما إذا كان البروتين قابلًا للذوبان أو مكان وجوده داخل الخلية)، وجدوا أن الطبقة الأخيرة نادرًا ما كانت هي الفائزة. بدلاً من ذلك، كانت الطبقة "الأفضل" تقع عادةً في مكان ما في المنتصف—غالبًا بين المئوي العاشر والـ 90 من عمق النموذج. يبدو الأمر كما لو أن الطالب يقرأ الكتاب، ويفهم الحبكة الرئيسية في الفصول الوسطى، ثم يبدأ في الارتباك أو الإفراط في تحليل الأمور بحلول الوقت الذي يصل فيه إلى الصفحة الأخيرة. في الواقع، بالنسبة للعديد من المهام، انخفض الأداء فعليًا في الطبقات الأكثر عمقًا.
الأمر يعتمد على ما تسأل عنه
وجدت الورقة أن "الطبقة الأفضل" ليست هي نفسها لكل وظيفة. فهي تعتمد بشكل كبير على نوع البيانات التي تستخدمها:
- مجموعات بيانات "الطفرات": عندما جاءت البيانات من "المسح الطفري العميق" (حيث يأخذ العلماء بروتينًا محددًا ويصنعون منه آلاف النسخ المختلفة قليلاً)، عملت النماذج بشكل أفضل باستخدام الطبقات الضحلة والمبكرة. يبدو أن الطبقات المبكرة بارعة في رصد التفاصيل الصغيرة والمحلية، مثل كيف يغير تغيير حرف واحد في كلمة ما معناها.
- مجموعات البيانات "المتنوعة": عندما جاءت البيانات من مزيج ضخم ومتنوع من بروتينات عديدة وغير مرتبطة ببعضها (مثل مكتبة تضم آلاف الكتب المختلفة)، عملت النماذج بشكل أفضل باستخدام الطبقات الأعمق. هنا، يحتاج النموذج لفهم قواعد عامة وكبيرة تنطبق على العديد من البروتينات المختلفة، وهو أمر يتطلب "تفكيرًا" أكثر وطبقات أعمق لاستيعابه.
مشكلة "الاصطناع"
كان أحد أكثر الاكتشافات إثارة للدهشة يتعلق بالبروتينات "الاصطناعية". اختبر الباحثون النماذج على بروتينات صممتها الحواسيب بدلاً من تلك الموجودة في الطبيعة. وقد واجهت النماذج صعوبة كبيرة مع هذه البروتينات؛ فحتى لو كانت البروتينات الاصطناعية وظيفية، لم تستطع النماذج التنبؤ بخصائصها بشكل جيد. يشير هذا إلى أن هذه النماذج الذكية قد تعلمت فهم "لغة" التطور الطبيعي، لكنها لم تفهم تمامًا "لغة" البروتينات المصممة حاسوبيًا. إنها طليقة في اللهجة القديمة، لكنها تتعثر أمام المصطلحات الجديدة.
لماذا لا تكون الطبقة الأخيرة هي الملك دائمًا؟
تشرح الورقة أن هذا يحدث بسبب طريقة تدريب هذه النماذج. يتم تدريبها أولاً على تخمين الكلمات المفقودة في جملة ما (وهي مهمة تركز على التفاصيل الصغيرة والمحلية). وعندما تطلب منها مهمة ذات صورة شاملة (مثل التنبيد باستقرار بروتين كامل)، تظل الطبقة الأخيرة لا تزال تحاول القيام بمهمة تخمين الكلمات الصغيرة تلك، مما يعيق عملها. ومع ذلك، إذا قمت بـ "ضبط دقيق" (fine-tuning) للنموذج خصيصًا لمهمة ذات صورة شاملة، فإن الطبقات تبدأ في العمل بشكل أفضل بترتيب معين، وتصبح الطبقة الأخيرة هي الأكثر فائدة مرة أخرى. ولكن في الحالة القياسية للنموذج قبل الضبط، غالبًا ما تمتلك الطبقات الوسطى الكنز الحقيقي.
الخلاصة
تشير هذه الدراسة إلى أن العلماء لا ينبغي لهم مجرد التقاط الطبقة الأخيرة من نموذج ذكاء اصطناعي للبروتين بشكل أعمى للقيام بعملهم. بدلاً من ذلك، يجب عليهم البحث بعمق داخل "عقل" النموذج للعثور على الطبقة المحددة التي تناسب مهمتهم. إذا كانوا يبحثون في طفرات صغيرة، فعليهم النظر في الطبقات المبكرة. وإذا كانوا يبحثون في مزيج متنوع من البروتينات، فعليهم النظر بعمق أكبر. وإذا كانوا يعملون مع بروتينات مصممة حاسوبيًا، فعليهم توخي الحذر الشديد، لأن النماذج قد لا تفهمها بنفس القدر الذي تفهم به ابتكارات الطبيعة.
باختصار، تكشف الورقة أن هذه النماذج هي مفكرون معقدون ومتعددون الطبقات، وأن الجزء "الأذكى" من عقولهم يتغير بناءً على السؤال الذي تطرحه. الصفحة الأخيرة من الكتاب ليست دائمًا هي الأكثر أهمية؛ فأحيانًا، تكون الإجابة الأفضل موجودة في المنتصف تمامًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.