Understanding In-Context Learning Beyond Transformers: An Investigation of State Space and Hybrid Architectures
تبحث هذه الورقة في التعلم داخل السياق عبر بنيات المحولات (transformer)، ونماذج فضاء الحالة (state-space)، والبنيات الهجينة، كاشفةً أنه في حين تُظهر هذه النماذج أداءً سلوكياً متشابهاً، إلا أن آلياتها الداخلية تختلف بشكل كبير، حيث تلعب متجهات الدوال دوراً حاسماً في استرجاع المعرفة البارامترية ولكن ليس بالضرورة في الفهم السياقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طفلاً كيفية حل لغز ما. أنت لا تعطيه كتاباً مدرسياً، بل تريه ثلاثة أمثلة لكيفية القيام بذلك، ثم تطلب منه حل المثال الرابع. هذا هو "التعلم داخل السياق" (In-Context Learning - ICL). إنها الخدعة السحرية التي تمكن النماذج اللغوية الكبيرة (LLMs) من تعلم مهام جديدة بمجرد النظر إلى الأمثلة الموجودة في المحادثة، دون الحاجة إلى إعادة تدريبها.
لفترة طويلة، اعتقد العلماء أن هذا السحر لا يعمل إلا في نماذج "ترانسفورمر" (Transformers) (البنية المعمارية القياسية الحالية). فقد وجدوا "تروساً" محددة داخل عقل الترانسفورمر، تُسمى "ناقلات الوظيفة" (Function Vectors - FVs)، والتي بدت وكأنها المحرك الذي يدفع هذا التعلم.
ولكن مؤخراً، وصلت أنواع جديدة من بنيات الذكاء الاصطعي: نماذج فضاء الحالة (مثل Mamba) والنماذج الهجينة (Hybrid models) (وهي مزيج من الترانسفورمر وMamba). وكان السؤال الكبير هو: هل تستخدم هذه العقول الجديدة نفس التروس للتعلم، أم أنها تمتلك محركاً سرياً ومختلفاً؟
هذا البحث يشبه قصة بوليسية حيث يقوم المؤلفون بتفكيك هذه العقول المختلفة للذكال في كيفية عملها. إليك التفاصيل بتبسيط شديد:
1. نوعا "التعلم"
أدرك الباحثون أن ليست كل الألغاز متشابهة. فقد قسموا المهام إلى فئتين:
- مهمة "كتاب الحقائق" (المعرفة البارامترية): تخيل أنك تسأل: "ما هي عاصمة فرنسا؟". هنا يحتاج النموذج فقط إلى استدعاء حقيقة حفظها بالفعل. الأمر يشبه البحث عن كلمة في قاموس.
- مهمة "فهم القراءة" (المعرفة السياقية): تخيل قراءة قصة قصيرة عن كلب، ثم الإجابة على سؤال: "هل الكلب سعيد؟". هنا يجب على النموذج فهم القصة التي أمامه، وليس مجرد استدعاء حقيقة مخزنة. الأمر يشبه فهم نكتة.
2. "التروس" (ناقلات الوظيفة)
في نماذج "الترانسفورمر" التقليدية، وجد العلماء أن "رؤوس انتباه" معينة تعمل كـ "ناقل وظيفة" (Function Vector). فكر في ناقل الوظيفة كأداة متخصصة تقول: "مهلاً، انظر إلى الأمثلة التي رأيتها للتو، انسخ ذلك النمط، وطبقه على السؤال الجديد".
3. الاكتشاف الكبير: عقول مختلفة، محركات مختلفة
اختبر المؤلفون نماذج الترانسفورمر، ونماذج Mamba الصافية، والنماذج الهجينة. وإليكم ما وجدوه:
مهمة "كتاب الحقائق":
- الترانسفورمر والنماذج الهجينة: تستخدم هذه النماذج تروس "ناقل الوظيفة" (FV) بكثافة. عندما تقوم بتعديل هذه التروس، تتغير قدرة النموذج على استرجاع الحقائق بشكل جذري.
- Mamba (النموذج الصافي): يستخدم أيضاً تروس "ناقل الوظيفة"، لكنها موجودة في أماكن مختلفة.
- Mamba2 (الوافد الجديد): هذه هي المفاجأة! Mamba2 بالكاد يستخدم تروس "ناقل الوظيفة" على الإطلاق. يبدو أنه يمتلك آلية سرية ومختلفة تماماً لتعلم الحقائق. الأمر يشبه اكتشاف أنه بينما يستخدم الجميع مفتاحاً لفتح الباب، فإن Mamba2 يمر ببساطة عبر الجدار.
مهمة "فهم القراءة":
- هنا، لا تعتبر تروس "ناقل الوظيفة" هي الأبطال الرئيسيين. سواء كان النموذج "ترانسفورمر" أو نموذجاً هجيناً، فإن "التروس" المسؤولة عن فهم القصة تكون مشتتة وغير منظمة. لا يعتمد النموذج على أداة واحدة محددة لفهم السياق، بل يستخدم نهجاً أكثر عمومية وتوزعاً.
4. النماذج الهجينة: الطائرة ذات "المحركين"
النماذج الهجينة (مثل Hymba وZamba2) تشبه الطائرات التي تعمل بمحركين: محرك "ترانسفورمر" ومحرك "Mamba".
- وجد الباحثون أنه بالنسبة لتعلم مهام جديدة، فإن محرك "الترانسفورمر" هو من يقوم بمعظم العمل الشاق.
- ورغم وجود محرك Mamba من أجل السرعة والكفاءة، إلا أن جزء "الترانسفورمر" هو الذي يمتلك أدوات "ناقل الوظيفة" اللازمة للتعلم من الأمثلة.
- لا يهم إذا كانت المحركات موضوعة فوق بعضها البعض أو جنباً إلى جنب، فجزء "الترانسفورمر" هو الذي يمسك بمفاتيح "التعلم".
5. اختبار "قلب الملصقات" (Label Flipping)
لإثبات أن هذه النماذج كانت تتعلم حقاً ولم تكن مجرد تحفظ، لعب الباحثون خدعة. أخبروا النماذج: "إذا قالت المثال كلمة 'كره'، فإن الإجابة هي في الواقع 'حب'".
- النتيجة: كانت جميع النماذج، بما في ذلك نماذج Mamba الجديدة، ذكية بما يكفي لاستيعاب القاعدة الجديدة واتباعها. وهذا أثبت أنها لم تكن مجرد تردد حقائق محفوظة؛ بل كانت تتكيف حقاً مع السياق.
الخلاصة
يخبرنا هذا البحث أن الذكاء الاصطناعي ليس كتلة واحدة صماء. مجرد كون نموذجين يعطيان نفس الإجابة لا يعني أنهما يفكران بنفس الطريقة.
- نماذج "الترانسفورمر" تشبه أمناء المكتبات الذين يستخدمون نظام بطاقات فهرسة محدد (FVs) للعثور على الحقائق.
- Mamba2 يشبه الساحر الذي يستخدم تعويذة مختلفة تماماً للعثور على نفس تلك الحقائق.
- النماذج الهجينة تشبه فريق عمل حيث يقوم أمين المكتبة بالتحقق من الحقائق، بينما يتولى الساحر بقية المهام.
لماذا يهم هذا؟
إذا أردنا بناء ذكاء اصطناعي أفضل، أو أكثر أماناً، أو أكثر كفاءة، فلا يمكننا مجرد نسخ ولصق ما تعلمناه عن "الترانسفورمر" وتطبيقه على نماذج "Mamba". نحن بحاجة إلى إدراك أن البنيات المختلفة تمتلك "آليات داخلية" مختلفة. إذا أردنا إصلاح خطأ ما أو تحسين التعلم، فنحن بحاجة إلى معرفة أي "تروس" محددة يجب تدويرها لكل نوع من أنواع هذه العقول.
باختختصر: هذا البحث هو دليل لفهم الأسلاك الداخلية لعقول الذكاء الاصطناعي المختلفة، موضحاً أنه رغم قدرتها جميعاً على التعلم من الأمثلة، إلا أنها تفعل ذلك بأدوات مختلفة تماماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.