BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs
تقدم هذه الورقة البحثية BidirLM، وهي عائلة من المشفرات ثنائية الاتجاه عالية الأداء التي تم إنشاؤها عبر تكييف نماذج اللغات الكبيرة السببية بشكل منهجي من خلال مرحلة قناع مسبق مبتكرة، واستراتيجية مزدوجة لدمج الأوزان الخطية ومزيج البيانات لمنع النسيان الكارثي، والتركيب مع نماذج سببية متخصصة لدمج القدرات متعددة الوسائط بسلاسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً عبقرياً ومتخصصاً للغاية. هذا الطباخ خبير في الطهي من اليسار إلى اليمين. يمكنه كتابة وصفة، أو خبز كعكة، أو طهي وجبة خطوة بخطوة، لكنه لا يستطيع إلا النظر إلى المكونات التي وضعها بالفعل في الوعاء. لا يمكنه استراق النظر إلى المكونات التي سيضيفها لاحقاً ليقرر ماذا يفعل الآن. هكذا تعمل معظم النماذج اللغوية الكبيرة (LLMs) الحديثة: إنها نماذج توليدية سببية (تتطلع للأمام).
ومع ذلك، هناك نوع آخر من الطهاة: الطباخ ثنائي الاتجاه (Bidirectional). هذا الطباخ يمكنه النظر إلى وعاء المكونات بأكمَلِهِ دفعة واحدة — ما وُضع فيه بالفعل وما سيأتي بعده — ليفهم السياق بشكل مثالي. هذا أمر رائع لمهام مثل الإجابة على سؤال حول فقرة معينة أو العثور على إبرة في كومة قش (البحث)، ولكن بناء هؤلاء الطهاة من الصفر مكلف للغاية ويستغرق وقتاً طويلاً.
المشكلة:
العالم مليء بالطهاة الرائعين "من اليسار إلى اليمين" (نماذج متخصصة في الرياضيات، البرمجة، السلامة، الرؤية، والصوت). لكننا كنا نتجاهلهم في مهام "الفهم" لأننا اعتقدنا أننا بحاجة لبناء طهاة جدد من الصفر فقط للحصول على هذه القدرة على "النظر إلى كل شيء".
الحل: BidirLM
يقدم هذا البحث حيلة سحرية للمطبخ تسمى BidirLM. بدلاً من توظيف طباخ جديد، يأخذون هؤلاء الطهاة "من اليسار إلى اليمين" الموجودين بالفعل ويعلمونهم كيفية النظر إلى الخلف وإلى الأمام في آن واحد، محولين إياهم إلى آلات فهم "متعددة الاتجاهات" قوية.
إليكم كيف فعلوا ذلك، مقسماً إلى تشبيهات بسيطة:
1. الإحماء بـ "القناع" (الخطوة الحاسمة)
حاول العديد من الباحثين مجرد قلب مفتاح لجعل هؤلاء الطهاة ينظرون إلى الخلف، لكن الأمر لم ينجح جيداً. اكتشف البحث مكوناً سرياً: مرحلة القناع (Masking Phase).
- التشبيه: تخيل أنك تعلم طالباً اعتاد قراءة كتاب صفحة تلو الأخرى. إذا طلبت منه فجأة قراءة الكتاب بأكمله دفعة واحدة، فسيصاب بالارتباك.
- الإصلاح: أولاً، تقوم بتغطية كلمات عشوائية في النص (القناع) وتطلب من الطالب تخمينها باستخدام سياق الجملة الكامل. هذا يجبر دماغه على إعادة صياغة نفسه لينظر إلى "المستقبل" و"الماضي" في آن واحد.
- النتيجة: وجد البحث أن تخطي هذه الخطوة هو خطأ. يجب عليك القيام بلعبة "التخمين" هذه أولاً قبل تعليمهم كيفية فهم الصورة الكاملة.
2. مشكلة "فقدان الذاكرة" (النسيان الكارثي)
عندما تدرب طباخاً على النظر إلى الخلف، فإنه غالباً ما ينسى كيفية طهي الأطباق المحددة التي كان مشهوراً بها أصلاً (مثل الرياضيات أو البرمجة). وهذا ما يسمى النسيان الكارثي (Catastrophic Forgetting).
- التشبيه: الأمر يشبه تعليم نجار ماهر أن يصبح كهربائياً ماهراً. إذا لم تكن حذراً، فقد ينسى كيفية استخدام المطرقة.
- الإصلاح: استخدم المؤلفون تقنية تسمى دمج الأوزان (Weight Merging).
- تخيل أن لديك نسختين من نفس الطباخ: الطباخ (أ) (الخبير الأصلي) و الطباخ (ب) (الخبير الجديد متعدد الاتجاهات).
- بدلاً من اختيار أحدهما، أخذوا خلاطاً ناعماً. قاموا بخلط 50% من دماغ الطباخ (أ) مع 50% من دماغ الطباخ (ب).
- النتيجة: يحتفظ الطباخ الجديد بالمهارات الأصلية (الرياضيات، البرمجة) ويكتسب أيضاً القدرة الجديدة على فهم السياق. لم يحتاجوا لإعادة التدريب من الصفر؛ بل قاموا فقط بخلط المعرفة.
3. "السكين السويسري" (متعدد الوسائط)
لم يتوقف البحث عند النصوص فقط. أرادوا صنع طباخ يفهم النصوص والصور والصوت جميعاً في وقت واحد.
- التشبيه: عادةً، للحصول على طباخ يمكنه الطهي، والرسم، والغناء، ستحتاج إلى ثلاثة أشخاص مختلفين.
- الإصلاح: أخذوا "طباخ النصوص متعدد الاتجاهات" الجديد ودمجوه مع "طباخ الرؤية" (الذي يعرف الصور) و"طباخ الصوت" (الذي يعرف الأصوات).
- النتيجة: أنشأوا BidirLM-Omni. إنه نموذج واحد مدمج يمكنه قراءة مستند، والنظر إلى صورة، والاستماع إلى تسجيل صوتي، كل ذلك مع فهم سياق الثلاثة معاً. إنه يشبه السكين السويسري الذي يكون حاداً تماماً مثل الأدوات الفردية التي استبدلها.
لماذا يهم هذا؟
- إنه مفتوح المصدر: لم يحتفظوا بهذا السر. لقد نشروا الوصفة حتى يمكن لأي شخص القيام بها.
- إنه فعال: بدلاً من إنفاق ملايين الدولارات لتدريب نماذج جديدة من الصفر، يمكنك أخذ نماذج متخصصة موجودة بالفعل و"ترقيتها" مجاناً (أو بتكلفة زهيدة جداً) باستخدام تقنية الدمج هذه.
- إنه أفضل: تفوقت نماذجهم الجديدة على أفضل النماذج مفتوحة المصدر الحالية في كل اختبار تقريباً، من فهم المسائل الرياضية إلى التعرف على الصور والأصوات.
باختصار:
يقول البحث: "لا تتخلصوا من أدواتكم المتخصصة! لقد وجدنا طريقة لأخذ نماذج الذكاء الاصطنا edge عالية الأداء الموجودة لديكم، ومنحها تمرين 'سياق' سريع، ودمجها مع معرفتها المتخصصة لإنشاء ذكاء اصطناعي فائق الذكاء، كلي الرؤية، يفهم النصوص والصور والأصم بشكل أفضل من أي شيء آخر موجود حالياً".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.